Główną negatywną rzeczą, o której wspomina się Andrew Jacksona, jest przymusowa relokacja wielu rdzennych Amerykanów, szczególnie w południowo-wschodniej części Stanów Zjednoczonych. Wywołał także ekonomiczną depresję, odmawiając odnowienia karty Drugiego Banku Stanów Zjednoczonych, a następnie wprowadzając politykę kontroli inflacji, która wywołała panikę, ale to było przede wszystkim obwiniane przez jego następcę, Martina Van Burena.
W 1830 roku Jackson podpisał Ustawę o usunięciu Indian, którą pracował, by przeforsować Kongres. Ten akt pozwolił mu negocjować traktaty o usuwaniu z plemionami indiańskich, którym rządził Sąd Najwyższy, nie wolno legalnie posiadać swoich ziem przodków. Jackson sądził, że rdzenni Amerykanie są gorszymi od białych osadników i chcieli zmusić ich na zachód od Missisipi. Uważał, że Stany Zjednoczone nie rozwiną się poza tę granicę, więc rdzenni Amerykanie mogą rządzić sobą.
W rezultacie wiele plemion zostało oszukanych lub zmuszonych do opuszczenia swoich ziem, jeśli nie chciały iść z własnej woli, co doprowadziło do wielu śmierci podczas potyczek z żołnierzami, a także z głodu i chorób. Czirokez w szczególności zostali zmuszeni do przejścia wymuszonego marszu, który stał się znany jako Szlak Łez. Zostali zmuszeni do opuszczenia swojej ziemi tak szybko, że nie byli w stanie zebrać odpowiednich zapasów, a ponad 4000 Cherokezów zmarło z powodu niedożywienia i narażenia. Jackson nadzorował usunięcie ponad 46 000 rdzennych Amerykanów z ich ziem.
