Điều tiêu cực lớn mà Andrew Jackson được nhớ đến là việc buộc phải di dời nhiều người Mỹ bản địa, đặc biệt là ở phần đông nam của Hoa Kỳ. Ông cũng gây ra suy thoái kinh tế bằng cách từ chối gia hạn điều lệ của Ngân hàng thứ hai của Hoa Kỳ và sau đó thiết lập các chính sách kiểm soát lạm phát gây ra một cơn hoảng loạn, nhưng điều đó chủ yếu được đổ lỗi cho người kế nhiệm của ông, Martin Van Buren.
Năm 1830, Jackson ký Đạo luật xóa bỏ người da đỏ, mà ông đã làm việc để thông qua Quốc hội. Đạo luật này cho phép ông đàm phán các hiệp ước xóa bỏ với các bộ lạc thổ dân châu Mỹ, những người mà Tòa án tối cao đã phán quyết không được phép sở hữu hợp pháp vùng đất của tổ tiên họ. Jackson tin rằng người Mỹ bản địa thua kém những người da trắng định cư và muốn ép buộc họ ở phía tây Mississippi. Ông tin rằng Hoa Kỳ sẽ không mở rộng quá ranh giới đó, vì vậy người Mỹ bản địa có thể tự cai trị.
Kết quả là nhiều bộ lạc đã bị lừa hoặc buộc phải rời khỏi vùng đất của họ nếu họ không chịu đi, dẫn đến nhiều người chết vì giao tranh với binh lính cũng như vì đói và bệnh tật. Người Cherokee nói riêng đã bị buộc phải trải qua một cuộc hành quân cưỡng bức được gọi là Đường mòn nước mắt. Họ bị buộc phải rời đất liền đến mức không thể thu thập đủ nguồn cung cấp và hơn 4.000 người Cherokees đã chết vì suy dinh dưỡng và phơi nhiễm. Jackson giám sát việc di dời hơn 46.000 người Mỹ bản địa khỏi vùng đất của họ.
