Nhiều người cho rằng thất bại lớn nhất của Thomas Jefferson là từ bỏ cuộc chiến chống lại chế độ nô lệ. Mặc dù ông coi chế độ nô lệ là "một vết nhơ ghê tởm" đối với nhân loại và đã thực hiện một số nỗ lực để xóa bỏ nó, nhưng cuối cùng ông đã từ bỏ nó quyết định chỉ chiến đấu với những trận chiến mà anh ấy có thể giành chiến thắng.
Thật vậy, với tư cách là tác giả chính của Tuyên ngôn Độc lập, Jefferson đã đưa vào một điều khoản tố cáo chế độ nô lệ, nhưng nó đã bị loại bỏ trước khi văn bản có thể được thông qua. Mặc dù thực tế vẫn thường bị tranh cãi, nhưng nhiệm kỳ tổng thống của Jefferson đã bị tổn hại thêm bởi lời khẳng định rằng ông là cha của 5 đứa trẻ bởi nô lệ Sally Hemings. Cuối cùng, việc Jefferson thiết lập Đạo luật Cấm vận, nhằm mục đích làm gián đoạn tình trạng thù địch giữa Anh và Pháp, đã làm tê liệt nền kinh tế miền Nam, khiến những người ủng hộ mà ông rời bỏ xa lánh.