Andrew Jackson đã thất bại trong cuộc bầu cử năm 1824 vì mặc dù ông nhận được đa số phiếu phổ thông và đại cử tri, nhưng lợi nhuận của ông không đủ lớn để giành chiến thắng và hiến pháp quy định rằng cuộc bầu cử phải do Quốc hội quyết định. . Henry Clay, một trong những ứng cử viên, đã ủng hộ John Quincy Adams, một ứng cử viên khác, và Adams đã giành được phiếu bầu của Quốc hội.
Cuộc bầu cử tổng thống năm 1824 là một trong những cuộc bầu cử gần nhất trong lịch sử Hoa Kỳ. John Quincy Adams từng là ngoại trưởng dưới thời Tổng thống James Monroe. Andrew Jackson là một anh hùng chiến tranh sau trận chiến New Orleans năm 1815. Henry Clay là diễn giả của ngôi nhà và một hiện diện chính trị mạnh mẽ. Sau cuộc bầu cử phổ thông, Andrew Jackson, John Quincy Adams, và một ứng cử viên khác tên là William H. Crawford, tiến tới cuộc bầu cử Quốc hội, trong khi Henry Clay bị loại. Adams đã có một cuộc gặp bí mật với Clay, nhận được sự ủng hộ của Clay và giành chiến thắng trong cuộc bầu cử. Sau đó, ông bổ nhiệm Henry Clay làm ngoại trưởng của mình. Andrew Jackson đã rất tức giận và lên án cuộc bầu cử và kết quả của nó là "một món hời tham nhũng".
Không nhận được sự ủng hộ của mọi người, John Quincy Adams đã đạt được rất ít thành tích trong một nhiệm kỳ của mình ở Nhà Trắng. Trong cuộc bầu cử tổng thống năm 1828, Andrew Jackson đã vượt qua ông, giành được số phiếu đại cử tri nhiều gấp đôi Adams.