Mặc dù George Washington đã chọn địa điểm là Nhà Trắng vào năm 1791, nhưng ông chưa bao giờ sống ở đó. Tính đến năm 2014, ông là tổng thống duy nhất không cư trú tại Nhà Trắng.
John Adams và gia đình của ông là gia đình tổng thống đầu tiên sống trong Nhà Trắng. Năm 1814, người Anh đốt cháy ngôi nhà; nó đã được xây dựng lại. Năm 1817, James Monroe chuyển đến. Harry S. Truman bắt đầu trùng tu Nhà Trắng và chuyển trở lại Nhà Trắng vào năm 1952.
Dưới một số tổng thống, Nhà Trắng đã được xây dựng mà không yêu cầu Gia đình đầu tiên phải chuyển ra ngoài. Theodore Roosevelt đã chuyển văn phòng của tổng thống đến Cánh Tây và William Howard Taft đã xây dựng Phòng Bầu dục.
