Màu ban đầu của Nhà Trắng là màu trắng. Theo Hiệp hội Lịch sử Nhà Trắng, khi các bức tường hoàn thành vào năm 1798, chúng được quét vôi trắng để giữ cho đá không bị đóng băng vào mùa đông.
Các bức tường của Nhà Trắng được quét vôi trắng hai năm trước khi Tổng thống John Adams và phu nhân Abigail chuyển đến tòa nhà với tư cách là những cư dân đầu tiên vào năm 1800. Theo một câu chuyện thường được kể nhưng có sai sót, Nhà Trắng được sơn màu trắng vào năm 1814 , sau khi nó bị thiêu rụi bởi người Anh trong Chiến tranh năm 1812. Mặc dù có bằng chứng về việc ngôi nhà của Tổng thống được gọi là Nhà Trắng ngay từ năm 1812, Theodore Roosevelt đã chính thức đưa tên này vào tháng 9 năm 1901.