Nhà Trắng lần đầu tiên được sơn màu trắng do quét vôi trắng được sử dụng vào năm 1798 khi các bức tường của nó được hoàn thành. Chất quét vôi này giúp bảo vệ đá xốp của Nhà Trắng không bị đóng băng.
Không rõ lý do tại sao Nhà Trắng sau đó được sơn màu trắng, nhưng có thể là do lớp sơn quét vôi mờ dần, nó bắt đầu trông bẩn thỉu.
Nhà Trắng bắt đầu như một biệt danh cho dinh thự của tổng thống từ rất sớm trong lịch sử Hoa Kỳ. Năm 1812, Nghị sĩ Bigelow viết một bức thư cho một đồng nghiệp, đề cập đến việc họ gọi dinh thự của tổng thống là "Nhà Trắng". Năm 1901, Theodore Roosevelt đặt Nhà Trắng thành tên chính thức của nhà tổng thống.
