Các bức tường bên ngoài của Nhà Trắng được làm bằng đá sa thạch Aquia Creek sơn trắng do nô lệ khai thác. Đây cũng chính là loại đá được sử dụng để xây dựng tòa nhà Capitol.
James Hoban đã thiết kế Nhà Trắng sau khi giành chiến thắng trong cuộc thi do Thomas Jefferson, lúc đó là Ngoại trưởng và Tổng thống George Washington tổ chức vào năm 1792. Hoban sinh ra ở Ireland và được đào tạo như một kiến trúc sư ở đó. Truyền thuyết kể rằng Jefferson, bản thân là một kiến trúc sư, đã tham gia cuộc thi với một bút danh và thua cuộc. Nhà Trắng đã được cải tạo nhiều lần kể từ khi nó được xây dựng lần đầu tiên; tuy nhiên, các bức tường bên ngoài là những bức tường giống như những bức tường được xây dựng ban đầu.
