Kem đến được Nhà Trắng thông qua những người châu Âu, khi các thành viên của các gia đình hoàng gia giới thiệu đến tầng lớp thượng lưu Mỹ món kem vào những năm 1700. Kem xuất hiện trong Nhà Trắng cùng với tổng thống đầu tiên, George Washington. Tuy nhiên, nó đã trở nên phổ biến với tổng thống thứ tư James Madison và vợ ông Dolly, người có niềm yêu thích với kem.
Mặc dù bây giờ là món ăn phổ biến của người Mỹ thuộc mọi tầng lớp kinh tế xã hội, kem đã từng đắt và tương đối hiếm, khiến nó trở thành món tráng miệng dành cho những công dân giàu có. Ở châu Âu, kem ở dạng hiện đại thậm chí không đến được với đại chúng cho đến những năm 1600, khi nó xuất hiện ở Ý. Tuy nhiên, đến những năm 1700, kem và các món mới lạ khác như gelato và sorbet, được giới quý tộc châu Âu ưa chuộng. Món ăn đông lạnh được du nhập vào Hoa Kỳ vào đầu những năm 1700 và cửa hàng kem đầu tiên được mở vào năm 1790. Nhà Trắng và nhiều dinh thự thậm chí còn có máy làm kem trong nhà.
Trong những ngày thuộc địa, kem có nhiều hương vị khác nhau. Một số món, như măng tây, kem Parmesan và kem hàu, rất được các gia đình Nhà Trắng, bao gồm cả gia đình Madisons ưa chuộng, nhưng chưa bao giờ được chấp nhận rộng rãi. Những loại khác, như kem vani, vẫn khá phổ biến, cũng như các loại kem phủ trên bề mặt như quả mọng và kem.
