Bối cảnh của "Bánh khoai lang" của Eugenia's Collier là một căn phòng trên tầng 14 của một khách sạn sang trọng trên Đại lộ số 5 ở Thành phố New York. Phần lớn truyện ngắn phản ánh ký ức của người kể chuyện về gia đình anh ấy nghèo khó.
Bối cảnh cho một phần của câu chuyện là căn hộ ở Harlem, nơi anh trai của người kể chuyện Charley sống. Chính trong bối cảnh này, người kể chuyện, Buddy, gặp Charley và gia đình anh ta. Đoạn hội thoại trong phần này của "Bánh khoai lang" minh họa rõ ràng cảm nhận của Charley về anh trai Buddy của mình, được nhấn mạnh hơn nữa bởi sự khăng khăng của Charley rằng Buddy không mang túi giấy màu nâu vào khách sạn Fifth Avenue. "Tôi cho rằng tất cả chúng ta đều hoạt động theo những biểu tượng có ý nghĩa đối với chúng ta", người kể chuyện chiêm nghiệm, "và đối với Charley, một chiếc túi giấy màu nâu tượng trưng cho cuộc sống khiêm tốn mà anh ấy nghĩ rằng tôi đã để lại."
