Tình hình nhà ở của nô lệ phụ thuộc vào công việc của anh ta và hoàn cảnh xã hội của chủ nhân. Các gia đình trung lưu có ít nô lệ thường để nô lệ cư trú trong nhà của họ. Trên các đồn điền và các tài sản lớn khác, những nô lệ làm việc trên đồng ruộng sống trong những ngôi nhà nô lệ đặc biệt. Đầu bếp và người giúp việc thường sống trong cùng những ngôi nhà với chủ của họ, thường là ở phòng sau hoặc gác xép.
Các công ty đường sắt cũng sử dụng nô lệ để xây dựng các tuyến đường sắt. Giống như những nô lệ trên đồn điền, những nô lệ này có điều kiện sống tồi tệ. Giường của họ chẳng khác gì những tấm ván thông cứng, nghiêng với một tấm chăn đơn. Các cabin nô lệ có ống khói được xây dựng kém và thường không được sạch sẽ do thời gian làm việc khủng khiếp của nô lệ. Thường thì nô lệ bị buộc phải làm việc từ tờ mờ sáng cho đến tận đêm. Nhiều nô lệ gục ngã vì kiệt sức. Thức ăn của họ thường được chuẩn bị bởi một nô lệ khác, nhưng khẩu phần của họ rất mỏng. Đôi khi thức ăn cho cả ngày của họ chỉ là củ cải và khoai tây.
Chủ sở hữu nô lệ thường trao đổi nô lệ của họ để đổi lấy tiền và hàng hóa. Vì điều này, nhiều nô lệ, bao gồm cả trẻ nhỏ, đã bị tách khỏi gia đình của họ. Nô lệ trong gia đình thường sắp xếp cuộc hôn nhân cho trẻ em với những nô lệ gia đình khác để duy trì địa vị xã hội ít tệ hơn của chúng.
