Người vợ đầu tiên của Jimmy Dean là Mary Sue Wittauer và người vợ thứ hai của ông là Donna Meade. Cuộc hôn nhân đầu tiên của ông kết thúc bằng ly hôn sau 40 năm và cuộc hôn nhân thứ hai kéo dài 19 năm cho đến khi ông qua đời ở tuổi 81, một cặp vợ chồng vài tháng trước sinh nhật lần thứ 82 của anh ấy.
Dean và Wittauer có với nhau 3 người con, nhưng anh ta không có con nào với người vợ thứ hai, Donna. Chưa đầy một năm sau khi ly hôn với Wittauer, Dean kết hôn với Meade, người cũng là một ca sĩ và nhạc sĩ. Hai người sống ở Varina, Virginia, trên một khu đất rộng 200 mẫu Anh đã được xây dựng lại sau khi nó bị thiêu rụi trong một trận hỏa hoạn.