Cuộc hôn nhân đầu tiên của Jim Boeheim, kéo dài khoảng 18 năm, kéo dài từ năm 1976 đến năm 1994. Người vợ đầu tiên của ông là Elaine Boeheim, người mà ông có một cô con gái, Elizabeth, hiện đang là sinh viên tại Đại học Colby ở Maine tính đến năm 2015.
Boeheim, huấn luyện viên trưởng hiện tại của đội bóng rổ nam tại Đại học Syracuse, hiện đã kết hôn với Juli Boeheim, người mà ông có ba con trai: James Arthur III và cặp song sinh Jack và Jamie. Cặp đôi kết hôn từ năm 1997. Sau khi Boeheim mắc bệnh ung thư vào năm 2001, họ đã cùng nhau thành lập Quỹ Jim và Juli Boeheim, dành cho phúc lợi trẻ em cũng như điều trị và phòng ngừa ung thư.