James Spader và người vợ đầu tiên, Victoria Kheel, ly hôn vào năm 2004. Spader và Kheel gặp nhau vào đầu những năm 1980, và họ kết hôn vào năm 1987. Trong các cuộc phỏng vấn sau khi ly hôn, Spader từ chối thảo luận về vấn đề này và lý do đằng sau cặp đôi. ly hôn không rõ.
Spader và Kheel đã có với nhau hai con trai khi họ đã kết hôn. Hai người này là đứa trẻ mà Kheel có từ mối quan hệ trước đó mà Spader đã giúp nuôi dưỡng sau khi anh và Kheel ở bên nhau.
Tính đến năm 2014, Spader đã hẹn hò với nữ diễn viên Leslie Stefanson trong gần một thập kỷ kể từ khi ly hôn với Kheel. Spader và Stefanson có với nhau một con trai.
