James Madison có ba anh trai và ba chị gái sống ở tuổi trưởng thành: Francis, Ambrose, Nelly, William, Sarah và Frances. Cha mẹ anh có tổng cộng 12 người con. Năm anh chị em của Madison chết khi còn là trẻ sơ sinh hoặc trẻ em.
Anh trai của Madison là Francis là một chủ đồn điền ở Quận Cam, Virginia. Anh trai của ông, Ambrose là một đại úy trong lực lượng dân quân Virginia. Ông cũng là một chủ đồn điền và giám sát các lợi ích của gia đình ở Quận Cam. William Madison phục vụ trong Chiến tranh Cách mạng. Ông cũng là một luật sư và phục vụ trong cơ quan lập pháp Virginia. Cả ba chị gái của Madison là Nelly, Sarah và Frances đều đã kết hôn khi trưởng thành.
