Cha mẹ của James Madison là Nelly Conway Madison và Đại tá James Madison, Sơ James Madison sinh năm 1751. James Madson, Sơ kết hôn với Nelly Conway năm 1749 và cặp đôi có 12 người con. James, đứa con đầu lòng, là Tổng thống thứ tư của Hoa Kỳ.
Gia đình Madison là một trong những gia đình lâu đời nhất và danh giá nhất ở Virginia. Cha của Madison là một nông dân trồng thuốc lá nổi tiếng ở Virginia, người lớn lên trên một điền trang ở Orange Country, Va., Mà sau này ông được thừa kế. Mẹ của Madison là con gái của một nhà buôn thuốc lá nổi tiếng. Cô sinh năm 1731 tại Virginia.
