Anh chị em của Tổng thống James Madison bao gồm Tướng William Taylor Madison; Thuyền trưởng William Ambrose Madison, Sr .; Eleanor "Nellie" Conway Hite (Madison); Frances "Fanny" Rose (Madison); Mollie Davis; Francis Taylor Madison; Robert Cole Madison; Sarah Catlett Madison; Elizabeth Madison; Catlett Madison; Reuben Madison; và John Madison. Hai trong số các anh chị em của ông đã chết khi còn sơ sinh.
Tổng thống Madison tên khai sinh là James Madison, Jr., là con đầu lòng của James Madison, Sr. và Nelly Conway Madison. James đã trải qua thời thơ ấu của mình tại Montpelier, bất động sản của gia đình anh ở Virginia. Năm 12 tuổi, anh đến trường của Donald Robertson, nơi anh học tiếng Latinh và tiếng Hy Lạp, đồng thời học số học và địa lý. Anh ấy đã lấy bằng cử nhân tại Đại học New Jersey.
