Rodzeństwo prezydenta Jamesa Madisona to generał William Taylor Madison; Captain William Ambrose Madison, Sr .; Eleanor "Nellie" Conway Hite (Madison); Frances "Fanny" Rose (Madison); Mollie Davis; Francis Taylor Madison; Robert Cole Madison; Sarah Catlett Madison; Elizabeth Madison; Catlett Madison; Reuben Madison; i John Madison. Dwoje jego rodzeństwa zmarło podczas niemowlęctwa.
Prezydent Madison urodził się jako James Madison, Jr., jako pierworodne dziecko Jamesa Madisona, Sr. i Nelly Conway Madison. James spędził wczesne dzieciństwo w Montpelier, rodzinnym majątku w Wirginii. W wieku 12 lat uczęszczał do szkoły Donalda Robertsona, gdzie uczył się łaciny i greki, studiował arytmetykę i geografię. Uzyskał tytuł licencjata w College of New Jersey.
