Rodzicami Jamesa Madisona byli Nelly Conway Madison i płk James Madison, siostra James Madison urodziła się w 1751 roku. James Madson, senior, poślubił Nelly Conway w 1749 roku, a para miała 12 dzieci. James, który był pierworodnym dzieckiem, był czwartym Prezydentem Stanów Zjednoczonych.
Rodzina Madison była jedną z najstarszych i najbardziej prestiżowych rodzin w Wirginii. Ojciec Madison był wybitnym rolnikiem tytoniu w Wirginii, który dorastał na posiadłości w Orange Country w stanie Wirginia, którą później odziedziczył. Matka Madison była córką wybitnego kupca tytoniowego. Urodziła się w 1731 roku w Virginii.
