James Madison miał trzech braci i trzy siostry, które przeżyły dorosłość: Francis, Ambrose, Nelly, William, Sarah i Frances. Jego rodzice mieli w sumie 12 dzieci. Pięciu z rodzeństwa Madison zmarło jako niemowlęta lub dzieci.
Brat Madisona, Francis, był plantatorem w Orange County w Wirginii. Jego brat Ambrose był kapitanem w milicji w Wirginii. Był także plantatorem i nadzorował interesy rodziny w hrabstwie Orange. William Madison służył podczas wojny o niepodległość. Był także prawnikiem i służył w legislaturze stanu Wirginia. Wszystkie trzy siostry Madison, Nelly, Sarah i Frances, pobrały się jak dorośli.
