Chociaż George Washington wybrał miejsce Białego Domu w 1791 roku, nigdy tam nie mieszkał. Od 2014 roku jest jedynym prezydentem, który nie mieszkał w Białym Domu.
John Adams i jego rodzina byli pierwszą rodziną prezydencką, która mieszkała w Białym Domu. W 1814 r. Brytyjczycy podpalili dom; został przebudowany. W 1817 r. Wszedł James Monroe. Harry S. Truman rozpoczął odbudowę Białego Domu i wrócił do Białego Domu w 1952 r.
Pod niektórymi prezydentami Biały Dom przeszedł budowę, która nie wymagała wyprowadzenia Pierwszej Rodziny. Theodore Roosevelt przeniósł biura prezydenta do West Wing, a William Howard Taft wybudował Oval Office.
