Kamień węgielny Białego Domu został złożony 13 października 1792 r. Pierwszym prezydentem Stanów Zjednoczonych, który zajął Biały Dom był John Adams, który w 1800 r. przeniósł się do niezakończonej struktury.
Biały Dom, pierwotnie nazywany Mansion Executive, został zaprojektowany przez irlandzkiego imigranta Jamesa Hobana. Podczas wojny 1812 roku wojska brytyjskie spaliły Biały Dom na ziemi. Został przebudowany przy użyciu projektu Hobana i rozbudowany. Prezydent James Monroe był pierwszym prezydentem USA, który okupował przebudowany Biały Dom w 1817 roku. Pierwszym prezydentem, który oficjalnie odwołał się do domu dyrektora generalnego jako Biały Dom był Theodore Roosevelt w 1901 roku.
