Zewnętrzne ściany Białego Domu wykonane są z malowanego na biało piaskowca Aquia Creek, wydobywanego przez niewolników. To ten sam kamień, który został użyty do budowy budynku Kapitolu.
James Hoban zaprojektował Biały Dom po wygraniu konkursu zorganizowanego przez Thomasa Jeffersona, ówczesnego Sekretarza Stanu i Prezydenta George'a Washingtona w 1792 roku. Hoban urodził się w Irlandii i tam szkolił się jako architekt. Legenda głosi, że Jefferson, sam architekt, wszedł do konkursu pod pseudonimem i zaginął. Biały Dom był kilkakrotnie odnawiany od czasu jego budowy; jednakże ściany zewnętrzne są tymi samymi ścianami, które zostały początkowo skonstruowane.
