Biały dom był najpierw biały, ponieważ wapno na bazie wapna zostało użyte w 1798 roku, kiedy jego ściany zostały ukończone. Wybielanie pomogło chronić porowaty kamień Białego Domu przed zamarznięciem.
Nie jest jasne, dlaczego Biały Dom został później pomalowany na biało, ale może się okazać, że gdy wybielenie wyblakło, zaczęło wyglądać brudno.
Biały Dom zaczynał jako przydomek rezydencji prezydenta na początku amerykańskiej historii. W 1812 Kongresmen Bigelow napisał list do kolegi, odnosząc się do faktu, że nazywają rezydencję prezydenta "Biały Dom". W 1901 r. Theodore Roosevelt nadał Białemu Domowi oficjalną nazwę domu prezydenta.
