Lody dotarły do Białego Domu przez Europejczyków, kiedy członkowie rodzin królewskich wprowadzili Amerykanów wysokiego społeczeństwa do kremowego uczty w 1700 roku. Lody pojawiły się w Białym Domu razem z pierwszym prezydentem, Georgem Washingtonem. Jednak zyskał popularność u czwartego prezydenta Jamesa Madisona i jego żony Dolly, która była bardzo podobna do lodów.
Choć teraz popularna wśród Amerykanów ze wszystkich klas społeczno-ekonomicznych, lody były kiedyś drogie i stosunkowo rzadkie, co czyniło je deserem dla bogatych obywateli. W Europie lody w swojej nowoczesnej formie nie dotarły nawet do mas aż do XVII wieku, kiedy to pojawiły się we Włoszech. Jednak już w XVIII wieku lody i inne mrożone nowości, takie jak lody i sorbet, cieszyły się popularnością wśród europejskich arystokratów. Zamrożony poczęstunek trafił do Stanów Zjednoczonych na początku 1700 roku, a pierwsza lodziarnia została otwarta w 1790 roku. Biały Dom i wiele posiadłości posiadało nawet własne maszyny do lodów.
W czasach kolonialnych lody miały różne smaki. Niektóre, takie jak szparagi, parmezan i ostrygi, były popularne wśród rodzin White House, w tym Madison, ale nigdy nie zyskały powszechnej akceptacji. Inne, takie jak lody waniliowe, pozostają dość popularne, podobnie jak dodatki, takie jak jagody i śmietana.
