Opactwo Downton jest kręcone w różnych zestawach i lokalizacjach w Wielkiej Brytanii. Zamek Highclere, położony w północnej części hrabstwa Hampshire, służy do wykonywania ujęć zewnętrznych samego opactwa, a także wielu zdjęć wnętrza.
Wiele prawdziwych historycznych miejsc i zamków zostało wykorzystanych do sfilmowania serii. Drugi dom rodziny Crawleyów to naprawdę Gray's Court w Oxfordshire. Dower House to naprawdę Byfleet Manor, z siedzibą w Surrey. Stacja Downton to stacja kolejowa Horsted Keynes w Sussex. Zamek Duneagle to naprawdę zamek Inveraray w Argyll w Szkocji. Zamek Brancaster jest kręcony w zamku Alnwick w Northumberland, a posiadłość Haxy Park jest częścią Waddesdon Manor w Buckinghamshire