Pierwszą żoną Jamesa Arnessa była Virginia Chapman. James Arness poślubił Virginię Chapman w 1948 roku, a para rozwiodła się w 1963 roku. Chapman zmarł na skutek przedawkowania narkotyków w 1977 roku w Malibu w Kalifornii. Para miała trójkę dzieci: Jenny Lee, Rolfa i Craiga.
Jedyna córka pary, Jenny Lee Arness popełniła samobójstwo w wieku 25 lat. Syn jego pary, Rolf Arness, został mistrzem World Surfing w 1970 roku.
Chapman była sławną aktorką, znaną ze swoich ról w "Perry Mason", "Highway Patrol" i "Gunsmoke". James Arness grał Matt Dillon w programie telewizyjnym "Gunsmoke" przez 20 lat.