James Spader i jego pierwsza żona, Victoria Kheel, rozwiedli się w 2004 r. Spader i Kheel spotkali się na początku lat 80., a pobrali się w 1987 r. Podczas wywiadów po rozwodzie Spader odmówił omówienia kwestii i przyczyny małżeństwa rozwód jest nieznany.
Spader i Kheel mieli dwóch synów razem, gdy byli małżeństwem. Ci dwaj byli dodatkiem do dziecka, które Kheel miał z poprzedniego związku, który Spader pomógł podnieść po tym, jak on i Kheel byli razem.
Od 2014 roku Spader spotykała się z aktorką Leslie Stefanson przez prawie całą dekadę od rozwodu z Kheel. Spader i Stefanson mają jednego syna razem.