Stephens Vater ist der erfolgreiche Komponist Steve Dorff, der unter anderem an der Titelmusik zu den Serien ‘Rodney‘ (2004-2008), ‘Tremors‘ (2003) und ‘Reba‘ (2001-2002) beteiligt war. Sein Bruder Andrew ist ebenfalls in der Musikbranche tätig und hat sich in den USA als Songwriter einen Namen gemacht. Im Jahr 2008 verstarb Stephen Dorffs Mutter Nancy an Krebs, was seine Sichtweise auf das Leben laut eigener Aussage von Grund auf verändert und ihn zu einem anderen Menschen gemacht hat.

Stephen Dorff war zeitweise mit dem dänischen Modell Lykke May Andersen liiert. Als diese nach der Trennung von Dorff eine Beziehung mit dem ‘Jackass‘-Darsteller Steve-O begann, sprach der Schauspieler eine Morddrohung auf dessen Anrufbeantworter. Die Angelegenheit geriet in die Schlagzeilen, weil Steve-O die Nachricht im Internet publik machte. Ansonsten verlief das bisherige Leben von Stephen Dorff jedoch weitestgehend frei von Skandalen. Auch sein Privatleben hält er seit dem Ende seiner Beziehung mit Lykke May Andersen so geheim, wie es möglich ist.