Sein Vater Jack Schwartzman ist Produzent und zeichnete unter anderem für den James Bond-Film ‘Sag niemals nie‘ verantwortlich, Jason Schwartzmans Mutter Talia Shire ist ebenfalls Schauspielerin.

Darüber hinaus ist Jason Schwartzman der Neffe des Regisseurs und Produzenten Francis Ford Coppola und zudem mit dem Hollywoodschauspieler Nicolas Cage verwandt.

Sein jüngerer Bruder Robert ist Sänger der Band ‘Rooney‘, seine Halbgeschwister John und Stephanie sind als Kameramann beziehungsweise Kamerafrau tätig. Am 11. Juli 2009 heiratete er seine Lebensgefährtin, die Modedesignerin Brady Cunningham. Das Paar hat zwei gemeinsame Töchter: Marlowe Rivers (*2010) und Una (*2013).