Wie viele US-Sportler begann auch er seine Karriere auf dem College. 2004 lernte er die Schauspielerin Bridget Moynahan kennen, die durch die Serie ‚Sex and the City‘ bekannt geworden war. Ende 2006 trennte sich das Paar. Kurz darauf berichtete Bridget Moynahan gegenüber der Zeitschrift ‚People‘, dass sie noch kurz vor der Trennung schwanger geworden war und von Brady ein Kind erwartet. Brady war am Tag der Geburt seines Sohnes im Krankenhaus, allerdings war er bei der Geburt selbst nicht dabei. Bridget und Tom Brady tauften ihren gemeinsamen Sohn John Edward Thomas Moynahan.

Brady hatte sich kurz vor der Trennung von Bridget in das Supermodel Gisele Bündchen verliebt. Er hatte sie bei einem Blind Date kennen gelernt, das ein gemeinsamer Bekannter organisiert hatte. Tom Brady und Gisele Bündchen wurden ein Paar und heirateten am 26. Februar 2009 bei einer katholischen Hochzeit in Santa Monica in Kalifornien. Im Dezember 2009 kam der gemeinsame Sohn Benjamin Rein Brady zur Welt, die Tochter Vivian Lake Brady wurde im Dezember 2012 geboren. Erst zu ihrem fünften Hochzeitstag veröffentliche Gisele Bündchen auf ihrer Instagram-Seite Hochzeitsfotos. Die Familie lebt in einem 20-Millionen-Dollar-Anwesen in Los Angeles, besitzt aber auch eine 14-Millionen-Dollar-Wohnung in Manhattan. Ihr Anwesen in Los Angeles hat 2000 Quadratmeter, acht Schlafzimmer und einen Pool, der an eine Lagunenlandschaft erinnert.

Bradys Sohn aus seiner früheren Beziehung lebt mit seiner Mutter ganz in der Nähe und ist oft bei seinem Vater und seinen Stiefgeschwistern. Das Vermögen des Paars wird auf 90 Millionen Dollar geschätzt.