Avery wurde am 27. November 1945 in Pughsville im Bundesstaat Virginia geboren, wuchs jedoch in Atlantic City in New Jersey auf. Nach seinem High-School-Abschluss diente er zwei Jahre lang beim Militär und war 1968 bis 1969 bei der Marine im Vietnamkrieg im Einsatz. Nach seiner Rückkehr zog er nach Kalifornien, wo er Lyrik zu schreiben begann und Drehbücher für den Fernsehsender PBS verfasste. Für eine seiner Produktionen gewann er einen Emmy, der ihm ein Stipendium an der University of California in San Diego einbrachte. Dort schloss er einen Bachelor in Literatur und Drama/Theater ab. 1988 heiratete er seine Frau Barbara Avery, mit der er bis zu seinem Tod verheiratet war. James Avery hat keine biologischen Kinder, seine Frau bachte einen Sohn mit in die Ehe.

James Avery war sportbegeistert und übte diverse Wassersportarten aus, darunter Schwimmen, Tauchen und Segeln. Charakteristisch war seine imposante Statur mit breiten Schultern bei einer Körpergröße von 1,96 m. Zu seinen optischen Markenzeichen gehörte auch das Tragen eines Bartes. Avery starb am 31. Dezember 2013 im Alter von 65 an den Folgen einer Herzoperation. James Averys Asche wurde zu Teilen im Atlantik, zu Teilen im Pazifik verstreut.