Johnson föddes i Indianapolis, Indiana. Han började spela trombon vid 11 års ålder. Han studerade vid Arthur Jordan Conservatory of Music och Indiana University School of Music.
Johnson flyttade till New York City 1942 och blev snabbt en av de mest eftertraktade trombonisterna i staden. Han spelade med Charlie Parker, Dizzy Gillespie, Bud Powell och andra bebop-legender.
På 1950-talet började Johnson utforska hard bop, en nyare, mer aggressiv jazzstil. Han spelade in flera inflytelserika album med sina egna band, inklusive "The Eminent Jay Jay Johnson Volume 1" (1954) och "Jay Jay Johnson with Clifford Brown" (1955).
Johnson fortsatte att turnera och spela in under hela 1960- och 1970-talen. Han undervisade också vid Berklee College of Music och Manhattan School of Music.
Johnson dog av en hjärtattack i Indianapolis 2001. Han var 77 år gammal.
Johnson var en mästare på trombon. Han hade ett unikt ljud som omedelbart kändes igen. Han var också en begåvad improvisatör och kompositör. Hans musik har påverkat otaliga trombonister runt om i världen.
Här är några av Johnsons mest kända kompositioner:
* "Beklagar"
* "Ezz-thetic"
* "Enigma"
* "Stardust"
* "Blue Funk"