Joachim var ett underbarn och gjorde sin debut vid sju års ålder. Han studerade hos Stanisław Serwaczyński och senare hos Ferdinand David vid Leipzigs konservatorium. Han studerade också komposition hos Moritz Hauptmann.
Joachims karriär som solist tog honom över hela Europa, och han uppträdde med många av tidens ledande orkestrar. Han var också kammarmusiker och uppträdde med många av de ledande musikerna på sin tid, inklusive Clara Schumann, Johannes Brahms och Joseph Hellmesberger, Sr.
Joachim var också en hängiven lärare och undervisade vid konservatoriet i Wien från 1869 till 1907. Han var också grundaren av Joachim-kvartetten, som var en av tidens mest kända stråkkvartetter.
Joachim var ett stort inflytande på utvecklingen av fiolspel, och hans läror har haft en djupgående inverkan på violinister över hela världen. Han anses vara en av de största violinisterna genom tiderna, och hans arv fortsätter att inspirera och utbilda musiker än i dag.