Johnson föddes i Canton, South Dakota, och växte upp på en gård. Han tog examen från University of South Dakota 1982 med en examen i statsvetenskap. Efter att ha arbetat i flera år som lagstiftande medhjälpare valdes han in i South Dakotas representanthus 1986. Han tjänstgjorde i huset i sex år, inklusive två år som talare.
1996 valdes Johnson in i den amerikanska senaten och besegrade den sittande republikanen Larry Pressler. Han omvaldes till en andra mandatperiod 2002 och en tredje mandatperiod 2008.
Johnson var känd för sina moderata politiska åsikter och sin vilja att arbeta med både republikaner och demokrater. Han var också en stark anhängare av jordbruk och landsbygdsutveckling.
2014 meddelade Johnson att han inte skulle söka en fjärde mandatperiod i senaten. Han nämnde hälsoproblem, inklusive en stroke han drabbades av 2006, som skälet till sitt beslut.
Johnson lämnade senaten 2015. Han är nu pensionerad och bor i Vermillion, South Dakota.