Landon föddes som Eugene Maurice Orowitz i Forest Hills, New York. Hans far, Eli Maurice Orowitz, var en judisk klädtillverkare, och hans mor, Peggy O'Neill, var en katolsk skådespelerska och dansare. Landon hade fyra syskon:David, Robert, Tom och Cheryl.
Landon började agera vid 14 års ålder och medverkade i flera Broadway-produktioner. Han skrev kontrakt med Warner Bros. 1956 och gjorde sin filmdebut i filmen _God Is My Partner_ (1957). Han fortsatte sedan med att spela i ett antal andra filmer, inklusive _Marjorie Morningstar_ (1958), _The Legend of Tom Dooley_ (1959) och _The Longest Day_ (1962).
1959 rollades Landon som Little Joe Cartwright i NBC Western TV-serien _Bonanza_. Showen var en stor hit och pågick i 14 säsonger, vilket gjorde Landon till ett känt namn. Efter att _Bonanza_ tog slut 1973 fortsatte Landon med att spela i flera tv-filmer och tv-serier, inklusive _The Little House on the Prairie_ (1974–1983), _Highway to Heaven_ (1984–1989) och _Us_ (1991) .
Landon var också en framgångsrik regissör och producent. Han regisserade ett antal avsnitt av _Bonanza_ och _Lilla huset på prärien_, och han regisserade också flera tv-filmer. Han producerade också flera tv-serier, inklusive _The Love Boat_ (1977–1987), _Highway to Heaven_ och _Us_.
Landon dog i bukspottkörtelcancer den 1 juli 1991, 54 år gammal. Han efterlämnar sin fru, Cindy Landon, och nio barn:Mark, Josh, Jason, Michael, Shawna, Christopher, Cheryl, Erin och Kelly.