Costello föddes i Paterson, New Jersey, av italienska invandrare. Han började sin karriär inom showbranschen som tonåring och uppträdde i vaudeville och burlesk. Han träffade Bud Abbott 1936, och de två bildade ett komediteam. De blev snabbt en av de mest populära komedierna i världen och uppträdde på nattklubbar, på radio och i filmer.
Abbott och Costellos komedi präglades av deras slapstick-rutiner och Costellos höga röst och överdrivna ansiktsuttryck. De medverkade i totalt 36 filmer tillsammans, inklusive "One Night in the Tropics" (1940), "Buck Privates" (1941) och "Abbott and Costello Meet Frankenstein" (1948).
Costellos hälsa började sjunka i början av 1950-talet och han genomgick flera hjärtoperationer. Han dog av en hjärtattack 1959 vid 52 års ålder.
Trots sin för tidiga död anses Costello vara en av 1900-talets mest inflytelserika komiker. Hans arbete med Bud Abbott bidrog till att definiera komedigenren och inspirerade otaliga andra komiker.