Terrell föddes i Philadelphia, Pennsylvania, och började sin karriär som tonåring och sjöng i olika lokala grupper. 1961 skrev hon på med Motown Records och släppte sin debutsolosingel, "I Can't Believe You Love Me". Låten var en mindre hit, men den hjälpte Terrell att få erkännande inom Motown-organisationen.
1964 spelade Terrell in duetten "Ain't No Mountain High Enough" med Marvin Gaye. Låten blev en stor hit, nådde nummer ett på Billboard Hot 100-listan och vann två Grammy Awards. Terrell och Gaye fortsatte att samarbeta, och de släppte flera framgångsrika duetter, inklusive "Your Precious Love", "You're All I Need to Get By" och "If I Could Build My Whole World Around You".
1967 fick Terrell diagnosen hjärncancer. Hon opererades och behandlades, men cancern kom tillbaka 1969. Terrell dog i Philadelphia den 16 mars 1970, 24 år gammal.