Han föddes på ön Bequia, Saint Vincent, och fick en kolonial grundskoleutbildning. 1930 fick Palmer ett stipendium för att gå på gymnasiet i London. Med ytterligare stipendier studerade han medicin vid University of Birmingham och tog examen 1941.
Han återvände till Västindien och arbetade på Jamaica, Trinidad och Tobago och Saint Lucia. 1950 återvände Palmer till Saint Vincent för att träna. 1954 var Palmer med och grundade People's Political Party (PPP) och valdes in som lagstiftare till det lagstiftande rådet. Han valdes till chefsminister 1967.
1979 ledde Palmer Saint Vincent och Grenadinerna till självständighet från Storbritannien. Han adlades av drottning Elizabeth II samma år.
1984 drog Palmer sig tillbaka från politiken och efterträddes som premiärminister av James Fitz-Allen Mitchell. Han dog på sin 92-årsdag.