Connery föddes i Edinburgh, Skottland, 1930. Hans far var fabriksarbetare och hans mamma var städare. Connery lämnade skolan vid 13 års ålder och började arbeta som mjölkman. Han gick senare med i Royal Navy, där han tjänstgjorde i tre år.
Connerys skådespelarkarriär började i början av 1950-talet, då han medverkade i ett antal små roller i brittiska filmer. Hans stora genombrott kom 1962, när han fick rollen som James Bond i filmen Dr. No. Filmen blev en stor framgång och Connery blev snabbt en av de mest populära skådespelarna i världen.
Connery fortsatte att spela James Bond i ytterligare sex filmer, inklusive From Russia with Love (1963), Goldfinger (1964), Thunderball (1965), You Only Live Twice (1967), Diamonds Are Forever (1971) och Never Say Never Again (1983). Han medverkade också i ett antal andra framgångsrika filmer under 1960- och 1970-talen, inklusive The Great Escape (1963), Murder on the Orient Express (1974) och The Man Who Would Be King (1975).
På 1980-talet började Connerys karriär minska. Han spelade huvudrollen i ett antal dåligt mottagna filmer, inklusive Outland (1981), Never Say Never Again (1983) och The League of Extraordinary Gentlemen (2003). Däremot fick han en del kritik för sina roller i The Untouchables (1987), Indiana Jones and the Last Crusade (1989) och The Rock (1996).
Connery drog sig tillbaka från skådespeleriet 2006. Han har mottagit många utmärkelser för sitt arbete, inklusive en Oscar, två BAFTA Awards och tre Golden Globe Awards. Han adlades också av drottning Elizabeth II 2000.