Nat King Cole gifte sig med Maria Ellington den 25 december 1936 i Chicago, under höjden av sin första karriärs återuppståndelse. De var lyckligt gifta i 20 år och adopterade fem barn; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (april 1941) och två flickor Carol "Cookie" Cole (1944) och Maria Cole (1947). Deras son Nat Kelly Cole blev en berömd sångare, låtskrivare och skådespelare.
Den 28 december 1956 dog Maria Cole oväntat i lungcancer vid 45 års ålder, vilket gjorde Nat djupt förkrossad och hjärtbruten. Han var änkeman tills han gifte sig med sångerskan Maria Hawkins den 8 juli 1965. De förblev tillsammans tills Nat King Coles alltför tidiga bortgång 1965.
Faderskapskontrovers
På 1990-talet kom en kvinna vid namn Lorna Coles fram och påstod sig vara Nat King Coles dotter från en kort affär som han hade med sin mamma 1947. DNA-tester bekräftade att Lorna Coles verkligen var Nat King Coles biologiska barn.