Dickens träffade Ellen Ternan 1857, när hon bara var 18 år gammal och han 45. Ternan var scenskådespelerska och Dickens blev omedelbart förtjust i henne. De inledde en hemlig affär, som varade i flera år.
Dickens och Ternan var väldigt förälskade och de planerade att gifta sig efter att Dickens skilde sig från sin fru, Catherine. Dickens fru vägrade dock att ge honom skilsmässa, och därför kunde han och Ternan aldrig vara öppet tillsammans.
1865 fick Dickens och Ternan ett barn tillsammans, en son som hette Charles. Dickens var överlycklig över att bli pappa igen, och han älskade sin son. Men hans fru fick reda på barnet och hon blev rasande. Hon hotade att avslöja affären för allmänheten, och Dickens tvingades göra slut med Ternan.
Dickens och Ternan sågs aldrig mer efter 1865. Dickens dog 1870 och Ternan levde till 1914. Hon gifte sig aldrig, och hon fick aldrig några andra barn.