Medan hans familj hade varit i Amerika i generationer, var de i slutändan av engelsk härkomst. Hans far, Joseph Allen, föddes i Connecticut, men hans farfar hade kommit till Amerika från England.
Medan Allens familj och liv var djupt knutna till de amerikanska kolonierna, är hans härkomst stadigt rotad i England.