Frasen tros ha sitt ursprung i USA på 1800-talet, då sheriffer valdes till tjänstemän som ansvarade för brottsbekämpning i sina respektive län. När en ny sheriff valdes, tog de ofta in sina egna ställföreträdare och gjorde ändringar i hur brottsbekämpningen genomfördes. Detta kan leda till betydande förändringar i lokalsamhället, eftersom den nya sheriffen kan ha en annan inställning till brottsbekämpning eller kan prioritera andra frågor än den tidigare sheriffen.
Med tiden kom frasen "en ny sheriff i stan" att användas mer allmänt för att hänvisa till varje ny person i en auktoritetsposition som åstadkommer förändringar eller har en betydande inverkan på sitt område. Det används nu ofta i en mängd olika sammanhang, såsom politik, affärer och sport.