Refrängen upprepar raden "Smoke on the water" för att skapa en levande bild av röken som stiger över sjön, som är Genèvesjön. Låten nämner också spelrummet på Montreux Casino och hur det "brände som en hund". Andra anmärkningsvärda rader inkluderar "Vi kom alla ut till Montreux vid Genèvesjöns strandlinje", "Funky Claude sprang in och ut och drog ut barnen från marken", med hänvisning till lokalens ägare Claude Nobs som hjälpte till med räddningen, och "När i tystnad, vi minns allt, från en förfluten tid som vi brukade kalla hem," och reflekterar över efterdyningarna och minnena från den natten.
Låten blev en av Deep Purples mest framgångsrika och välkända hits och har täckts av många andra artister genom åren.