Refrängen i låten upprepar raden "Jag vill inte ha dina rester", och uttrycker sångarens avvisande av resterna av det tidigare förhållandet och deras beslutsamhet att skapa en ny och tillfredsställande framtid för sig själva.
Texterna målar också upp en bild av sångarens känslomässiga resa när de kommer överens med slutet på förhållandet. De beskriver att de känner sig som ett "spöke" i sitt liv, som kämpar för att hitta sin plats i världen utan sin tidigare partner.
Trots smärtan och osäkerheten antyder låten en känsla av motståndskraft och hopp. Sångaren erkänner att de fortfarande kan vara hemsökta av det förflutna men uttrycker sin beslutsamhet att fortsätta gå framåt.
Sammantaget är "Your Leftovers" en gripande låt om kärlek, förlust och sökandet efter nya början. Den fångar de råa känslorna och utmaningarna som kommer med att gå vidare från en betydande relation.