Filmen inleds med att Edie (Miller) anländer till New York City från sitt rika hem i Boston. Hon träffar Andy Warhol (Pearce) och blir en del av hans Factory-scen, en grupp artister, musiker och artister som bodde och arbetade tillsammans i Warhols studio. Edie blir snabbt Warhols musa och medverkar i många av hans kortfilmer och konstverk.
När Edies stjärna reser sig blir hon allt mer involverad i drogscenen och hennes relation med Warhol börjar försämras. Hon börjar också dejta Billy Quinn (Christensen), en karismatisk musiker, men deras förhållande är tumultartat och tar slut. Edies nedgång fortsätter och hon dör så småningom av en överdos av droger 1971 vid 28 års ålder.
Factory Girl är en tragisk berättelse om uppgången och fallet för en ung kvinna som var både vacker och begåvad men till slut förstörd av sina demoner. Filmen ger en inblick i Andy Warhols och fabrikens värld och fångar 1960-talets anda.
Filmen fick blandade recensioner från kritiker, som hyllade Millers prestation men var kritiska till filmens skildring av Warhol and the Factory. Men filmen blev en kommersiell framgång och samlade in över 12 miljoner dollar över hela världen.