En liten grupp babyloniska judar stannade kvar i Babylon efter den persiska erövringen, och de spelade senare en viktig roll i utvecklingen av judisk kultur och religion under andra tempelperioden. Den babyloniska Talmud, en av de viktigaste texterna i judisk lag, sammanställdes i Babylon under denna tid.
På 700-talet e.Kr. erövrades Babylon av de arabiska muslimerna, och det blev en del av den islamiska världen. Staden fortsatte att förfalla, och på 900-talet var den till stor del övergiven. Idag ligger ruinerna av Babylon nära staden Hillah i dagens Irak.