Bobbys sista show med bandet var i december 1999 på Grand Ole Opry. Hans avgång berodde på hälsoskäl vid den tiden. Han fortsatte att skriva låtar för Sawyer Brown och spelade in ytterligare tre album med dem (2000-talets "Cafe On the Corner", 2002:s "Bootleg" och 2004:s "Mission Temple Fireworks Stand") innan han bestämde sig för att dra sig tillbaka från turnén 2004 för att spendera mer tid med sin familj och fokusera på andra affärsintressen.
Trots att han inte längre turnerade med bandet fortsatte Bobby att samskriva låtar för Sawyer Brown på deras nästa två album, 2006:s "Can You Hear Me Now" och 2010:s "The Boys Are Back."