Den lilla byn Anderson var uppkallad efter John Anderson, chef för South Western Railroad 1853 när det förlängdes från Oglethorpe att Americus. Det var känt som Anderson Station tills det amerikanska postkontoret grundades i November 1855. Regeringen ändrade namnet på stationen från” Anderson ”till” Andersonville ” för att undvika förvirring med postkontoret i Anderson, South Carolina.
under inbördeskriget etablerade konfedererade armén Camp Sumter på Andersonville för att hysa inkommande fackliga krigsfångar., Det överfulla Andersonville-fängelset var ökänt för sina dåliga förhållanden, och nästan 13 000 fångar dog där. Efter kriget dömdes Henry Wirz för krigsförbrytelser relaterade till lägret. Hans rättegång betraktades senare som orättvis av flera grupper, och ett monument till hans ära har uppförts i Andersonville av konfederationens Förenade döttrar.
Monument i Andersonville tillägnad Henry Wirz
staden fungerade också som leveransdepå under krigsperioden., Det inkluderade ett postkontor, en depå, en smedja och stabil, ett par allmänna butiker, två salonger, en skola, en metodistkyrka och ungefär ett dussin hus. (Ben Dykes, som ägde det land där fängelset byggdes, var både depot agent och postmaster.)
fram till inrättandet av fängelset var området helt beroende av jordbruket, med stöd av mörkrödbruna sandiga loams som senare kartlades som Greenville och Red Bay soil-serien., Efter slutet av fängelset och slutet av kriget fortsatte staden ekonomiskt beroende av jordbruket, främst odling av bomull som en råvaruväxt.
det var inte förrän 1968, då storskalig gruvdrift av kaolin, bauxitisk kaolin och bauxit påbörjades av Mulcoa, Mullite Company of America, att staden var dramatiskt förändrad. Denna operation utnyttjade 2,000 hektar (8,1 km2) av scrub oak wilderness till en massiv gruvdrift och raffinering. Företaget levererar nu mer än 2000 ton raffinerad malm från Andersonville varje vecka.,
1974 beslutade länge borgmästare Lewis Easterlin och en grupp berörda medborgare att främja turismen i staden, ombyggnad huvudgatan för att se mycket ut som det gjorde under amerikanska inbördeskriget. Staden Andersonville och Andersonville National Historic Site, platsen för fånglägret, är nu turistattraktioner.