landsbyen Anderson blev opkaldt efter John Anderson, en direktør for South Westernestern Railroad i 1853, da den blev udvidet fra Oglethorpe til Americus. Det blev kendt som Anderson Station indtil US post office blev etableret i November 1855. Regeringen ændrede stationens navn fra ” Anderson “til” Andersonville ” for at undgå forvirring med posthuset i Anderson, South Carolina.under borgerkrigen etablerede den konfødererede hær Camp Sumter i Andersonville for at huse indkommende Unionsfanger., Det overfyldte Andersonville-fængsel var berygtet for sine dårlige forhold, og næsten 13.000 fanger døde der. Efter krigen blev Henry .ir.dømt for krigsforbrydelser i forbindelse med lejrens kommando. Hans retssag blev senere betragtet som uretfærdig af flere grupper, og et monument til hans ære er blevet rejst i Andersonville af De Forenede døtre af Confederacy.
Monument i Andersonville, der er dedikeret til Henry Wirz
byen også serveres som supply depot under krigen periode., Det omfattede et posthus, et depot, en smedebutik og stald, et par almindelige butikker, to saloner, en skole, en Metodistkirke og omkring et dusin huse. (Ben Dykes, der ejede den jord, hvor fængslet blev bygget, var både depot agent og postmester.)
indtil etableringen af fængslet var området helt afhængigt af landbruget, støttet af mørk rødbrun sandslam, der senere blev kortlagt som Greenville og Red Bay soil-serien., Efter afslutningen af fængslet og slutningen af krigen fortsatte byen økonomisk afhængig af landbruget, primært dyrkning af bomuld som en råvareafgrøde.
Det var ikke før i 1968, hvor den store indvinding af kaolin, bauxitic kaolin, og bauxit blev påbegyndt af Mulcoa, Mullit Company of America, at byen blev dramatisk ændret. Denne operation udnyttede 2,000 acres (8.1 km2) af scrub oak wildernessilderness til en massiv minedrift og raffinering. Virksomheden sender nu mere end 2000 tons raffineret malm fra Andersonville hver uge.,
i 1974 besluttede langvarige borgmester Le .is Easterlin og en gruppe berørte borgere at fremme turismen i byen og ombygge Main Street for at se meget ud, som det gjorde under den amerikanske borgerkrig. Byen Andersonville og Andersonville National Historic Site, placering af fangelejren, er nu turistattraktioner.