La Aldea de Anderson fue nombrada en honor a John Anderson, un director del South Western Railroad en 1853 cuando se extendió desde Oglethorpe hasta Americus. Fue conocida como Anderson Station hasta que se estableció la oficina de Correos de los Estados Unidos en noviembre de 1855. El gobierno cambió el nombre de la estación de «Anderson» a «Andersonville» con el fin de evitar la confusión con la oficina de correos en Anderson, Carolina del Sur.
durante la Guerra Civil, el ejército confederado estableció Camp Sumter en Andersonville para albergar a los prisioneros de guerra de la Unión., La superpoblada prisión de Andersonville era notoria por sus malas condiciones, y casi 13.000 prisioneros murieron allí. Después de la Guerra, Henry Wirz fue condenado por crímenes de guerra relacionados con el mando del campo. Su juicio más tarde fue considerado injusto por varios grupos, y un monumento en su honor ha sido erigido en Andersonville por las hijas Unidas de la Confederación.
Monumento en Andersonville dedicado a Henry Wirz
La ciudad también sirve como un depósito de suministros durante el período de la guerra., Incluía una oficina de correos, un depósito, una herrería y un establo, un par de tiendas generales, dos salones, una escuela, una iglesia metodista y alrededor de una docena de casas. (Ben Dykes, que era dueño de la tierra en la que se construyó la prisión, era agente de depósito y jefe de correos.)
hasta el establecimiento de la prisión, el área era totalmente dependiente de la agricultura, apoyada por margas arenosas de color marrón rojizo oscuro más tarde mapeadas como Greenville y Red Bay soil series., Después del cierre de la prisión y el final de la guerra, la ciudad continuó económicamente dependiente de la agricultura, principalmente el cultivo de algodón como un cultivo básico.
no fue hasta 1968, cuando la minería a gran escala de caolín, caolín bauxítico y bauxita fue iniciada por Mulcoa, Mullite Company of America, que la ciudad fue dramáticamente alterada. Esta operación explotó 2,000 acres (8.1 km2) de bosque de roble en una operación masiva de minería y refinación. La compañía ahora envía más de 2000 toneladas de mineral refinado de Andersonville cada semana.,
en 1974, el alcalde de larga data Lewis Easterlin y un grupo de ciudadanos preocupados decidieron promover el turismo en la ciudad, remodelando Main Street para que se viera como lo hizo durante la Guerra Civil Estadounidense. La ciudad de Andersonville y el Sitio Histórico Nacional de Andersonville, ubicación del campo de prisioneros, son ahora atracciones turísticas.