a aldeia de Anderson foi nomeada em homenagem a John Anderson, um diretor da South Western Railroad em 1853, quando foi estendida de Oglethorpe para Americus. Era conhecida como estação Anderson até a estação de correios dos Estados Unidos ser estabelecida em novembro de 1855. O governo mudou o nome da estação de “Anderson” para “Andersonville”, A fim de evitar confusão com os correios em Anderson, Carolina do Sul.durante a Guerra Civil, O Exército Confederado estabeleceu Camp Sumter em Andersonville para abrigar prisioneiros de guerra da União., A superlotada prisão de Andersonville era notória por suas más condições, e quase 13.000 prisioneiros morreram lá. Após a Guerra, Henry Wirz foi condenado por crimes de guerra relacionados ao comando do campo. Seu julgamento foi mais tarde considerado injusto por vários grupos, e um monumento em sua honra foi erguido em Andersonville pelas filhas Unidas da Confederação.
Monumento em Andersonville dedicado a Henry Wirz
A cidade também serviu como um depósito de suprimentos durante o período da guerra., Ele incluía uma estação de correios, um depósito, uma loja de ferreiros e estábulo, um par de lojas gerais, dois saloons, uma escola, uma igreja metodista, e cerca de uma dúzia de casas. (Ben Dykes, que era dono do terreno em que a prisão foi construída, era agente de depósito e carteiro.)
até o estabelecimento da prisão, a área era inteiramente dependente da agricultura, apoiada por loams marrom avermelhados mais tarde mapeados como Greenville e Red Bay soil series., Após o encerramento da prisão e o fim da guerra, a cidade continuou economicamente dependente da agricultura, principalmente o cultivo de algodão, como uma cultura de commodities.não foi até 1968, quando a mineração em larga escala de caulino, caulino bauxítico e bauxita foi iniciada pela Mulcoa, companhia Mullite da América, que a cidade foi dramaticamente alterada. Esta operação explorou 2,000 acres (8,1 km2) de floresta de carvalhos em uma operação massiva de mineração e refino. A empresa agora envia mais de 2000 toneladas de minério refinado de Andersonville A cada semana.,em 1974, o prefeito Lewis Easterlin e um grupo de cidadãos preocupados decidiram promover o turismo na cidade, remodelando a Main Street para parecer como ele fez durante a Guerra Civil Americana. A cidade de Andersonville e o Local Histórico Nacional de Andersonville, localização do campo de prisioneiros, são agora atrações turísticas.