osada Anderson została nazwana na cześć Johna Andersona, dyrektora kolei południowo-zachodniej w 1853 roku, kiedy została przedłużona z Oglethorpe do Americus. Była znana jako Anderson Station do czasu utworzenia urzędu pocztowego USA w listopadzie 1855 roku. Rząd zmienił nazwę stacji z „Anderson” na „Andersonville”, aby uniknąć pomylenia z urzędem pocztowym w Anderson w Karolinie Południowej.
podczas wojny secesyjnej Armia Konfederacka założyła Camp Sumter w Andersonville, aby pomieścić przybywających jeńców wojennych Unii., Przepełnione Więzienie Andersonville było znane ze złych warunków, a prawie 13 000 więźniów zmarło tam. Po wojnie Henryk Wirz został skazany za zbrodnie wojenne związane z Komendą obozu. Jego proces został później uznany za niesprawiedliwy przez kilka grup, a pomnik na jego cześć został wzniesiony w Andersonville przez Zjednoczone córki Konfederacji.
pomnik w Andersonville poświęcony Henry ' emu Wirzowi
miasto służyło również jako magazyn zaopatrzenia w okresie wojny., W jego skład wchodziły poczta, zajezdnia, kuźnia i stajnia, kilka sklepów ogólnospożywczych, dwa salony, szkoła, kościół metodystów i około tuzina domów. (Ben Dykes, który był właścicielem ziemi, na której zbudowano Więzienie, był zarówno agentem zajezdni, jak i poczmistrzem.)
aż do powstania więzienia, obszar był całkowicie zależny od rolnictwa, wspieranego przez ciemnoczerwone brązowe piaszczyste gliny, później mapowane jako seria Gleb Greenville i Red Bay., Po zamknięciu więzienia i zakończeniu wojny miasto nadal było zależne gospodarczo od rolnictwa, głównie uprawy bawełny jako surowca.
dopiero w 1968 roku, kiedy rozpoczęto wydobycie kaolinu, boksytu i boksytu na dużą skalę przez Mulcoa, Mullite Company of America, miasto zostało dramatycznie zmienione. Operacja ta wykorzystała 2000 akrów (8,1 km2) zaroślowej Puszczy dębowej do ogromnej operacji wydobywczej i rafineryjnej. Obecnie firma wysyła ponad 2000 ton rafinowanej rudy z Andersonville każdego tygodnia.,
w 1974 roku, wieloletni burmistrz Lewis Easterlin i grupa zainteresowanych mieszkańców zdecydowali się promować turystykę w mieście, przebudowując główną ulicę, aby wyglądała podobnie jak podczas amerykańskiej wojny secesyjnej. Miasto Andersonville i Andersonville National Historic Site, lokalizacja obozu jenieckiego, są obecnie atrakcjami turystycznymi.