hamlet Andersona byl jmenován Johnem Andersonem, ředitelem jihozápadní železnice v roce 1853, kdy byl rozšířen z Oglethorpe na Americus. To bylo známé jako Anderson stanice, dokud Americká pošta byla založena v listopadu 1855. Vláda změnila název stanice, z „Anderson“ na „Andersonville“ aby se zabránilo záměně s post office v Anderson, Jižní Karolína.
během občanské války založila konfederační armáda Tábor Sumter v Andersonville, aby ubytovala příchozí válečné zajatce., Přeplněná věznice v Andersonville byla proslulá svými špatnými podmínkami a zemřelo tam téměř 13 000 vězňů. Po válce byl Henry Wirz odsouzen za válečné zločiny související s velením tábora. Jeho proces byl později považován za nespravedlivý několika skupinami, a památník na jeho počest byl postaven v Andersonville Spojenými dcerami Konfederace.
Památník v Andersonville věnovaná Henry wirz spojuje
město také sloužil jako sklad zásob během období války., Jednalo se o poštu, sklad, kovárnu a stáj, několik obecných obchodů, dva salony, školu, Metodistický kostel a asi tucet domů. (Ben Dykes, který vlastnil pozemek, na kterém byla věznice postavena, byl jak depotním agentem, tak poštmistrem.)
Až do zřízení věznice, oblast byla zcela závislá na zemědělství, podporované tmavě červenohnědé písčité hlíny později mapovány jako Greenville a Red Bay půdě série., Po uzavření Věznice a konci války město nadále ekonomicky záviselo na zemědělství, především na pěstování bavlny jako komoditní plodiny.
až v roce 1968, kdy začala rozsáhlá těžba kaolinu, bauxitického kaolinu a bauxitu společností Mulcoa, Mullite Company of America, bylo město dramaticky změněno. Tato operace využila 2,000 akrů (8.1 km2) křoviny Oak wilderness do masivní těžby a rafinace. Společnost nyní dodává více než 2000 tun rafinované rudy z Andersonville každý týden.,
V roce 1974, dlouholetý starosta Lewis Easterlin a skupiny dotčených občanů rozhodla podpořit cestovní ruch ve městě, přestavba Hlavní Ulici vypadat, jako tomu bylo během Americké Občanské Války. Město Andersonville a Národní historické místo Andersonville, umístění vězeňského tábora, jsou nyní turistickými atrakcemi.