Der Weiler Anderson wurde benannt nach John Anderson, ein Direktor der South Western Railroad im Jahre 1853, als es erweitert wurde vom Oglethorpe, um Americus. Es war als Anderson Station bekannt, bis das US Post Office im November 1855 gegründet wurde. Die Regierung änderte den Namen der Station von „Anderson“ in „Andersonville“, um Verwechslungen mit der Post in Anderson, South Carolina, zu vermeiden.
Während des Bürgerkriegs errichtete die Konföderierte Armee das Camp Sumter in Andersonville, um ankommende Kriegsgefangene der Union unterzubringen., Das überfüllte Gefängnis in Andersonville war berüchtigt für seine schlechten Bedingungen, und fast 13,000 Gefangene starben dort. Nach dem Krieg wurde Henry Wirz wegen Kriegsverbrechen im Zusammenhang mit dem Kommando des Lagers verurteilt. Sein Prozess wurde später von mehreren Gruppen als unfair angesehen, und ein Denkmal zu seinen Ehren wurde in Andersonville von den Vereinigten Töchtern der Konföderation errichtet.
Denkmal in Andersonville gewidmet Henry Wirz
Die Stadt diente auch als depot, während des Krieges., Es umfasste ein Postamt, ein Depot, eine Schmiede und einen Stall, ein paar allgemeine Geschäfte, zwei Salons, eine Schule, eine methodistische Kirche und etwa ein Dutzend Häuser. (Ben Dykes, der das Land besaß, auf dem das Gefängnis gebaut wurde, war sowohl Depotagent als auch Postmeister.)
Bis zur Errichtung des Gefängnisses war das Gebiet vollständig von der Landwirtschaft abhängig, unterstützt von dunklen rötlich-braunen Sandlehm, der später als Greenville und Red Bay Soil Series kartiert wurde., Nach der Schließung des Gefängnisses und dem Ende des Krieges war die Stadt weiterhin wirtschaftlich von der Landwirtschaft abhängig, vor allem vom Anbau von Baumwolle als Rohstoff.
Erst 1968, als der großflächige Abbau von Kaolin, bauxitischem Kaolin und Bauxit von Mulcoa, Mullite Company of America, begonnen wurde, wurde die Stadt dramatisch verändert. Diese Operation nutzte 2,000 Acres (8.1 km2) der Scrub Oak Wilderness zu einem massiven Bergbau-und Raffineriebetrieb. Das Unternehmen liefert jetzt jede Woche mehr als 2000 Tonnen raffiniertes Erz aus Andersonville.,
1974 beschlossen der langjährige Bürgermeister Lewis Easterlin und eine Gruppe besorgter Bürger, den Tourismus in der Stadt zu fördern und die Main Street so zu sanieren, dass sie so aussieht wie während des amerikanischen Bürgerkriegs. Die Stadt Andersonville und die Andersonville National Historic Site, Standort des Gefängnisses, sind jetzt Touristenattraktionen.