衡陽市位於巍峨秀麗的衡山南麓, 漫江碧透的湘江之濱. 相傳,秋寒來臨, 大雁從北方飛往南方越冬,到衡陽便歇翅停回. 故衡陽市又稱“雁城”。衡陽八景詩雲：雁峰煙雨實堪大誇，石鼓江山錦秀華，花藥春溪龍現爪，岳屏雪鳥喧嘩，朱陵洞內詩千首，青草橋頭酒百家，試看東洲桃浪暖，西湖夜放白蓮花。
八景之首的回雁峰，在衡陽市中山路南端，高約二十余丈。衡岳七十二峰，回雁為首，岳麓為足。回雁峰名的由來有二種說法：一種說法是，每年秋季之後，大雁南飛，停留在衡陽的回雁峰上，到來年開春，才北飛。另一種說是，回雁峰以山形而得名，它聳立衡陽市內，就像一只大雁伸頸昂頭，舒足展翅將要迎風飛翔的樣子。但自古以來，大多采取前一種說法，不少文人騷客寫下了的詩詞歌賦，初唐王勃的“雁陣驚寒，聲斷衡陽之浦。”現在就刻在進山門的石壁上。煙雨池，在回雁峰山門正前方。依山臨門，一泓清泉，池廣約十丈，水清可見底，周以石欄，相傳春暖花開，池水蒸騰，早晚霧氣冉冉上升，彌漫空際，呈現出陽春煙雨，蔚為壯觀。沿石階上行，有一寺院——雁峰寺，原敕賜乘雲禪寺就在這裡，後來改稱為雁峰寺，其中屢毀屢建，現在的雁峰寺已很小，但香火旺盛。雁峰山上四季宜人，奇花異草，茂林修竹，亭閣樓台，碑廊畫壁，蔚為奇觀。春天花香襲衣，夏天林蔭蔽日，秋天澄江似練，冬天蠟像裝銀。很值得一游。
石鼓書院位於衡陽的北面，沿著一段長長的曲橋進入石鼓書院，進大門在一塊長方形的草坪右側，豎立著一面高二米、直徑為一點六米的大石鼓雕塑，這已經是後來的石鼓了，相傳古時候每當烽火燃起的時候，這面鼓會自動擂響，不過是傳說罷了。登上綠淨閣，碧瓦琉璃，飛閣連雲，雕梁畫棟，可以看到湘江與蒸水在這裡彙合北去，雨天，能清晰看到清清的湘江與渾黃的蒸水彙合的分界線。遠遠的來雁珠暉雙塔，隱約可見。宋至道三年（997）衡陽郡人李士真創建書院，與當時的睢陽書院、白鹿書院齊名，稱為全國四大書院之一。