来雁塔位于石鼓区合江套三汲矾上，与雁峰区回雁峰遥相对峙，故称。据清乾隆《衡阳县志·古迹》载：“万历辛己（1581），宗伯曾朝节倡郡人建浮屠其上……经十三载而告成。”其后，清嘉庆、道光、同治及民国年间均曾修葺，基本保持明代建筑风格。来雁塔系楼阁式砖石塔，坐北朝南，七级八楞，中空，通高36米，底边长7．3米。塔置于须弥座石基上，塔基施图案雕饰。门额为汉白玉石质，中镌“来雁塔”三个大字，系清同治年间兵部尚书彭玉群书丹。塔旁原建有山门和双练、印湘二亭，均废坛；宝瓶于1944年部分毁于战火。1989年，市政府对来雁塔进行全面维修，修复了塔体、塔檐以及各层檐角和塔顶上的鳌鱼、狮、龙、卷草等堆塑，复原了宝瓶、垂带踏跺和二、三级外檐上的石栏杆，恢复了山门。时，市长苏健民作《续修来雁塔记》，由文化局长李正南书丹，镌碑嵌于第一级门洞左壁。来雁塔于1959年和1974年两次公布为市级文物保护单位，1983年10月10日被公布为省级文物保护单位。