回雁峰，南岳七十二峰之首，北雁南飞，到此为止，故而得名。宋之问的《题大庾岭北驿》中有：“阳月南飞雁，传闻至此归。”柳宗元过衡山时也写下“晴天归路好相逐，正是峰前回雁时”。至于王勃的“雁阵惊寒，声断衡阳之浦”，流传就更广了。为什么衡阳以南雁声甚少?这里是有科学道理的。
竺可桢先生在他的《物候学》中说，冬初日照缩短，气温降至10摄氏度以下，可激发北雁南飞。若日照增长，气温稳定在30摄氏度以上，可适于雁的居留。湖南地处亚热带，有趣的是正好处于我国冬季最冷的一月平均气温0摄氏度等温线以南，8摄氏度等温线以北，一月份平均气温4摄氏度—6摄氏度，冬季旦平均气温0摄氏度的天数10天左右，雪日5-10天，日照又比北方长。回雁峰以北处于冬季10摄氏度等温线以北，宜于大雁留居。洞庭渔米乡物产丰富，衡阳以北地势低平，不仅有广阔的洞庭湖面，且沼泽港汊纵横，水库、池塘、水田密布，像明镜，______，______，还有它们又极少封冻。雁是水上游禽，在这得天独厚的环境中，白天在水中有鱼虾可觅，田中有遗谷可寻，夜有湖洲芦苇可栖，或饮或啄，或嬉或栖，实在相宜。况且几经长途跋涉，体力大耗，再渡南岭，山峦起伏，水面极少，食宿之地难寻，要远翔南海之滨，体力难持。于是大雁不再南飞，便选择洞庭湖畔安营扎寨，乐度严冬，所以衡阳以南雁声甚少。
但雁也并非绝对不越南岭，少数雁群体力较好，有时也直飞南海之滨，也有的先在洞庭湖畔休整，补充营养，待体力恢复后再南飞。如有大量雁群超过南岭，则可能是当年冬季洞庭湖畔气候异常，河湖封冻，气温太低，食宿之处难寻。为了求得生存，只得继续南飞，寻找适宜越冬场所。史料中记载我国南海之滨，也有大雁的足迹它们应是雁群中的佼佼者了。