衡阳因地处衡山之南而得名。衡阳之名最早见诸于史籍的是春秋战国时期的《禹贡》。汉高祖五年（公元前202）在市郊酃湖一带置酃县，衡阳开始建城，至今已有2000多年的历史。建安二十年（215），刘备与孙权瓜分荆南地区，并以湘江为界，以西归刘备，以东属孙权；建安二十四年（219），衡阳统归孙权割据，公元229年，孙权建立吴国，吴太平二年（257），分长沙郡西部都尉地域置衡阳郡，衡阳首见郡名。
南北朝时代，衡阳地域先后归宋、齐、梁、陈各朝所有，并先后设置衡阳王国、衡阳男国。隋开皇九年（589），将州、郡、县三级政权机构改为州、县两级，置衡州，衡阳始以州名；同时，并临蒸、重安、新城3县，置衡阳县，衡阳以县名也从此开始；当时州治、县治均设于今衡阳市城区的江东岸。
唐武德七年（624），衡州州城从湘江东岸移到湘江西岸，今衡阳城区的核心区域从此开始奠基，至今已有1400多年。元代，确定行省制度，省下设路、州、县，衡阳称衡州路。明、清时期，衡阳改路为府，一直以衡州府为名。民国时期，衡阳初为衡阳道，后废除道制，衡阳道各县直接由省或行政督察区管辖。
抗战爆发后，随着国民政府政治、经济、文化重心的西移，衡阳的经济和社会迅速发展和演进，不仅是交通枢纽，而且成为大后方重要的物资集散地和工商业中心，人口也急剧增加。因此，1941年1月，湖南省政府第二次扩大行政会议决定将衡阳县东华、雁峰、西湖、石鼓、江东5镇和城郊的广福、奇罡、酃湖3乡区域设置衡阳市，直属湖南省政府，衡阳县治所仍驻市内，第二行政督察专员公署、区保安司令部迁移茶陵。同年7月18日，衡阳市政府筹备处成立，开始设市筹备工作。
1942年1月1日，国民政府设衡阳市，属省辖，市长朱玖莹，辖8区、118保、1095甲，面积230平方公里，人口214650。至此，衡阳正式以市名见于世。衡阳设市之后，经济进一步发展，有“小上海”的美誉。
至1943年，衡阳已成为国民政府第二大工商业城市，人口近100万。1944年第二次世界大战中国历时最长的战役——衡阳保卫战致使全城被毁，全城仅剩三栋建筑。
历朝历代，衡阳尽管时郡时州、亦府亦县，名称更易，治所迁移，辖境分合，但湘江中下游转折地段、衡阳盆地、蒸耒流域，始终是它的主要地域范围，小则相当于今衡阳县、衡南县及衡阳市城区的地域范围，大则相当于今日湘中、湘南的广大地域。
