1944年，为了打通从中国东北到越南的大陆线，扭转十分不利的太平洋战局，日军调集50万兵力，且陆海空配合，实施“一号作战计划”。这是日军侵华以来在中国战场上发动的最大规模进攻，史称“豫湘桂战役”。同年4月，日军占领郑州，一个月后，许昌、洛阳相继失守，6月中旬长沙沦陷，随后日军向衡阳进犯。
衡阳是连接东南和西南的战略要地，如果失守，日军必然会直取桂林。美军在西南苦心经营的飞机场将化为泡影，陈纳德的几百架飞机恐怕连降落的地方都没有了。
此时，驻守在衡阳的是方先觉的国民革命军第10军，下辖周庆祥第3师，葛先才预10师，容有略第190师一个团，协防的饶少伟暂54师一个团，共计17600人，但真正投入的战斗力不到15000人。
而日军担任主攻的是横山勇第11军第68师团与第116师团，加上助攻的几个师团，约10万人。
6月23日，日军分左中右三路包抄衡阳。方先觉率第10军英勇抗击，但瓦子坪阵地被敌突破，守卫该阵地的一个营长被就地正法，全体将士闻之肃然，此后无一退缩者，多次击退日军。
三天后，衡阳城东湘江东岸的机场被日军占领，并形成了对衡阳的包围。之后，日军就渡过湘江，对欧家町、黄茶岭，向停兵山、高岭、江西会馆主阵地猛攻。
国军守军决心与敌人拼至最后一颗手榴弹。激战一天后，停兵山、高岭据点守军全部牺牲，无一生还，而日军也被歼二千人以上。恼羞成怒的日军，在之后的进攻中施放毒气，守卫五桂岭阵地之第七连，除不在阵地的特务长、炊事员4人外，全连全部中毒身亡。
7月11日晨，日军发起第二次总攻击，向衡阳城垣倾泻了大量的炸弹--燃烧弹和各种毒气弹，城内囤积的粮弹，多被焚毁。
但守军不畏牺牲，在支前群众的积极配合下，坚守阵地，抵抗极为顽强，往返冲杀，对敌逆袭，与日军反复争夺一些要点。张家山小高地，失而复得三次。黑徽联队以死伤过半的代价，也无法接近守军的核心阵地。
四天后，守军退西禅寺、张飞山，改守第二线。日军继续对衡阳城猛烈轰炸，逐次夺取城郊据点，压缩包围圈。
第10军官兵伤亡巨大，加上医药匮乏，伤者自愿留在阵地，与日军同归一尽。
而日军也付出了重大伤亡，联队长一名、大队长六名相继被击毙，不得不于19日再次停止进攻。
日军经过十天的重新部署，于7月30日进行第三次总攻。首先以飞机大炮向核心阵地和市区狂轰滥炸，紧接着，日军从南北西三面猛攻核心阵地，战斗异常激烈。
期间，中国空军两次向衡阳城内投下蒋介石的手令，令方先觉军坚守衡阳城待援，但日军拼死围堵中国援军。
经46个昼夜激战，中国守军未得休整，非战斗减员严重。阵地相继失守，将士视死如归。
最后，方先觉向重庆国府发出最后一份电报称：“敌人今晨由北门突人以后，即在城内展开巷战，我官兵伤亡殆尽，再无兵可资堵击，职等誓以一死为报国家……来生再见。”蒋介石回电：“祝上帝保佑你们。”
8月8日清晨，衡阳落入敌手。
根据美国国会图书馆记载：此次战役，中国军队死伤1.5万人，其中7400人捐躯;而日军则付出了超过7万人死伤、4.8万人被击毙的惨重代价。
这场战役也导致日本首相东条英机直接下台。