在1943年下半年，全球战争格局大变，盟军反攻，日本在亚洲地区面临严峻局面。其海路通往东南亚日益危险，因此，打通由东南亚，经过中国至朝鲜、日本的陆路成为关键。这条线路部分仍在中国军队控制，尤其在河南、湖南、江西和广西，因此日本决心打通此路。
1944年，盟军B-29轰炸机从中国西南飞往东北和日本轰炸，美军在华活动激增，压力大增，催发日本摧毁中国西南美军基地的计划。
日军欲与中国军队大决战，消除或击败主力部队，以防中国协助美军登陆。然而此计划在日军内部有争议，许多人反对，担心大规模作战消耗军力，不利战争进程。尽管打通陆地线路看似好，但日军难以承担。维护此线路运转不易，以日军现有力量，维持长线路难免疲弱，易变脆弱。因此有人认为此计划疯狂，形容为“饮鸩止渴”。
尽管有争议，内阁总理东条英机批准此计划，日本陆军欢喜海军在太平洋战场败退，希望通过此胜利压倒海军声望。1944年1月24日，日本天皇批准，发出“大陆命921号”作战命令，被称为“一号作战”。由于在河南、湖南和广西进行，中国命名为“豫湘桂会战”。
此战役目标是击败中国军队，占领并控制平汉铁路南段，湘桂、粤汉铁路及其重要地点，摧毁中国主要空军基地，制止空军活动。战役分为三步：首先，1944年4月，华北方面军投入4个师团在河南战斗，预计1.5月打通平汉线；其次，1944年6月，以华中的第11军，广东的第23军为辅，投入10至12个师团在湖南战斗，预计五个月打通粤汉线中段；最后，1945年1月，第23军在广西战斗，目标控制平汉铁路、湘桂铁路和粤汉铁路以及沿线的重要地点，以阻止中国空军活动。整个行动被划分为三个阶段，每个阶段都有明确的目标和期限。这场战役对日本军队的力量是一个巨大的考验，但也被视为日本军队在亚洲保持战斗能力的关键之举。
1944年4月，华北军队调动了4个师团，计划在一个半月内打通平汉线。接下来，1944年6月，湖南成为"一号作战"的重点战区，华中的第11军和广东的第23军共投入10至12个师团，预计在五个月内完成粤汉线中段的任务。而到了1945年1月，第23军开始在广西作战，希望在一至两个月内成功打通湘桂线和粤汉线南段。
为了支持这场战役，日军最高指挥部将人力和物力需求置于最优先。他们从各地调集约15万士兵，准备了1500门火炮、800辆坦克和15500辆汽车，使得这场战役成为整个抗日战争期间规模最大的一次。
第二阶段的"一号作战"重点集中在湖南地区。日本的第11军作为中国战场唯一的野战军，经过强化，其总兵力扩大至近20万人。在豫中会战结束后，军事委员会判断日军将向湘桂路和粤汉路发起攻击，因此紧急指示第九战区做好战备。然而，直到5月底，当日军的进攻意图变得更加明显时，第九战区才开始进行紧急调整和部署。
5月27日，日军的第11军由5个师团组成，分成三路向崇阳、公安和南县线发动进攻。面对日军的大举进攻，第九战区司令长官薛岳决定采用新的战术，主力部队分别在渌水和涟水北岸展开打击。
然而，日军备战充分，兵力强大，因此到了6月14日，日军已经逼近长沙。由于长沙守军第4军军长张德能的错误布阵和指挥失误，长沙在6月19日就被日军占领。
随着长沙的失陷，日军的下一个目标转向湖南中南部的衡阳。在日军的湖南战略计划中，衡阳是一个必须攻下并保住的重要目标。他们计划动用1个师团在湘江以西，2个师团进攻衡阳，以及3个师团在湘东山地，以保护攻城部队的侧翼。而中国军队在衡阳会战的战略构想依然是依赖“天炉战法”，即中央阻止，两翼包围，击退进攻的日军。然而，在日军的强势进攻面前，两翼部队未能按预定计划实施，这使得负责防守中部的衡阳守军面临巨大的压力。
1944年的衡阳城内弥漫着一片恐慌，人心惶惶，当局立即采取行动疏散群众，展开了规模庞大的衡阳大逃亡。与此同时，日军派遣装满物资的汽车进驻，迅速积蓄弹药。日军每天都能补充30吨的弹药，为未来的进攻做着充分准备。然而，驻守在衡阳城内的第十军却只有17000多人。他们刚刚结束了常德会战，伤亡人数众多，医疗物资非常匮乏。战士们只能用盐水进行简单冲洗，而炎热的天气使得伤口更易发炎。这种情况下，可参战的士兵数量不断减少。
第10军的指挥官方先觉，注意到衡阳东边是湘江，北边是蒸水，这两个自然屏障的防线很难被破坏，因此他认为只需用少量的军队去保护这些区域。敌方日军的主要攻击路径可能来自西北或西南。相比之下，西北的地势较为平坦，而西南则有许多复杂的山丘，所以方先觉判断日军的主攻击将会来自西南。虽然西北地势的平坦有利于他们的行动，但此时中美联合空军已经掌握了空中优势，如果日军在西北集结，将会成为空中的活靶子。同时，长衡公路周围的地形由于山地连绵，不利于部队机动，一旦受到阻击或空袭，很难展开反击。
而从长沙经过东边绕道衡阳西南的路线条件则好得多。此外，日军一直低估我军，所以他们不会担心西南的山地。更为重要的是，如果从西北主攻，即使成功占领衡阳城，还必须再攻击西南的山地，因为衡阳的公路和铁路都经过西南山地。然而，如果从西南主攻，不仅可以在战斗开始时就切断衡阳与后方的公路铁路联系，一旦成功攻下城区，就可以宣布战争胜利，根本无需再关心西北。这一预判非常准确，日军的主攻方向确实是西南。
在军队布防方面，第10军有三个师，其中第3师是最老练的，战斗力也最强。大多数人如果确定了西南是主攻方向，他们自然会选择将第3师部署在西南的山地。然而，方先觉却将预备的第10师部署在西南山地，将第3师部署在城西的二线防线，他清楚地知道这场战斗不可能在短短的几天内结束，所以他有意保留第3师的实力，为长期的防御战做准备。这个决策使得第10军能够在后续的47天里持续战斗。
在6月23日的下午1点，日军从泉溪市强行过耒河，对第190师568团1营守卫的曾码头发动了攻击，这标志着悲壮而惨烈的衡阳战役的开启。我军在五马归槽、衡阳机场等外围重要地点与日军交战后，主动撤退到预备阵地。到了26日，日军在炮击的掩护下全线发起了强烈的进攻，尤其是在江西会馆和五桂岭的战况尤为惨烈。28日，日军开始全面攻击，但都被我军成功阻止。那天上午，28团的迫击炮连连长白天霖发现在大约800米远的欧家町的小山上，有日军的指挥官正在观察地形。他立即决定用全连的8门迫击炮直接集中射击，而不进行试射。第一轮炮弹就全中了目标，那是日军第68师团长和他的主要参谋，以及下属各联队长在观察地形。师团长佐久间为人中将重伤，师团参谋长原田贞大佐以及下属各联队长、师团部参谋的伤亡惨重。
张家山，虽然海拔仅25米，却是我军防御阵地的前沿，也是预备的第10师乃至整个第10军的重要阵地。日军用强大的炮火甚至毒气来攻击，但我军坚持不懈的抵抗，日军的三次突击都被我军成功夺回，预10师的伤亡情况也非常严重，整个师的预备队仅剩下5个连。到了30日，日军继续对张家山发动猛烈的攻击，黄昏时分被日军突破，但我军在天黑后立即组织反击，以近身肉搏战将阵地夺回。30日这一天，日军投入了15个步兵大队，并在炮兵和航空兵的配合下，全线猛攻，但进展微乎其微。到了7月2日，由于弹药耗尽和伤亡惨重，日军被迫停止进攻。
在7月11日，经过一段时间的补给和准备，日军发动了对衡阳的第二波全线攻击。张家山仍然是争夺的主要地点，日军在其12次冲击中，有10次闯入我军阵地，然而每一次都被守军凭借手榴弹和刺刀成功驱逐，双方都付出了极其沉重的伤亡。直到14日，我军才撤出张家山，退守到肖家山和打线坪的二线防线。此时，张家山上的草木已被炮火焚烧一空，弹坑充满血迹，前线散布着尸体，山地的土壤饱含鲜血，呈现出骇人的红色。在这片微小的战场上，我国的军队有7个连的官兵全部牺牲。日军的进攻部队133联队也付出了沉重的代价，所有的3个大队长都牺牲，6个中队长有5个战死1个负伤，其惨重的伤亡情况一览无余。其他阵地的战斗同样血腥残酷，到了21日，日军仅仅取得了有限的进展，第二次全线攻击宣告失败。
防守的我军也遭受了巨大的伤亡，预备10师的伤亡率高达90%，第3师的伤亡率也超过70%，190师的伤亡率也达到60%，军队直属部队剩下的兵力不到三分之一，营级和连级干部的伤亡更是接近全军覆没，在第3师8团在五桂岭的争夺战中，短短半天时间就连续晋升了5个营长，他们都在战斗中英勇牺牲。
在8月4日，日军对衡阳发起了第三次全面攻击，这次他们投入的兵力是之前两次的两倍，约11万人的4个师团，百余门火炮，全天发射的炮弹超过4万发，他们炫耀着要在一天内占领衡阳。这种大量的兵力投入，强烈的火力，和猛烈的攻势都是衡阳战役开始以来未曾见过的。然而，他们仍然未能取得突破。
在5日，日军持续猛烈进攻，激战一整天，我军的防线和工事都被破坏，官兵不眠不休，饥不择食，仍然坚守阵地。青山街、西禅寺、天马山、五显庙、岳屏山、接龙山、五桂岭、外新街，每一处阵地都是争夺的焦点。
在下午3点，方先觉在中央银行指挥所召开紧急会议，与军参谋长和四位师长讨论战局。大家一致认为，面对日军猛烈的攻势，守军的兵力和弹药都已经严重不足，如果援军不能及时到达，即使尽全力也只能再支撑三天。有人建议突围，但是衡阳城内有超过8000名伤员，无法一起突围。
进入夜晚，日军继续全夜进攻，他们的炮火如同密集的弹幕，覆盖了衡阳全城。我军仍然坚持战斗，不退缩。
在6日，日军第68师团第5旅团旅团长志摩源吉少将被我军的迫击炮击杀。7日，日军的攻势达到高潮，第11军司令横山勇亲自前来督战。当日，日军终于突入了衡阳城内，但我军仍然坚持进行巷战。军长方先觉看到形势已然逆转，以痛苦之心，向军委会发送了最后一封电报：“敌军今早从城北突入后，即在城内展开巷战。我军官兵伤亡殆尽，再也没有兵力堵击。我等
衡阳会战最终以日军的惨胜和方先觉的投降告终。这场战斗历时47天，成为抗日战争中的一场惨烈激战。国军第10军在衡阳会战中付出了巨大的牺牲，超过1万6千余人壮烈牺牲，仅剩下1200余人存活。而日军则付出了巨大的伤亡，前后死亡约2万余人，受伤6万余人。
衡阳会战对于中国和日本双方来说，都具有重要的意义。对于日军来说，衡阳会战是他们在中国战场唯一一个机动精锐兵团所遭受的最严重的打击之一。这场战役给予了日军极大的重创，对他们的士气和信心造成了沉重的打击。同时，这场战斗也导致以东条英机为首的军人政府不得不下台，无法否认衡阳的惨败成为事实。
而对于中国人民和国民政府来说，衡阳会战是一次艰苦卓越的抵抗战。尽管遭受了巨大的伤亡和失利，但中国军民展现了顽强的抗战精神，毫不畏惧地与敌人作战。衡阳会战的惨败激励了中国人民坚决捍卫国家完整的决心，也加深了他们对日本侵略者的仇恨。
方先觉在衡阳会战中起到了重要的角色。他假意投降日军，但却成功地辗转返回了重庆，并受到了国民政府的嘉奖。方先觉的勇敢和智谋展示了中国军人的英勇品质和反侵略斗志。
衡阳会战的结果使得日本的失败已经成为事实，中国人民坚定了捍卫国家完整的决心。这场战斗成为中国抗日战争的重要里程碑，标志着中国军民在反抗日本侵略的道路上取得了重要的胜利。衡阳会战的英勇抵抗和牺牲精神鼓舞了全国人民，为中国抗战的胜利奠定了坚实的基础。