衡阳是当时国统区的税源重地，税收额仅次于重庆，同时还是中南地区的核心交通枢纽，连接着粤汉铁路和湘桂黔铁路。
同时，衡阳还是我国大西南的重要门户和军事要冲，如果衡阳失守，国党政府的收入将锐减，经济形势将雪上加霜，我国抗日的大后方西南地区也将直面日寇，抗日全局将陷入极其被动的局面。
而且此战关乎中日双方高层的地位稳固与否。
美罗总统对国军在此次战役中的表现极为不满，已经威胁蒋将国军的指挥权交给史迪威。蒋非常清楚如果交出兵权，他下台只是时间的问题。因此，蒋死令率部坚守衡阳的方先觉务必坚守10至15天，以待援军。
而东条英机面对太平洋上的节节败退，此时东条老鬼子在东京的地位已经岌岌可危，面临着辞职的巨大压力，因此这个老鬼子子让华中总司令官畑俊六反复督战横山勇。并且横山勇的日子也不好过，关东军名将坂西一良已经奉命前往湖南，如果他拿不下衡阳，恐怕以后的日子也不会好过，因此横山勇这个“受气包”也对衡阳志在必得。
衡阳已经成为关乎这3人命运的关键之战，谁都输不起。笃信基督教的蒋在战前更是发愿：如果在衡阳城下战胜日军，必使全体守城官兵受洗，且在他60大寿之时，在南岳之巅必建铁十字架。蒋在这个时候，已经紧张得把击败日寇的希望寄托在《圣经》上了。
负责守城的部队是方先觉将军率领的第10军，由于前期的战损，方先觉手中的兵力只有人。第10军看似“柔弱”，且士兵多为“南方人”，块头都不大。但它的前身是着名的黄埔教导团，有泰山军之称。不仅是国军中的最高荣誉者，还手握飞虎旗，是国党的精锐部队，是一支战斗力极强的军队。
横山勇刚开始知道是第10军守卫衡阳的时候还很嚣张，认为“南方军队”一定比“北方军队”好打，信誓旦旦说：“日军可以毫不费力地拿下衡阳”。但他忽视了中国人刻在骨子里的硬气！令他大跌眼镜的是：守卫衡阳的第10军不甘示弱，奋力抵抗日军侵入，证明了看似柔弱的南方人也可以打赢这种尸山血海的大战。
1944年6月1日，第10军军长方先觉率领部队抵达衡阳城之后，立马着手让衡阳城内外的居民乘火车从衡阳撤离、随后加快步伐在衡阳城修筑半永久大型工事群，以抵御侵略日寇。
6月23日，横山勇带着68师团、116师团共计五万多人抵达衡阳之时，衡阳已经成为一座只有军人的“空城”，不用担心误伤群众了。
6月25日，大批日寇在飞机和坦克的掩护下，朝着衡阳城方向进发。68师团在东阳渡过湘江，进入衡阳西南地区，并且把师团司令部转移到黄沙岭。116师团则于6月27、28日抵达衡阳西郊。日寇的支援部队也在27日进入衡阳北侧地区。衡阳西南、西、东都被日寇包围。
从6月28日开始，一万多鬼子开始正式进攻衡阳。鬼子调用了29门大炮，猛烈轰击衡阳的汽车西站、火车西站、衡阳五桂岭等主阵地，还不择手段地采用毒气弹和燃烧弹。但是10军弟兄们沉着应对，在战斗中将鬼子68师团的师团长、参谋长打成重伤。师团长佐久中将在运送途中死亡，这无疑给了侵略者当头一棒。鬼子第68师团失去重心，只好与116师团合并起来。
为了从根本上击破敌人，最高统帅命令第10军于7月1日：“乘敌深入，后方空虚，使用正面阻止及侧背猛攻而击破之。”由于衡阳军民的英勇抵抗，各路守军与空军部队有力配合，一举打败敌人的进攻。7月2日，日寇第11军被迫停止攻击，等待后续部队增援。
看到鬼子在战场吃瘪，我军将士知道机会来了。第10军团继续留守衡阳，王耀武兵团和62军其他军队猛力扫荡敌军于南部战场。到7月10日，我军已经收复了永丰、梧桥铺等地，取得了不错的战果。鬼子第一波攻势失利的消息震动了东京，东条老鬼子亲赴武汉向畑俊六施压，畑俊六则直接派出参谋长松井久太郎前往衡阳前线督战。
重压之下，横山勇重新调集重兵于7月11日再次对衡阳发动猛攻。这次鬼子改变了进攻策略，增加了四个重炮大队和两个迫击炮大队，采用集中打法，尽量集中炮兵和空军的战斗力进行攻击，企图有计划地攻占衡阳。
日寇第5航空军于7、8日轰炸我方梁山机场，9、11、12日轰击我方设在桂林和芷江等地的机场。短短5日，我方共被炸毁140架飞机。控制衡阳上空之后，日寇开始与地面炮兵相结合，向衡阳倾泄大量炮弹。整个衡阳化为一片火海，无数房屋顷刻之间塌掉，第10军伤亡人数接近4000余人。虽说日寇采用这种方式轰炸衡阳城，取得了一定效果。但是第10军也不是吃素的，经过几个昼夜的混战，灭掉8000多日寇，日寇所有中队长几乎都阵亡了，更有1名联队长和6名大队长被当场击毙。
日军陆空配合作战，守卫衡阳的第10军压力山大。为此，蒋派出外围兵力支援衡阳。第79军、62军、63军组成统一战线，猛攻日寇设在衡阳西北郊的防线。
7月12日晚，丧心病狂的小鬼子为了速战速决，以浓密的炮火和大量毒气为助攻，猛扑衡阳郊区龙虎山阵地，结果还真有一股鬼子进入龙虎山阵地，但随后这股日寇就被我军歼灭了500余人。只是守卫阵地的臧肖侠一连弟兄们因受毒气侵染，战斗结束之时，全连只剩下30人还活着。此外还有一股大约2000人的日寇精锐部队，顺势突击五桂岭。因我军全力抵御，援兵也迅速赶到，击退了鬼子的进攻。鬼子始终无法攻入第10军的核心阵地，且每向前一步都要付出惨痛的代价，不得不暂缓进攻。
7月20日日寇结束第二次进攻之后，第10军将士已有70%以上阵亡或受伤，基本处于弹尽粮绝的状态。许多战士昼夜难眠，拖着疲惫不堪的身躯投入日复一日的战斗，战斗力一天天的减弱。所以我军一直在等待援军、补充弹药，但救援部队几经努力，但始终无法突破日军的拦截，最终止步于距离衡阳仅仅几公里的地方。
小鬼子根本没有想到，衡阳会这么难打。日寇屡屡受挫，大本营一味责怪指挥官横山勇无能，横山勇心里憋屈，本来仗就难打，上司不清楚战况还想要战绩，他只能孤注一掷了。
8月2日，无计可施的横山勇赌上所辖第11军的所有精锐向衡山城发动了最后一波进攻。这次，横山勇又调来了58师团和13师团以及重炮部队，向衡阳萧家岭一线发起进攻。而且横山勇还带病硬撑着前往一线指挥，参战的4个师团长长全部陪同，准备豁出老命也要攻占衡阳，各师团全部组成敢死队向衡阳城发动潮水一般的攻势，但却只能一寸一寸地前进。
8月6日，日寇第58师团，先是向位于衡阳城西北角的天主教堂发起了猛烈攻击。坚守于此的第190师第568团第三营，已经几天滴水未进了。但还是用最后一口气吊着，最终还是没能守住天主教堂，数十名日军在炮火掩护下成功进入天主教堂。
为了守护教堂，避免造成更大的损失。第10军军长方先觉，派出特务营前去支援死守教堂的将士。将进入教堂的数十名日军击毙后，还将鬼子第68师团第57旅团旅团长志摩源吉少将当场击毙。前来进攻的800人编制的黑濑大队，被我军打得只剩80多人。中日双方军人的尸体多到可以垒成小山的程度。
8月7日，鬼子第95大队再次派出重兵出击，成功占领天主教堂后，转攻青山街。守卫青山街的190师第7团第三营，一直打到无一生还的境地。这时我方出现防守空缺，日寇部队首次以一个整队的规模进入衡阳城。
第10军将士1.7万人守卫衡阳城长达47天，其中7600多人阵亡，6700多人负伤，剩下的近3000人也丧失战斗能力，终究无力抵抗日寇猛烈的炮火了。日寇在衡阳内外守军都无法接应的情况下，以坦克为前导轰炸衡阳城墙后，顺利进入衡阳城与我军展开混战。城内守军有的宁死不屈，自己开枪了结了自己的生命。有的跺脚捶胸，泣不成声，眼看坚守了47天的衡阳城被日寇夺走。
为了保全9000多名伤员，第10军军长方先觉在8月7日下午三时，于天马山阵地竖起白旗，向日寇投降，就此衡阳失守。8月8日，方先觉与日军第68师团师团长堤三树男及各联队指挥官，就战后伤俘的处置问题进行谈判。方先觉提出要保留第10军的建制、保留伤残将士尊严，并要求日军立刻停火不可再战。但日方拒绝了方先觉提出的全部条件，软禁了方先觉之后，将第10军改编为“先和军”。衡阳保卫战于8月8日宣告结束，所有日军成功入城。
这是一场“虽败犹荣”的保卫战，我军以1.7万人打出了10万人的气势，圆满完成了保卫衡阳城10-15天的计划，击毙击伤日军超过8万人。这是8年抗战史上，敌我伤亡比例最悬殊的一战。日寇也因此付出了惨重代价，虽然占领了衡阳城，但小鬼子妄想打通南北的阴谋却未能得逞。
我国军队“以一当十”，以1.7万人重创日本10万大军。虽然这场城市保卫战已经结束很久了，但它的影响力从未消散。毕竟我国历史上没有比衡阳战役持续更久、战果更惨烈的战斗了。我们作为中华儿女，应该时刻牢记那些屈辱、被动挨打的时刻。因为只有勿忘国耻，记住那些为国捐躯的无数英烈，记住他们浴血厮杀的事迹，我们才不愧为中国人！