衡阳守军已陷入绝境，第10军指挥部通往各师团、各阵地的有线通讯全部被日军炮火所摧毁，通讯联络中断。8月7日上午，日军集中炮火对小西门连续轰击四个多小时，小西门终于被轰塌了一个缺口，日军一个步兵大队迅速抢占了缺口。
方先觉得知城破的消息，急令军部警卫营向突破口实施反突击，190师师长容有略也派出一个加强连前来协防，双方为争夺突破口控制权展开了肉搏战，激战一个小时后，国军的反击部队终因寡不敌众，全部阵亡。日军牢牢控制了突破口，大批的后续部队源源不断冲入城内。
这时方先觉手里已经没有任何预备队了，他只好下令全线收缩兵力，守在二线阵地上的国军部队纷纷后撤，与冲进城内的日军进行巷战。这一天，衡阳城内的街道上弹如飞蝗，血流成河，攻守双方逐街逐屋地进行厮杀争夺。日军将九二步兵炮推进街巷，对守军的火力点进行直瞄射击，市区的街道被打成一片废墟。尽管如此，第10军的官兵们仍在作困兽之斗，他们利用一些巷道的有利地形死战不退，攻守双方均伤亡惨重。
这一天，远在重庆的蒋介石于极度焦虑中终于动用了血本。为解衡阳之围，驻守在广西界首的国军机械化第48师142团奉命出动。