巷战稍有收获，其他团的战况几乎节节败退。广州参谋总部经过认真的分析，认为南雄战场必须放弃，这里已经失去了所有优势，再打下去全军都会耗死。
一开始，吴绍霆认为第一团深陷南雄县之中，一旦各团撤退，第一团必然会全军覆没。因此他坚持第一师守住南雄县南翼，掩护第一团抽身撤退。
第一团在一月十九日开始撤退，因为全团以连为单位散布在城中角落，团部的命令传达下去十分复杂。城中部分地区已经被敌人占领，传令兵只能化装成老百姓，在城中寻找各个连队据点通知命令。
一直到二十四日，第一团依然未能全部撤出来。而在这六天时间里，坚守南雄南翼防线的第一师另外两个团，在江西军三个团的强攻之下损失极其惨重。
正当吴绍霆决心壮士断腕，放弃第一团剩余部队之时，活动在江西境内的李文范骑兵团，连续打了两次奇袭战。一次在道路上伏击了江西军开赴前线的预备营，击毙一百多人，抢夺随营物资不计其数；第二次更是大胆，直接绕道赣州北方，在赣州总司令部背后打了一记重拳，严重破坏了司令部至前线的通讯线路，并且故技重施的散播了要求唐天喜回援的假消息。
这两次奇袭为南雄的战略撤退争取了充足的时间，唐天