六万人马，如果能够极时稳住军心，鼓舞士气，完全可以和清军一战。但黄朝宣、张先璧、马进忠、王允才等人的仓惶逃跑，也弄得何滕蛟、章旷不知所惜，刘承胤、曹志建、郝摇旗等人见主将张惶失措，也都无战心，立刻带领各自的军队，向长沙撤退。不到一天的时间，岳州的军队就散了近半。而何滕蛟、章旷也没有办法，自好放弃岳州，退回到长沙去，而且也没有派人去通告堵胤锡一声。结果清军几乎兵不血刃，就占领了岳州。
在另一路，堵胤锡和李赤心、高必正等人正在向荆州发动猛攻，但荆州城墙高厚，虽然清军的兵力不足，但郑四维下令征集城中百姓护城，并拆毁数百间民房，做为守城之用，因此忠贞营连攻了三天，拆兵七千余众，依然还无法攻下荆州城。
在六月十二日，韩岱率领五千人马，也己经赶到了荆州，而堵胤锡和李赤心、高必正等人对此还一无所知，仍然计划如何指挥部队攻下荆州。
于是韩岱在当天夜晚，向忠贞营发动进攻，而忠贞营对此毫无防备，猝不及防，顿时大乱起来，而郑四维也带军从荆州城里杀出，结果忠贞营被清军打得大败。在混战之中，忠贞营被清军杀散，堵胤锡堕马折臂，被部下救起之后，退回到常德驻守。李赤心、高必正向西撤退。退