战乱之中，无数的难民从河北、河东与中原一带南逃，越过长江逃到了没有经历战争催残的南方避难。难民给这些地方也带来了很大的冲击与不稳定因素。
总而言之，战争，已经给大宋带来了极大的疮伤。疮伤过后，每个人都想治好伤口，恢复健康。
于是，“厌战”的情绪开始在庙堂与民间流传蔓延。身为执掌大宋兵权的楚天涯，很明显的感觉到了来自各方面的需求压力。
与此同时，江南一带也同样蔓延着这样的呼声——希望杭州与东京能够尽快和解，不要再进行内战。
民心如此众意难为，赵构父子面临的压力，比楚天涯还要更大。毕竟这一场战争是他们挑起的，而且现在他们“师出无名”，在世人的眼中已经变成了彻头彻尾的“造反逆臣”与挑起内战的罪人。
在淮河南岸勉强僵持了近一个月之后，赵构迫于各方面的压力，只得撤军！
士卒的叛逃、杭州的停止后勤供给加上民心舆论的攻击以及来自各方面的政治压力，赵构只得做出了这样的妥协。
张叔夜也没有趁机追击，而是在赵构撤兵数日之后，才不急不忙的挥师渡河，先是收复了被赵构叛军夺下的庐州，然后以此为据步步为营的向长江逼近，继续给杭州施压。