功指日可待之际，北方与东西道诸王的战事吃紧，伯颜奉命北上平叛。当他向忽必烈陈述江南战况后，忽必烈改变了先平叛后灭宋的计划，提升伯颜为中书右丞，阿术为左丞，同意伯颜南返，命其“率诸将直趋临安”。
伯颜取道益都，行视沂州等军垒，调淮东都元帅博罗欢、副元帅阿里伯。以所部兵溯淮而进。九月，会师于淮安，亲自指挥了淮安之战，意在夺取该城，控制宋军南援。由于守军顽强抵抗，未下。
当元军控制了长江，临安处境危急之际，宋廷以主战将领张世杰为保康军承宣使，总都督府军。张世杰组织力量，夺取临安外围阵地，小有斩获。淮东制置使李庭芝也出兵攻夺扬子桥，力图打通增援扬州的通道。元军奋战，宋军大溃。宋军的反击虽屡被挫败，但张世杰等并不气馁，1275年七月，张世杰、孙虎臣以舟师万艘驻焦山东，每十船为一舫，联以铁索，以示必死。阿术等登山观察，见“舳舻连接，旌旗蔽天”，认为“可烧而走也”。于是“选强健善射者千人，载以巨舰，分两翼夹射……合势进击，继以火矢烧其蓬樯，烟焰涨天。宋兵既碇舟死战，至是欲走不能，前军争赴水死，后军散走”。经此一战，宋人不复成军。
十一月，伯颜分兵三道，以参政阿剌罕为右军