即今澳门以南诸小岛所在洋面），遇风舟败，军士死过半。继而又避追兵入海至七洲洋（今海南岛以东的南中国海域）。次年春，还广州，又移硐洲岛（在今湛江外的洋面上）。四月，赵罡受惊吓死于硐洲。张世杰、陆秀夫等拥立8岁的卫王赵爵为帝。六月，张世杰率军欲收复雷洲（治今广东海康），失败。于是奉帝昺移师至广州湾内的新会南百里洋面上的厓山。这时他还有舟船800余艘，士卒万人。
即使到大难临头的时刻，这个小朝廷仍不肯放弃内斗。文天祥过去曾要求带兵入朝护驾，被陈宜中拒绝。益王死前不久，他在硐洲东南海滨的乾溪山（船癔）上表，自劾兵败江西之罪，再次请入朝，仍不许。他只好在潮州、惠州一带领残军坚持抗元。
就在广王政权移驻厓山的同一个月，即至元十五年（1278）六月，元廷召汉地最著名的世侯之一张柔的儿子张弘范，委以蒙古、汉军都元帅，命他往歼广王政权。张弘范荐李恒为副帅，率水陆军2万，灭宋残部。十二月张弘范至潮阳。前军击溃自潮阳走海丰的文天祥，擒之。至元十六年（1279）正月，元军从潮阳循海路往压山，途中命囚系随军的文天祥修书招降张世杰。文天祥乃书《过零丁洋》诗授之，留下了“人生自古谁无死，留取丹心