“表里襄汉，西控巴蜀，南扼湖广”，是宋军反击的重要据点。四月五日，阿里海牙率军进至距江陵十余里的沙市镇（今湖北沙市），江陵守军亦出城迎战，元军使用火攻，烧掉了守军设置的木栅，猛攻城垣。经激战，宋军多员将领战死，守军遂降。江陵的主要兵力在这一战中被歼灭，已无力再战。四月六日，江陵守将高达等投降。
阿里海牙占领江陵以后，传檄宋京湖路诸州郡尽早投降，一时间诸城纷纷降元，乃至“京湖北路相继皆下”。忽必烈派廉希宪至江陵镇抚荆南地区，又命阿里海牙回驻鄂州。
阿里海牙回师鄂州后又谋攻潭州（今湖南长沙）。潭州乃湖南重镇，南宋派有重兵驻守。但就在江陵失陷月余之后，南宋湖南安抚使为增援临安，带走了全部守军和财物，所余军队只有不足五百的老弱。南宋潭州守将李芾临时征募了一支不足三千人的队伍，又发人加固城防修缮器具，准备固守潭州。
十月初，阿里海牙率重兵进至潭州，扎下连营，包围了潭州。潭州被围后，宋廷也派出了几支援军，但都裹足不前，不敢与元军交锋，潭州遂陷入了孤立无援的境地。
阿里海牙招降李芾不果，便指挥元军攻城。李芾身先士卒督军死战，多次击退元军的进攻。至十二月，元军久