战略要地，凉州的得与失决定了新生的归义军能否长久稳定的发展，大中十二年（858），张义潮与侄子兼继承人张淮深一起起兵，东征凉州。
虽然做了充足的准备，但东征的兵力并不多，只有汉军和归顺的吐蕃军共计七千人，以这点兵力进攻占有地利和人数优势的敌军，难度可想而知。毕竟吐蕃不是后期衰落到低谷的北魏，张义潮也不是战神之神白袍陈庆之，于是双方在凉州展开了长达三年的拉锯战。有诗赞道：“汉家持刃如霜雪，虏骑天宽无处逃，头中锋矢陪垅土，血溅戎尸透战袄”，虽然有艺术夸张的传奇成分，但战场之惨烈也可见一斑。
咸通二年（861），张义潮终于攻克凉州。张义潮收复凉州后，即刻表奏朝廷“河陇陷没百余年，至是悉复故地”。咸通四年(863)朝廷复置凉州节度使，统领凉、洮、西、鄯、河、临六州，仍然以凉州为治所，由张义潮兼领凉州节度使。当时的唐人感叹于张义潮的不世功业，写下这样的诗句来赞扬张义潮：“河西沦落百余年，路阻萧关雁信稀。赖得将军开旧路，一振雄名天下知。”
张义潮在河西的行动是非常成功的，但这却并不代表大唐的成功。安史之乱后，大唐国力逐渐衰微，根本没有余力涉足西域事务。在得到人质（张义