344年），脱脱被迫称疾家居，辞去相位。这时候，元顺帝尚存励精图治之心，任用成吉思汗四杰之一博尔术四代孙阿鲁图为中书右丞相。
至正五年（公元1345年）十月，遣使巡行天下，意在广布圣德，询民疾苦，寻访贤能，罢黜地方贪官污吏，规定有罪者四品以上停职，五品以下处决。可是奉命巡行各省的宣抚使不仅不按皇帝旨意秉公办事，反而借此机会敲诈勒索，虐害百姓，元顺帝的一番苦心全成了泡影。
救命稻草脱脱罢相后的几年中，右丞相一职数易其主，朝中大臣彼此倾轧，日甚一日，元顺帝的向慕之志渐渐消失。至正七年（公元1347年）六月，他听信别儿怯不花谗言，罢免太师马札儿台，将他徙于西宁州，后又移居甘肃。脱脱忧郁不得志，请求随父同行，以尽孝道。
先前，太子爱猷识里达腊降生后，一直养于脱脱家中，因而二皇后奇氏与脱脱关系甚密，在脱脱罢相的日子里，奇氏一再在元顺帝面前为他求情，元顺帝也觉得，脱脱任中书右丞相的四年中为他出尽气力，其后任命的丞相远不如脱脱精明能干。
一天，有人进献佛郎国马，元顺帝看着膘肥体壮的良马，感慨地说：“人中有脱脱，马中有佛郎国马，都是世上出类拔萃的。”