尔泰身败名裂。乾隆继位之初，接到张照的汇报后，一眼就看出了这一貌似公允的汇报背后的朋党背景。他在张照的奏折上批道：“张照以私意揣度，过甚其词。”
而且由于一意寻找鄂尔泰的把柄，无心军事，平叛战争一再失误。乾隆一怒之下，以“挟诈怀私，扰乱军机，罪过多端”为名，把张照调回京师，革职下狱，同时派张广泗代替张照去贵州平叛。
鄂尔泰的朋友故旧闻此消息大为兴奋。因为张广泗与鄂家关系良好，被认为是“鄂党”之人。他们认为这是反攻“张党”的绝好机会，许多“鄂党”人物纷纷上疏，揭发张照的种种错误，企图制造大狱，把张照置于死地。特别是张广泗，他到了贵州后，不断汇报张照在贵州军事行动中犯下的种种“大罪”。
乾隆对此早有预料。他在派出张广泗时明确警告说：“人臣事君之道，唯有据实秉公，无偏无党”，“张广泗不可以为新主之重待（鄂尔泰）而有迎合之心。”虽然张广泗一再攻击，乾隆却没有按鄂党所希望的那样重治张照，而是出人意料地将张照宽免释放，仅仅罢官。第二年又授给他内阁学士，入值南书房。及至乾隆六年（1741年），又使他官复原职，使鄂党人员大失所望。
乾隆此举，也是无奈。在没有形成