“安史之乱”的众多功勋将领放在眼里，外面的很多大将都非常惧怕他，有的在惊惧之下自杀了。但是，对代宗来说，程元振的专权程度似乎没那么严重，所以尽管后来大臣不断弹劾，但代宗只是将其罢官。可这程元振不死心，穿了女人的衣服秘密潜回长安，想再见代宗一面，看看还有没有转机。结果被发现，于是给流放到南方去了，刚走到湖北江陵就被仇家刺死。这一次，确实不关代宗的事。
第三专权的宦官是鱼朝恩，跋扈不亚于李辅国，宰臣们都很畏惧他，稍有事没向他报告，老鱼就气不打一处来，口头禅是：“天下事，哪有不由我做主的？”
话传到代宗皇帝那里，自然心里愤愤。
鱼朝恩之子叫鱼令徽，虽然只有十四五岁，但已被赐绿服（按唐制，五品以下官着绿）。但有一天，鱼令徽跟官职在其上的黄门侍郎争路时，被碰伤了胳膊，立即回报鱼朝恩。后者大怒，找到代宗，为儿子讨三品官以上才有资格扎的金腰带。他越过五品官穿的绯红色官服，直接要三品官着的紫色官服。皇帝还没说话，鱼朝恩就叫人把紫服拿上来了。代宗皇帝很尴尬，只好强颜欢笑，说：“好好好，你家孩子穿紫服，其实也挺合适的。”
鱼朝恩专权使气，公卿不敢仰视。宰臣或决政事，