京师再次到达地方也是靠着鱼朝恩在中央的权势。综上，我们可以说神策军早期的发展壮大，其功劳应首推鱼朝恩。而鱼朝恩从身份上看是一位宦官，这也就使得神策军这支禁军与野战军相结合的特殊禁军从其拥有这一特性起便与宦官势力息息相关，密不可分。
鱼朝恩在代宗朝后期愈加跋启。大历五年，唐代宗联合宰相元载意欲诛杀鱼朝恩。为了防备鱼朝恩所掌握的禁军，元载先分化瓦解鱼朝恩的势力。“元载乃用左散骑常侍崔昭尹京兆，厚以财结其党皇甫温、周皓。温方屯陕，而皓射生将。自是朝恩隐谋奥语，悉为帝知。”元载做好了这一步后便对鱼朝恩下手了。
“方寒食，宴禁中，既罢，将还营，有诏留议事。朝恩素肥，每乘小车入宫省。帝闻车声，危坐，载守中书省。朝恩至，帝责其异图，朝恩自辩悖傲，皓与左右禽隘之，死年四十九，外无知者。帝隐之，下诏罢观军容等使，增实封户六百，内侍监如故。”
鱼朝恩死后，神策军虽暂不由宦官执掌，但为安抚军队仍由鱼朝恩原来的部下管理。从大历五年(770年)三月开始至德宗建中四年(783年)十月，这十三年的时间中神策军均由武将执掌，凡历三任。鱼朝恩死后首先接任的是刘希逞和王驾鹤，二人分别为神策都