军事理念日趋保守，他担心由其掌军会将这种颓废之气带给将领们，但出于政治的考虑，也只能继续以其为枢密使，以阻止士人‘插’手军务，虽然其是挂起来的。
后来赵为了提高武人地位，压制日益不安分的士人，决定实施军改，将军政归于兵部，军令归于枢密院，同时确立了以武人为枢密院使，士人为兵部尚书的架构。在军改后，出于同样的目的，赵依然以张世杰为枢密使，但是仍然没有放权，将兵部和枢密院都控制在自己手里。
经过这么多年，朝看似已经接受了武人主管枢密的事实。不过赵知道这依然是表面现象，士人们对于军权旁落始终是耿耿于怀，只是慑于形势而不得不暂时接受现实。果然在行朝迁回临安后，便有人书要求以臣接管枢密院，虽然没有得逞，却也不能不让赵时时警惕……
现在战事将起，张世杰突然抱病，又无合适人选接任的情况下，赵不免担心有人会借机发难。眼前的几位执宰应节严、江、刘黻这是自己人，不会反对自己。王应麟曾经担任过参知政事，此次在‘花’甲之年复相，其也心知肚明，是皇帝出于权力平衡的考虑才将自己提了起来，以调和与江南士人间的矛盾，填补吴家失势后的政治空间，其亦应该不会明确反对自己，最多处于立。