信安禄山，宰相李林甫又妒忌王忠嗣功名日盛，恐其入朝为相，因而他的警告被置之不理。不久，却允许王忠嗣辞去朔方、河东节度使。
玄宗欲攻吐蕃的石堡城（在今青海省西宁市西南），询问攻取之策，王忠嗣说：“石堡城形势险固，非死数万人不能攻克，不如等待有利时机再行攻打。”唐玄宗很是不满。将军董延光请求率兵攻取石堡城，唐玄宗令王忠嗣分兵协助。王忠嗣奉诏，但董延光却反倒表示不悦。
王忠嗣的部将李光弼劝他说：“你将数万之众交给董延光，为了爱护士卒而不立重赏，士卒怎能尽力作战？如攻石堡城不下，董延光就会归罪于你。”王忠嗣回答说：“攻克石堡城也不足以制敌，不攻也无害于国，我岂能以数万士卒之命保全我的职位？我受朝廷罪责，最重是到边远地方任一小官，那我也甘心情愿。”李光弼非常感动地说：“您能行古人之事，这是我所不及的。”
董延光攻石堡城不下，果然归罪于王忠嗣，宰相李林甫又使人诬告王忠嗣谋反。玄宗大怒，令三司（刑部，御史台、大理寺）严办，王忠嗣几陷极刑。他亲自提拔的部将，己就任陇右节度使的哥舒翰力陈王忠嗣之冤，极言王忠嗣无罪，请求用自己的官爵来赎王忠嗣的罪，玄宗不听，走入内宫，哥舒翰不