柏夫人的关系，再加上柏夫人的爹可是英宗复位之时第一个收拾的权臣，英宗也就起了疑心，决心将柏芷从太子身边渐渐给隔离开。
甚至那日突如其来的花朝晚宴，也是英宗为了考校朱见深的几位妃子而设的。柏芷得了英宗的疑心，自然不能作朱见深的太子妃。花朝晚宴那日英宗隐在歌舞后头偷偷打量那吴王二妃，吴妃一直落落大方地看着歌舞，行为举止间有大家风度；而那王妃得了周贵妃的提携，就迫不及待地向太子邀宠，也不顾长辈们皆在场，可见是个目光短浅之人。两相比较之下，英宗就对吴妃更加满意了。
就算英宗再怎么敬爱钱皇后，可是朝堂之上的事情他是不会告知钱皇后的。不过敬妃于绛雪轩赠簪于柏芷也是钱皇后知道的事情，英宗便借着这件事情给柏芷寻了个错处，将她从钱皇后的太子妃名单上头划了去。
钱皇后本就以英宗马首是瞻，吴妃是英宗临死之时确认的太子妃人选，再加上吴妃知礼听话、一直恪守本分，她便铁了心要将吴妃往朱见深的皇后宝座上头捧。