黄岩回乡守孝三年，与人为幕两年有余，前后近六年的时间，京城局势变幻，曾经被那户差一点儿与他结亲的人家看中的高门侯府，也不如从前风光了。
乐昌大长公主从前高高在上，尊贵无匹，可她的外孙女儿冯氏参与太子妃择选，败在薛氏与蓝氏手下之后，陆陆续续的，也有不利于她名声的流言传出。联系到蓝氏被人中伤的后续，很难说这些流言会不会也是太子妃薛氏的家人故意传出来的，力求将薛氏曾经的竞争对手全都赶尽杀绝，以免有谁与太子纠缠不清，威胁到她的地位。但蓝氏与太子有染的谣言传得京城上下皆知之余，冯氏身为乐昌大长公主外孙女，被太后厌弃是因为大长公主与太后有旧怨的说法，也同样传遍了京城的官宦勋贵圈。
冯氏嫁得有些艰难，后来是嫁到京城以外的地方去了，夫家还算体面，但跟京中的达官贵人没法比。
受流言影响，京城上下都知道了太后不喜乐昌大长公主，两人有旧怨，而皇帝自然是要给自己的母亲撑腰的，对乐昌大长公主的恩赏待遇比其他大长公主就薄了。大长公主为此气得在人前抱怨，又惹来宫中不悦，丈夫、儿子一把年纪了还要被皇帝当众训斥，挨训的理由又十分正当，连声冤屈都没法叫，她便彻底气得病倒了。