皇帝冷落激发了英恭侯的不满，他对南宫洪仁和杨文娟说，他失去一个女儿的幸福已经足以还杨文娟的恩情，两家以后就没有任何关系了，他们
不会再进南宫家的门，南宫家的人以及嫁出去的杨文娟以后就不要登他们的门。后来南宫洪仁和杨文娟没登门，不过却送了几次礼物过去，但是英恭侯府的人没有收下，屡试屡败后，他们也不送了，免得英恭侯府的人看到他们的礼物想到文妃，心里难过。至此，两家就断了来往。
“爹之所以没有按照原先的想法把你娘抬为平妻而是让她当了妾氏也与这件事有关，杨文君虽‘死’了，但是杨文娟和杨文君长得像，爹和你娘都不想让人知道这件事，尤其是皇上，平妻很受人关注，有夫人上门也要和黄氏一起接待，妾则可以低调地躲在院子里不被人看见，就算宫宴可以带家属也没谁会带妾氏去参加宫宴的，你娘要是成为妾氏，不去参加宫宴也没有人会起疑心，所以你娘就成了爹的妾氏而不是平妻。你娘不能出面的事要另一个女人来做，黄氏就是现成的人，于是那些年来，就算黄氏犯了些过错，爹也没有休黄氏，有黄氏在前面挡着，就没人会注意到你娘了，就算外人听说爹怎么宠你娘，对你娘感到好奇，也不好登门要求见一个妾氏。”这就是他为何爱杨氏却没