到了高祖皇帝身边抚养，只是高祖尚未流露出立其为储君之意，安平王当然也有意一争，在这种情况下，高王妃出阁不到一年，便含恨允诺了他纳妾，谁曾想一个妾室才将庶长子生了，又因此被晋了侧妃，另一个妾室也怀了孕，这会高王妃也断出了身孕，便是如今的世子。虽然有高太后在，除非高王妃无子，否则世子之位再来十个长子也夺不走，然而这件事情究竟叫高王妃心下不满——高、曲两家乃是前朝至今的望族，高氏若不是年纪长了几岁，高太后又存心要为儿子笼络住曲家的话，以她的身份本也有资格入主中宫的，如今嫁了安平王，却叫自己儿子被夺了长子之位，高王妃哪里能够高兴？
因此安平王与王妃的关系远不及广陵王与广陵王妃小曲氏融洽，高太后当然是更疼自己儿子，但嫡亲侄女与媵妾比起来，她当然是站在了侄女这一边，一个县主的头衔给了谁都也没有什么，奈何高王妃厌恶庶出子女，说什么也不愿意给，高太后有次媳所出的霭阳县主这个嫡亲孙女儿，对庶出的孙女便也不十分看得重，加上她也担心安平王的庶长子本已有了一个侧妃的生母，而自己侄女所出之子固然已经被立了世子，这庶女固然与庶长子不是同母，可别见了庶女加恩比同嫡女，那一个也生出了不该生的心思来。