一说，林家的当家人立刻就吓得魂飞魄散。赵湘居然是大逆罪人之女，而且跟建南侯还有仇！他也顾不得思考赵湘为何能给建南侯送信求助，而建南侯也颇为关注这桩亲事了。这种媳妇娶回家来没半点好处，说不定还要给他添个仇家，还是退婚的好。反正他家又不是没有银子，大不了就到乡下聘个农家女儿，多给她家人些银子，立个死契，也不怕将来媳妇殉了儿子，会有娘家人来闹事。
他才拿定了主意，跟家里人一说，他侄儿又提醒他了：“建南侯对这桩婚事皱眉摇头又叹气，到底是在叹什么？他与那侄女有仇，总不会是为了替她出头吧？兴许是在为了殉葬的事在生气？”
林家的当家人又犹豫了，想了想，一咬牙：“大不了不叫媳妇殉了。我儿子说不定不会死呢？若真有个万一，叫媳妇给他守一辈子，我必不会短了她吃喝。”
事情就这么解决了，林家人二话不说就上门退了亲，蒋家措手不及，问他们为什么。林家人还冷笑着回答：“瞒着你外甥女的真正身份来说亲，分明是在骗婚呢！我们老爷、太太不跟你家计较，你们也别太厚脸皮了。真闹下去，咱们到知府老爷面前辩个明白，看是谁是谁非？”
蒋大老爷自己心虚，连忙闭了嘴。