侯本来就憎恶裴氏，见裴氏所生之子如此顽劣，转头又见床榻上娇滴滴的表妹气若游丝，一时勃然大怒，不顾众人劝阻将长子拖过来一顿暴打。偏那才十二岁的孩子生得样貌虽斯文俊秀，脾气却像他娘一样硬气，被打得皮开肉绽宁死也不开口求一句饶。
裴氏心疼儿子更是撕破脸面不依不饶，宣平侯恶由心生见状大怒，干脆一纸诉状递到大理寺告长子忤逆不孝。
忤逆是何等罪名，这样一个才十一二岁的少年，不但模样生得好，在学堂里书也读得好，结果遇上这么一个偏心偏到胳肢窝的父亲，谁人见了不说上两句。加上裴赵两家都是名门，大理寺正哪敢接这件案子，好言好语将案子退了回去。
本来事情到这儿就算了，大家各退一步，太阳照旧升起日子照样过下去。偏偏赵江源象魔怔了一般，亲自上祖祠历数长子的恶行恶状，一意孤行地将长子的名讳从祖谱上划去。一个人的宗族何等重要，就因为父亲的偏颇，不过一夜之间堂堂侯门嫡子竟成了不明不白的黑户。
直到此时，半辈子刚强的裴氏才算明白丈夫为了秋氏母子竟不惜逐妻驱子。心灰意冷之下自请下堂，转身就拿着休书带着遍体鳞伤的儿子雇了一辆马车离开了侯府。一个月后，又择了个雨夜悄无声息地出了京城。