知府慢慢地冷落许氏，并在杨阁老成为首辅的次年直接纳了一个大字不识的贤惠女子做贵妾，杨知府在向他父亲表示他跟他父亲是站在同一条线上的。
可惜的是杨知府做的这一切除了杨阁老隐晦的赞同，并没有他想的那样升他的官或调他入京。十余年来，他一直在知府这职打转。看着昔日的同僚，一个个的高升离去，杨知府的心底的怒火日益旺盛，却没个发泄地，一发狠，一气儿纳了好几个不识字的小妾。等杨知府冷静下来，开始琢磨是不是他老父有了娇妻幼子，忘了原配嫡子。
于是杨知府决定送儿女上京以探杨阁老的心意，当时正是幼童的杨文远，因长的粉状玉砌，甚是喜人让杨知府挑中送回京城杨家。
到了京城，过了一二年 ，杨文远才明白，除非他父亲杨知府政绩菲然，让人不得不升他的官职。凭杨阁老，杨知府绝无升迁的可能，皆因杨阁老爱惜羽毛，怎可循私升迁家中子弟落人话柄。
然已升官心切的杨知府如何听的进杨文远之言，反而写信来责骂杨文远没有伺候好祖父，才令杨阁老不愿升迁他。
杨文远从兄长的来信中得知，他们的爹如今是越发的迁怒于母亲，母亲在家中的日子越发难过，有时家中的姨娘都敢欺负她。想到此，杨文远捏紧拳头