自是有御史听得传言，尽管多数心怀警备，揣测着这些传言并不单纯，但秦相自然有办法挑唆人上谏，质疑戚家堂并非楚王所称全无违律之行，却是一帮罪大恶极之徒，不应受到朝廷宽赦，而当为民除害，施以重罪。
这时戚家堂诸人早被虞沨依次安置，唯有戚氏夫妇仍在王府拘留——这也是太皇太后的意思，虞沨的长女还在戚氏手中，事情没处置妥当，人质没有交回，怎能放戚氏夫妇离开？但这事天子却是不知就里的，更休论秦相。
天子便问虞沨——如何解释？
虞沨自然光明磊落：“无根传言，便是苦主都未出现，更不论罪证确凿。”
秦相的盘算原本也不是真要追究戚家堂的罪责，这仅只是个诱因，他计划的是质疑楚王妃或被凌辱，损及宗室声誉，不能容恕，既是要让宗室声誉有损，自是少不得利用百姓沸沸议论造势，御史们才有借口上本，天子也才能顺理成章的追责，逼迫楚王休妻。
不过这事还不能牵涉秦家，以免楚王迁怒，纵使无奈之下休妻，秦子若也没有取而代之的机会，因此秦相这回行事十分小心，警告僚属门生莫要参与，而是找了明面上与秦家并无牵连的言官。
甚至他还通过秦夫人转告子