找到梁芳派出来监视他的锦衣卫，在李东阳的协助下，花钱买通了几个本地胥吏，让他们向那锦衣卫说了一番预先编造的故事：说谢迁脾气刚直暴烈，在武汉得罪了不少人，人人欲去之而后快。又说楚瀚来到武汉之后，便串连了几个小官，写了封黑函给谢迁，威胁告发他对皇帝心存怨怼，狠狠吓了他一顿，他才主动上书辞官。
那锦衣卫听了，信以为真，快马加鞭赶回京城，向梁芳一五一十地禀报了。梁芳得讯大喜，一问吏部，谢迁的辞呈果然已经送到。他立即让吏部批准了谢迁的辞呈，尽快送回阳逻县去。谢迁收到准辞的公文，当即让家人收拾书籍衣物，简简单单一车子，启程回往家乡浙江余姚泗门，耕田隐居去了。
数日后，楚瀚回到京城，梁芳高高兴兴地召他来见，直夸他办事妥当，手段灵活，不过一个月的工夫，便拔去了自己背后的这根芒刺；而且他乖乖回京入宫述职，毫无逃走的意思，梁芳心中极为满意，知道此后还有许多事情能派他出京去办，对楚瀚大大赏赐了一番。
之后梁芳便时时派楚瀚出京探访消息，偷取宝物，总之干的尽是些不可告人、污七八糟的勾当。凭着楚瀚在胡家学得的飞技取技，要刺探什么消息、偷取什么珍宝，对他而言都非难事，要逃走也是轻而易举