拂袖大笑离去。
在那盐监职任上，他尽力奉公勤勉，不敢有丝毫疏忽。只是初入此门，于盐务全然不知，只能向那些老吏请教。那些老吏也殷勤周至，事事都办得妥帖。一年多后，他才渐渐通晓了其间备细。谁知转运使盐事帐司前来例行核查，竟查出许多账目缺漏。查审之后，才知是那些老吏串通造伪，偷挪盐税。他虽没有贪渎，却因失察之罪，被勒停编管，贬到江西虔州。
他脱去绿锦官服，换上布衫布裤，一路由所经州军院虞候押送递解，受尽艰辛，才到了虔州。住在官厅后头窄陋低湿的厢房里，虽能自由行走，却不能出城，每一旬还得去长吏厅呈身。最要紧是衣食，俸禄已停，若有保人，还可授业教书，挣些钱粮。他却无亲无故，只能依“乞丐人法”，由官厅每日支二升米、二十文钱。每天去领钱米时，真如乞丐一般。连小吏见了他，都能任意呼喝。他虽然自幼家境清寒，却哪里受过这等困辱？几回想悬梁自尽，将腰带拴到房梁上，踩着凳子，头要伸进去时，却终不甘心，只能流泪下来。他不愿自此消沉，不停以历代那些受贬名臣自励，没有钱买书，每日便去书肆中站着借读。寄情于经书史传，令自己忘却周遭。
两年后，朝廷大赦，他紧忙欢喜收拾那些破旧衣物，准备动身