李质颖与王亶望在海塘事上意见不一，李质颖便上书弹劾王亶望“有家眷不回原籍守孝”，意思是王不让妻、子还乡奔母丧，同时还揭发了王亶望办理海船事务时大肆收受商人贿赂并接受他人馈送婢妾一事。乾隆皇帝得知后甚为重视，派大学士阿桂等人调查。王亶望当然矢口否认，而李质颖拿不出真凭实据，承认所奏不过是得自传闻。于是，乾隆皇帝对此案最后的结论是“王亶望尚无情弊”，不过是李质颖与王亶望不和，有意滋事。李质颖也由此被召回京城，浙江巡抚改由闽浙总督陈辉祖兼任。显然，此时此刻，乾隆皇帝还是信任和偏袒王亶望的。
转眼到了乾隆四十六年（1781）正月，乾隆皇帝派大学士阿桂赴浙江查勘海塘工程。阿桂发现了杭嘉湖道王燧和原嘉兴知府陈虞盛贪纵不法、虚报经费的情况，立即上疏揭发。因为王亶望任浙江巡抚时，王燧、陈虞盛均为其亲信，乾隆皇帝敏锐地意识到王亶望也脱离不了干系，下令逮捕王燧严审，尤其要查清王亶望与王燧有无“交通情事”。王亶望得知后十分恐慌，急忙自请罚银五十万两，充做修建海塘公费之用。乾隆皇帝答应了王亶望所认罚银，但对如此巨额银两的来源十分怀疑，密令阿桂严加查访。阿桂自然想不到这些银子大多是王亶望任甘肃布政使时