刑部，也不属于总督、巡抚管辖。
不过，自曾国藩凭借湘军以文武双重身份崛起后，情况开始改变。他受任两江总督之初，还兼有钦差大臣的身份，有权统辖江、皖、赣、浙四省军务大权。这样，原本不属于他节制的江苏、安徽、江西、浙江四省巡抚以及各省布政使、按察使均成了他的下属。在清朝，这可是前所未有的大事。按照清朝制度，总督对文职道府以下、武职副将以下官员有奏请升调免黜的权力，正是在这样的便宜之下，大批湘军将领倚靠曾国藩进入政权机构，得任地方实职，由此掌握了一方的军事、财政大权。即便到后来曾国藩主动裁撤湘军、湘军为淮军所取代时，湘军一系羽翼已成，不但军事力量雄厚，“七八省政权，皆在掌握”，且五脏俱全，成长为完全有实力分权割据的力量。尤其是曾国藩所管辖的两江富甲全国，形成了“重地方、轻中央”的政治格局。在这样的局面下，以慈禧太后为首的清廷惶惶不可终日，视曾国藩为眼中钉、肉中刺，也就不足为奇了。马新贻升任浙江巡抚，已经是清廷要将曾国藩调离两江的前兆。
马新贻任浙江巡抚期间，讲究政通人和，积极兴修水利，修筑海塘，并奏请豁减杭嘉湖等七府浮收钱和漕米，减轻百姓负担，复兴各府书院等，在当地很有名