则严舆不会只字不提。严白虎自称是严助后人，原本也是吴县的，乌程是孙坚的封邑，又是沈家的地盘，而沈家和孙策的关系非常好，沈友还代替孙策指挥了吴县之战。
各种因素综合起来，徐岩觉得严白虎不可信。太史慈不仅不能依靠他，还要防着他。一旦中伏被围，这三百人根本不是对手。而离开了太史慈，他们也不是祖郎的对手，只能放弃铜官山大寨南撤。
太史慈知道徐岩说得有理，但他还是要冒险。刘繇正在豫章做准备，孙策一旦占据会稽，很快就会西进攻击豫章。他能拖住孙策一天，刘繇就多一天准备时间。严白虎不可靠，他防着严白虎就是了，不能因此坐视孙策攻灭会稽世家。
他也试探了严舆，从严舆的反应来看，似乎严白虎还没有依附孙策。阳羡许家已经灭门了，铜官山迟早要放弃，不如趁此机会南撤。与严白虎等人并肩作战，建立联系，南撤的时候也可以避免发生冲突，挑选一些好地盘。
徐岩无法劝服太史慈，只得答应了，连夜挑选了三百多身强力壮的青壮，配齐武器，每人带十天的干粮，随太史慈赶往钱唐，剩下的人由徐岩率领，择机南撤。
第二天一早，天刚蒙蒙亮，太史慈就离开了铜官山。
太史慈的行动没能逃过祖郎