家和马家一样是南迁的北方士族，但和马家选择出仕不同，祝家在上虞建起邬堡，聚集乡勇，自成山河，随着战乱越来越甚，附庸之人也越来越多。
祝家原本就是北方士族，士族有占田免税的特权，祝家善待来附庸的荫客，又十分重视自保之力，几代人清除荒秽，开垦耕地，栽种竹木果树，开辟渔场，修筑房舍，训练部曲，直至祝家祖父时，庄中已经僮仆成军，闭门为市，牛羊无数，田池几百里。
所以几经战乱、造反，江东六郡不少次等士族一批又一批的面临洗牌、灭族，唯有祝家一直屹立不倒，成为当地著名的豪强。
这样的武装力量无论南北都会重视，在北方，鲜卑人建立的魏国将北方大地上的邬堡主封为“宗主”，南方的刘、宋也好，梁国也好，都给这样的乡豪加以优待拉拢，他们做的，便是“定士”。
豪强虽没满足三代以上连续出仕高官的条件，朝廷和中正却依旧承认他们的士族地位，并可以享受士族同样的特权。
就门第上来说，身为祝家庄庄主的祝家也是次等士族，和马家门当户对，祝家女还从小学文识字，颇有才名，据媒人说，相貌也是不俗，怎么看，这门亲事都是上上之选。
马家是汉伏波将军马援之后，郡望在北方的扶风郡