实际上，他父亲徐盖只是个山东富户不假，可他们徐氏祖上也是官宦之家，他曾祖曾在北魏为官，他的祖父又仕于北齐。
到了他父亲徐盖这一代，和几个叔伯在山东闹的很不愉快，不然的话也不会在没有任何官职加身的情况之下，带着妻儿毅然决然的离开山东老家去到河南，投奔了妻族。
徐盖的妻族在河南也不是什么大族，人丁寥落，比之徐氏还要不如呢。
其实呢，从徐氏家族这一支的轨迹可以看得出来，从开皇到大业年间，北齐余孽们纷纷就都走起了下坡路。
他们中间的一部分在战争中被连根拔起，留存下来的这些，一部分融入了关西世阀当中，另外一部分则在故土苟延残喘，一直受到持续的打压，几十年来，当初可以于关西门阀抗衡的山东河北军事集团，早已烟消云散，不复存焉了。
而山东徐氏其实只不过是个缩影而已，也可以说是时代进程中的牺牲品。
当初李密麾下的秦琼等人，其实和徐世绩都差不多，祖上多少风光过，可到了他们这一代，也就没剩下什么了。
出去之后，还不敢正大光明的将祖上挂在嘴边儿，唯恐遭了打压排挤，甚或是引来杀身之祸，要知道，当年北齐兵强