反正王世充等人拥立皇泰帝的时候，他便想率人投效，还曾被封了江都通守，总管之类的官职。
可惜的是王世充迫不及待的把皇泰帝给赶下了皇位，自己登基称帝了，这可把杜伏威给气坏了。
你个西域胡家子，霸城王氏的拖油瓶，怎就敢窥伺皇位？也不怕折寿……想让俺屈身侍之，做梦去吧。
于是王世充派来几次时节，都被他给赶走了。
也就是那会王世充的目光不在他身上，不然的话一定先来宰了这个混账东西，敬酒不吃吃罚酒。
后来杜伏威又看李渊很不错，正好李渊的使者也到了，他便起意投效李渊，人家是陇西李氏中人，是关西的大贵族，唐公仁义的名声又天下皆知，这才是当皇帝的料嘛。
那会他就想跟着李渊的使者去长安“瞧瞧”，可却被手下们紧着拉住，劝他观望一些时候再说。
这一观望就没下文了，李渊老巢被李破给掏了，又在晋地连场大败，被李破，萧铣，王世充牢牢堵在了关西。
杜伏威一看也泄了气，心说你看看你，出身名门不说，在天下还有着那么大的名声，如今占了西京长安那么好的地方，竟然不能让众人膺服，在战阵上也被别人打的抱头鼠窜。