阳郡丞元宝藏任为书记。元宝藏举郡归降李密后，他又被李密任为元帅府文学参军，专掌文书卷宗。李密失败后，魏征随其入关降唐，但久不见用。次年，魏征自请安抚河北，诏准后，乘驿驰至黎阳，劝李密的黎阳守将徐世绩归降唐朝。不久，窦建德攻占黎阳，魏征被俘。窦建德失败后，魏征又回到长安，被太子李建成引用为东宫僚属，玄武门之变以后，此人洞察李世民胁父弑兄。家法不正，只怕万夫所指，因此急于粉刷自己形象的机会，以性格耿直，往往据理抗争，从不委曲求全的纯臣来立足朝廷。
其实李世民深恨此人，但是为了制造自己千古一帝的形象，不得不容纳于他，下面这段话。也许在愚蠢的人看来，想必是君臣和谐，主君度量的表现，实际上，权谋之人看来，这段话实是让人冷汗淋漓了——这实是杀机勃发，几不能压抑地表现。
上尝罢朝，怒曰：“会须杀死田舍翁！”
后问为谁，上曰：“魏征每庭辱我。”
后退具朝服。曰：“妾闻主明臣直：今魏征直，由陛下之明故也，妾敢不贺！”
虽然史书上，说“上乃悦”，但是实际上，就看魏征死后，不惜天子名声悔去公主与魏徵长子叔玉婚约，并且推倒了亲手为魏徵死后所