岂不惮艰险？深怀国士恩。

季布无二诺，侯嬴重一言。

人生感意气，功名谁复论。

这首诗雄健苍劲，慷慨激昂，完全是真情流露。此次出关，魏徵为唐朝的统一立下了大功，也如其所愿实现了自己命运的转折。魏徵先后劝降了瓦岗军余部徐世和元宝藏。但在武德二年（619）十月，他被南下的窦建德所俘，随之被任命为窦建德夏政权的中书舍人。武德四年（621），窦建德和王世充为本朝所灭，魏徵才又得以回到长安。

当时的太子李建成听说魏徵此人很有才干，于是将其引入太子府任太子洗马，十分器重。太子洗马是东宫司经局的负责人，相当于朝廷的秘书省长官秘书监，掌管图书的缮写刊辑之事。当时的太子东宫非常实体化，实际上就是一个准朝廷，当皇帝出巡的时候完全可以运转起来暂行朝廷职能。尽管太子洗马的级别只有从五品下阶，比当初随李密入关后担任的从五品上阶的秘书丞还低了一级，但对于本来就是归降来的、又曾经被俘虏且任了敌方政权要职的魏徵来说，能够进入到未来皇帝的核心圈子中，也还是一件值得欣慰的事情。他将在东宫的岗位上参与到又一番历史的波涛中去。

那个时候的秦王李世民，已经积累了赫赫战功，赢得了满朝瞩目的威名。兄弟之争不可避免。在世民和建成争夺皇位的斗争中，魏徵帮助建成出谋划策，并劝他亲自征讨还在河北继续斗争的窦建德余部刘黑闼，以此树立威信，结纳山东豪杰，积累战胜秦王的政治资本。魏徵的部署收到了很好的效果。

武德九年（626），当太子和秦王争斗进行到白热化的时候，魏徵建议太子及早除掉李世民，但他的建议却没有被采纳。当年六月初四，玄武门发生兵变，李建成被杀，李世民获胜，被立为太子。魏徵因为多次劝李建成除掉李世民，故而早上了秦府的黑名单。魏徵面临着又一次命运的转折。

果不出所料，隔了没几日，已经身为太子的李世民就召见魏徵。

李世民一见魏徵，就厉声问：“你为何要离间我们兄弟？”其他人见此情景，都为他捏了一把冷汗。魏徵却从容不迫地答道：“如果当初原太子听从微臣的建议，则不会有今天的大祸了。”此言一出，真是语惊四座。不仅旁人，就连李世民也不由得愣了一下，没料到此人这么胆大。

李世民于是仔细端详站在下面的魏徵，想起种种往事。这个人确实是个人才。当年父皇派他去安抚山东，他劝得徐世归朝。后来自己没能平定刘黑闼反叛，建成去却完成了任务，听说也是靠魏徵的主意。看来此人绝非平庸之辈。若能为我所用，化敌为友，岂不是大有助益。

就在李世民沉思的时候，周围的人心里都七上八下的，不知道他想怎么处理魏徵。独有魏徵，还是神情自若，直视着坐在上面的李世民，毫无惧色。

李世民沉吟了一会儿，再看魏徵一眼，说：“魏徵，先任命你为詹事主簿。”当时李世民还没有即位为帝，正是以太子身份处理朝政。詹事府是太子东宫的最高行政机构，相当于朝廷的尚书省。此时实际上就是朝廷的最高行政机关。而级别只有从七品上阶的詹事主簿，是负责对所有往来政务文书进行收发审查并用印的职务。魏徵级别越来越低，可这个职务却是极其重要的。

魏徵一点不惊讶，他料到李世民会有如此安排。于是从容拜了拜，说了声“谢殿下”。李世民赞赏地点了点头。

李世民本就是爱才惜才之人，又有容人的度量，特别是从刘黑闼事件中他体会到山东豪杰的重要性。所以他任用魏徵，因为魏徵是山东豪杰中最有眼光的人物。不久李世民又将原来太子建成身边的谋臣王和韦挺召回，并很快委以重任。

这时候，建成、元吉的党羽散在民间，还很不安心，也有些人争着告密以取赏。在王的建议下，李世民重申建成、元吉左右皆赦不问，下令不得相告。但河北州县素来与建成二人关系密切的势力，仍不自安，叛乱的因素一直存在。