皇太子李承乾与魏王李泰互相结仇，太宗说：“当今朝臣里讲忠道、尊贵，没有人超得过魏征，我命他去辅佐皇太子，皇太子的羽翼就会丰满起来。”于是，太宗拜他为太子太师。魏征以生病为由推辞这个职务，太宗下诏说：“西汉的太子靠着‘商山四皓’的辅佐，我依靠您，也是同一个意思。您即使是卧病在床，也可以保全皇太子。”

贞观十七年(643年)，魏征的病情加重。魏征家起初连正寝都没有，太宗命令暂时停止营建小殿，先将小殿的木材为魏征修建正寝，仅用五天时间就完工了。又赐给魏征素褥布被，以遵从他崇尚简朴的意愿。还命中郎将在魏征家里值班，一有什么情况立即报告给太宗。其他所赐的药品、膳食不计其数，宫中的使者往来更是络绎不绝。太宗甚至还亲自到他家问候疾病，又摒退左右，交谈了整整一天才回宫。太宗准备把衡山公主嫁给魏征的儿子魏叔玉，就与皇太子一起来到魏征家中，指着衡山公主说：“您勉强看一看新媳妇吧！”魏征那时病重，已经连道谢的话也说不出来了。这天夜里，太宗梦见魏征和平常一样。等到天亮时，魏征逝世了，太宗亲自前往哭吊，为之悲痛不已，并停止朝会五天。皇太子李承乾也在西华堂为魏征举哀。太宗下诏，命文武百官和各州的朝集使都去为他送葬，追赠他为司空、相州都督，谥号为“文贞”，命将他陪葬于昭陵。将要下葬时，魏征的妻子裴氏推辞道：“魏征平时很节俭，现在用一品官的礼节来安葬，所用的仪仗、器物太多，恐怕不符合他的本意。”太宗就同意了她的请求，于是用素车载着魏征的棺材，用白布作帷幔，不用涂车、草人、草马等物。太宗亲自为魏征书写碑文，又赐给魏征一家封邑九百户，还登上禁苑的西楼，遥望着他的灵车痛哭尽哀，并让晋王李治奉自己的命令在路边设食致祭。

太宗后来临朝时叹道：“以铜作为镜子，可以使衣冠整齐；以历史作为镜子，可以了解王朝的兴衰和更替；以贤人作为镜子，可以明白施政的得失。我曾经拥有这三面镜子，防止自己的过失。现在魏征去世了，我就少了一面镜子。我近来派人去他家，得到了一张写过字的纸，仅写了一半，其中可以辨认的部分如下：‘天下的人，有好也有坏，任用好人则天下太平，任用坏人则国家衰败。在公卿大臣之间，感情有喜爱也有憎恶，憎恶的人只见到可恨之处，喜爱的人只看到可爱之处。爱和恨之间，应当谨慎小心地对待。如果爱一个人又知道他的缺陷，恨一个人又知道他的优点，除去邪恶时不犹豫，任用贤人时不猜忌，国家就能兴旺了。’其大概意思就是这样。我反复思考，恐怕难以避免犯这样的错误。公卿大臣和左右近臣可以把这句话写在朝板上，发现我犯了这样的错误一定要进谏。”

魏征的身材、面貌与一般人差不多，但很有志气和胆略，每次犯颜直谏，即使遇到太宗很生气，他的神气依旧不变，最后连太宗也为此收敛了神威。有一次，魏征奏道：“近来听说陛下要去关南，已经准备好了却又停了下来，这是为什么呢？”太宗说：“怕你会进谏，我便中止了此行。”天下大乱之后，典章书籍散失了不少。