但是，这次葬礼恐怕也是杨素在隋文帝一朝得宠的巅峰了。因为就在此后不久，杨素在隋文帝心目中的地位就下降了。为什么呢？有人弹劾他了。谁呢？大理卿梁毗。

就在仁寿二年（602），梁毗上书隋文帝，说：

臣闻臣无有作威福。臣之作威福，其害乎而家，凶乎而国。窃见左仆射、越国公素，幸遇愈重，权势日隆，?

绅之徒，属其视听。忤意者严霜夏零，阿旨者膏雨冬澍，荣枯由其唇吻，废兴候其指麾。所私皆非忠谠，所进咸是亲戚，子弟布列，兼州连县。天下无事，容息异图，四海稍虞，必为祸始。夫奸臣擅命，有渐而来。王莽资之于积年，桓玄基之于易世，而卒殄汉祀，终倾晋祚。季孙专鲁，田氏篡齐，皆载典诰，非臣臆说。陛下若以素为阿衡，臣恐其心未必伊尹也。伏愿揆鉴古今，量为外置，俾洪基永固，率土幸甚。轻犯天颜，伏听斧锧。

什么意思呢？梁毗讲，我听说臣子，是不允许作威作福的，如果一个国家，允许臣子作威作福的话，那么必定天下大乱。现在我们国家，有没有哪个大臣作威作福呢？有啊，就是越国公尚书左仆射杨素，他倚仗陛下的宠幸，权力已经大得没边了，所有的官员都要看他的脸色办事。如果他喜欢的人，对人家像春天般温暖；他不喜欢的人，就像秋风扫落叶一样无情。所以我们整个官僚系统，从现在都是受他的指挥。因此我觉得，这样下去，有一天他会走上奸臣、权臣的道路。希望陛下能够预先留心到这一点，鉴古知今，不要再给他这么大的权力，我知道我这话不中听，说出来也许您不喜欢，但是为了国家利益，我万死不辞。这是梁毗的这一番高论。

要知道，当时杨素可是炙手可热的人物，首席宰相，梁毗这样说，不是找死吗？果然，隋文帝大怒，马上把他抓了起来，亲自质问他，怎么可以如此诽谤大臣。

没想到，梁毗毫不畏惧，当面对隋文帝说：

素既擅权宠，作威作福，将领之处，杀戮无道。又太子及蜀王罪废之日，百僚无不震悚，惟素扬眉奋肘，喜见容色，利国家有事以为身幸。

你审我吗？我不怕你审，我这些意见就是要当面跟你说出来的，我确确实实认为杨素是一个作威作福之人。我有充分的证据，证据是什么？陛下，请您想一想，当年您废掉太子杨勇和蜀王杨秀的时候，我们这些大臣，谁不是觉得陛下家里出了这么大的事情，是一件非常让人震惊、让人恐慌、让人难过的事？可是唯独他越国公杨素，表现得是一副扬眉吐气、很得意的样子啊。为什么啊？他是盼着国家有事，好抬升他自己的地位啊？陛下，这难道是一个忠臣应有的行为吗？梁毗这一点，说得太厉害了。

这番话一说出来，隋文帝真是傻在那里了。确实，此前隋文帝一直觉得杨素是在忠实地执行着自己的命令，替自己把两个不肖子都除掉了，所以才把杨素视为心腹重臣。如果按照梁毗的说法，杨素有个人野心蕴涵在里头，那自己岂不是成了给杨素做嫁衣裳吗？这让隋文帝不寒而栗。