开皇十五年（595）三月，仁寿宫终于修好了。当时高颎不还是首席宰相嘛，隋文帝先派高颎去验收。高颎可是和隋文帝一起开创节俭型政府的人物，跟杨素的价值观很不一样，他一看这个宫殿如此豪华，马上开始心疼国库，心疼百姓了，回来之后如实汇报说："颇伤绮丽，大损人丁"。

什么意思呢？建得倒是挺好，问题是好过头了，损失了好多老百姓。隋文帝可是个节俭的好皇帝啊，一听高颎这样汇报，马上心里"咯噔"一下，就有了一种先入为主的坏印象。

三月底，隋文帝终于抽出时间亲自去视察了。这一视察，印象更坏了。为什么呀？因为他在沿途就听到一些说法，说杨素为了赶工期，把好多民夫都给累死了，有些人死后填了山谷，还有些干脆就地焚烧了事，这也太不爱惜民力了！所以，一到仁寿宫，隋文帝就怒气冲冲地说了一句："杨素竭百姓之力，雕饰离宫，为吾结怨于天下。"杨素这么干，不是给我招恨吗？

这话传到杨素耳朵里，可把他吓坏了。本来是竭尽全力想讨好皇帝，没想到马屁拍到马腿上了。怎么办呢？

这时候，有人就给杨素出主意了。谁呢？杨素的侄女婿，也是仁寿宫的监工--封德彝。封德彝对杨素说：咱们皇帝听皇后的，现在既然皇帝对你有成见，你不如先跟皇后沟通一下，只要皇后认可，皇帝肯定不会责备你，没准还有赏赐呢。

杨素一听，有道理，赶紧悄悄地找到独孤皇后，对她说："帝王法有离宫别馆，今天下太平，造此一宫，何足损费！"帝王按道理讲，就应该是近离宫别官的，现在天下如此太平，我就帮皇帝修这么一座离宫，这有什么不可以的呢？花的那点钱算什么啊？这一句天下太平把独孤皇后给打动了。是啊，我们以前克勤克俭，不就是为了能够天下太平吗？现在既然已经天下太平了，干嘛还要一直当苦行僧呢！

第二天一早，隋文帝召见杨素。杨素还是有点紧张，磨蹭了好半天才去。进入宫中，孤独皇后说："公知吾夫妇老，无以自娱，盛饰此宫，岂非忠孝！"杨素知道我们夫妻年纪大了，也没别的爱好了，所以给我们修了一座好房子，让我们也享受享受，是个忠孝之臣啊！隋文帝一听，也面带喜色，连连点头。就这样，杨素靡费资财，草菅人命，不仅没有受到惩罚，反倒赐钱百万，赐绢三千段。