李靖却没有李世顺利。五月，李靖亦回朝。面圣，皇上却把一纸奏疏送到李靖面前。奏疏乃是御史大夫萧所上，说，李靖破颉利牙帐后，御军无法纪，突厥珍宝器玩，都被将士虏掠殆尽。请求皇上把李靖交司法部门治罪。

李靖纵然无心因功求赏，却未想到局面会是如此尴尬。

“卿是大唐功臣，朕素来视卿尤重，是因为卿之为将，功高不骄，御军严于法纪，怎么偏是这次就乱了法纪？”

“李靖知罪！”李靖跪在地上，只是认罪，并无一句辩解。

太宗沉默良久，才不无沉重地对李靖说：“前朝史万岁破达头可汗，有功不赏，还因为过错被杀掉。朕深知这样不妥。朕仍然要录下卿的功劳，还要赦免卿的罪过。”于是拜李靖为左光禄大夫，赐绢千匹，加食邑通前五百户。

皇上搬出史万岁的典故。史万岁是怎么死的？隋文帝开皇二十年（600），史万岁破突厥后还朝，杨素进谗言，说突厥本来已经投降了，他们来塞上只是放牧，史万岁却去攻打。即是说，是史万岁故意兴兵。当时文帝刚刚废了太子，问史万岁在哪里，杨素又说，在东宫。文帝怒，任史万岁怎样争辩，文帝还是杀了他。太宗说史万岁，是说他不会相信谗言谋害功臣。而言下之意，也是要李靖自重，不要恃功骄横。

不久，太宗又对李靖说：“前几天有人进公的谗言，现在朕已经不再把它当回事了，公也不要再介怀这件事。”又赐绢二千匹给李靖。

李靖回家，关上门。表情不无沉重。李夫人端一杯水，安慰道：“皇上既然已明言释怀，夫君亦不必太放心上。”

“李靖倒不是要把事情放心上。只是在朝伴君，终有难为。”

“萧倒也不至于嫉妒夫君功高。皇上也终不至于猜忌夫君。只是皇上毕竟是皇上，一国大权扛在肩上，总难免时感惶恐。这时借了萧的奏疏，说几句责备的话给夫君听，倒也不是什么大事。”

确实，萧是高祖旧臣，是一文臣。史载，萧秉性耿直，他不会是嫉妒进谗之人。但他这一封弹劾的奏疏却委实很是时候。太宗对李靖，终是不能完全放心。

李靖听得，却觉舒畅许多。他李靖一世英雄，扛得青山不怕重的胸怀，本不应该为这些事介怀。何况，皇上都已经表示释怀了。李靖不禁感激夫人的一番伶牙俐齿、一番通达心思。

李靖从此退而自重。

贞观四年（630）八月甲寅，诏兵部尚书李靖为尚书右仆射。本朝无宰相之名，仆射即是宰相。太宗说：“公文武兼备，出则有将领风范，入则有宰辅之才。所以以卿为尚书仆射，公其勉之。”

只是生性沉厚的李靖，每参议政事，常少于言语，在那些能言善辩的文臣中间，他也根本插不上多少话。

贞观八年（634）正月，诏李靖为畿内道黜陟大使，视察民间疾苦、地方风俗。

十月，李靖上表，以足病为由，请乞骸骨，言辞恳切。“乞骸骨”是古人向皇帝请求辞官的通常说法。太宗遣中书侍郎岑文本到李靖那里，传太宗的话说：“朕观自古已来，身居富贵，能懂得在适当时候止步的不多。不管是愚是智，大多数人不能自知，即使是才能不堪其任，还要勉强占据职位，纵使是有疾病，犹自勉强不肯退位。公能识达大体，实在是值得称扬。朕现在不单要成全公辞官归闲的雅志，还要以公为一代楷模。”意味深长的一段话。

于是下诏，加授李靖为特进，听任他在府第休养。又赐物千段、御用马两匹，俸禄等照给。如果足病稍好些了，就每三两日到门下、中书平章政事。“平章政事”是唐朝制度用语，即是参与商讨国家政事。

李靖穿上便服，有种久违的无官身轻的感觉。李靖说：“夫人，闲来无事，走盘棋如何？”

“好！”李夫人欣然道。

“这次须让夫人几步？”

“三步，只须夫君让三步棋，必然赢你！”李夫人笑道。她只如此说而已，其实，不管李靖让几步，她都没有必胜的把握。

“好！三步！”李靖亦笑。他神态宁静，眼神深邃，却温和。