萧望之不但道德品质优良，而且才干非常，更由于他是顾命大臣，所以当朝廷渐渐地被石显搞得乌烟瘴气的时候，他立即挺身而出，向元帝告石显的状："管理朝廷机要的职务是相当重要的，祖宗成法，这一职务该由贤明的人来担任，可如今皇帝您在宫廷里享乐，把这一职务却交给了太监，这不是我们汉帝国的制度。况且古人讲：'受过刑的人是不宜在君主身边的。'这种情况现在应该立即改变。"元帝不知所然，居然就把这奏章交给石显看了。石显看完，其怒火中烧自然可想而知。他决定对萧望之动手。

石显有能力，否则仅凭阿谀奉承不可能到达他那个位置。石显对帝国法律的熟悉程度可能比专门从事法律的专业人士还要强。他在历次排除异己的时候，都是从国家法律条文中找到对应的一条，让被迫害者无话可说。

但在对付萧望之一事上，石显不能从法律条文中找到任何"证据"，萧望之仿佛永远都是正确的化身，用其品德和才干证明着他的光明正大。石显只能通过诬陷的手段来达到他自己的目的。

他对元帝说："萧望之结党营私，想专擅权势，为臣不忠，又污蔑皇上没有才德，请谒者召致廷尉。"石显的这段话编得非常好，萧望之既然要处理朝政，难免就要和其他大臣们在一起商量事情，"结党营私，专擅权势"是也。而"污蔑皇上"则是指萧望之曾多次要求皇帝不要亲近宦官，在奏章中自然会苦口婆心地提到皇帝应该聪明一点。

这一歪曲事实的诬陷之词居然就被元帝所接收了，而之所以被元帝接收，首先是因为元帝本人相信石显，其次他是个不能明察秋毫的皇帝。

不久后的一天，元帝觉得很久没有见到萧望之，就问石显。石显立即提醒他，几天前是您让我们把他扔进监狱的啊。元帝大惊，石显就解释说，"召致廷尉"就是扔进监狱啊。

元帝大怒，他把自己的无知怪罪到了石显的头上，并立即要求放人。石显虽然同意放人，但却告诫元帝说不能再用萧望之了。因为："您刚即位，而您的老师就进了监狱，大臣们会认为您是有充分理由的，现在您若把他们无故释放且恢复官职，那就等于承认了自己的错误，您的威信会因此受到极大的影响。"元帝想了想，同意了。萧望之虽然免了一死，可官职也被免了。但不久后，元帝觉得朝廷没有萧望之仿佛缺了点什么，就把萧望之官复原职。

萧望之满心欢喜毫无怨言地上任了，可他的儿子很气愤。他儿子认为，父亲无缘无故被捉进监狱，又没有任何理由地被释放被免职，如果这证明有罪，那么，现在被重新起用又代表什么？即使现在被起用了，当初进监狱总该给个说法吧。他儿子一气之下就上书要求给他父亲一个说法。