接下来的事情让李义府更加被动了起来。不久，李义府的母亲去世了，高宗给了他服丧的假，但是李义府不知道是怎么想的，竟然在那些日子里穿上便服，会上方士杜元纪到城东，爬上高高的古墓上望气色。这一次又被抓住了把柄，有人告发他，说这是窥觇灾异，等着有改朝换代的事情发生，他趁机谋反。只要罪名一涉及“谋反”二字，就严重了。

接二连三的倒霉事一齐向李义府袭来了，不久，又有人告发他的儿子右司议郎李津卖官给长孙无忌的孙子长孙延等等。

武则天实在看不下去了，是可忍，孰不可忍！最终，东窗事发的日子还是到了，李义府和他那三个不成器的儿子向来被人们合称“四凶”，这一来，一起被流放，倒也省事。除掉了这“四凶”，百姓们竟乐得奔走相告，可见李义府的恶事已经做到了什么程度。

就这样，武则天像打扫一间久未整理过的屋子一样，打扫着朝廷人事，整顿吏治，一时颇有开启一代新风的气息。