永徽元年洛阳人李弘泰贸然告长孙无忌谋反，皇帝二话不问，命立斩讫。武则天也不敢轻易动手，为扳倒这棵大树颇费周折。她又隐忍数年，逐一翦除其羽翼，在扫清外围以后，显庆四年（659年）春，许敬宗秉承皇后内命，精心设计了一个朋党案，把长孙无忌牵扯进去。关于这个事件，史籍记载差舛混乱，已难知其详。大略是许敬宗奉敕审鞫太子洗马韦季方和监察御史李巢等一般官员的朋党事时，严讯逼供，韦季方熬不过，自刺不死，许敬宗故意扩大事态，说他们与长孙无忌谋反，事情败露畏罪自杀。皇帝惊讶元舅何至于反，许敬宗煞有介事地说：“无忌与先朝谋取天下，众人服其智，作宰相三十年，百姓畏其威，可谓威能服物，智能动众。臣恐无忌知事露，即为急计，攘袂一呼，啸命同恶，必为宗庙深忧。”许敬宗还举出宇文化及父子两代受隋室信重，其弟士及并娶隋炀帝女南阳公主，最后还是于江都作乱，倾覆隋室。

皇帝命许敬宗再审。次日，许敬宗又编造韦季方供词：“韩瑗尝语无忌云：‘柳、褚遂良劝公立梁王为太子，今梁王既废，上亦疑公，故出高履行（无忌表弟）于外。’自此无忌忧恐，渐为自安之计。后见长孙祥又出，韩瑗得罪，日夜与季方等谋反。”皇帝还犹豫，“我决不忍处分与罪，后代良史道我不能和其亲戚，使至于此。”许敬宗再鼓舌簧：“今无忌忘先朝之大德，舍陛下之至亲，听受邪谋，遂怀悖逆，意在涂炭生灵？？臣闻当断不断，反受其乱，大机之事，间不容发，若少迟延，恐即生变，惟请早决！”皇帝被这耸人听闻的言辞搞昏了头，在许敬宗不住口地催促下，竟不亲问无忌谋反情由，听这一面之辞，便削其官爵，流黔州（今四川彭水），发兵立即遣送。

只是仍准按一品供给饮食，每天有细白米2升，油5升，炭10斤等等，每月还给羊20口，猪肉60斤，鱼30条，酒9斗，表示对这位至亲长辈的优遇。许敬宗又捉摸可以株连的人，上奏：“无忌谋逆，由褚遂良、柳、韩瑗构扇而成；仍潜通宫掖，谋行鸩毒，于志宁亦党附无忌。”这时褚遂良已死，追削官爵。柳、韩瑗除名，于志宁免官，高履行贬洪州都督。被株连的还有长孙无忌的从弟渝州刺史长孙知仁、族弟长孙恩、儿子驸马都尉长孙冲、族子驸马都尉长孙铨、长孙祥，褚遂良子褚彦甫、褚彦冲等，或流或杀。韩瑗的内侄、长孙铨的外甥赵持满，任凉州刺史，善骑射，许敬宗怕他学马超反西凉，召至京师下狱，讯掠备至，终无异词，仍以与长孙无忌同反的罪名被杀。亲戚不敢收尸，废后从祖兄王方翼以栾布哭彭越之义，冒死将他安葬。

七月，许敬宗借奉旨覆按之便，遣同党袁公瑜往黔州，逼令长孙无忌自缢。柳被杀于象州。韩瑗已死，开棺验尸。除此之外，又有长孙氏、柳氏13人和于氏9人被贬降。来济则被远贬庭州（今新疆吉木萨尔）。至是长孙无忌集团被彻底摧毁。考察一下这批人，核心正是7年前拥立陈王李忠为太子的那一伙。说于志宁党附无忌，并不是指议皇后废立时他无言沉默的表演，而是更早不慎卷入了立太子忠的事件。对此武则天刻骨铭心，时间一到，就一切都报了。这并非一场寻常的报复行动和权力之争，这是一场有深刻社会内容的历史事件。