奏响门阀制度的挽歌当了皇后的武则天，头脑清醒地盯着自己的对手。无论把这解释成是她个人的性格气质，或者说是顺应政治斗争不可抗逆的逻辑，反正她没有放过任何一个阻碍她入主后宫的政敌。起初她还作一点宽厚的姿态。皇帝立她为皇后的诏令下达后两天，她上的第一份表奏要求褒赏去年“面折庭争”阻止进封她为宸妃的韩瑗、来济。此刻武则天重提这桩旧事，对韩、来之辈无异是一种居高临下的威慑，无怪他俩见到此表时心里十分不是滋味，忧惧之余，“屡请去位”。

武则天春风得意，初登皇后宝位之际。

关照起韩瑗、来济，究竟出自真情还是假意，让人颇费思量。也许她还存一线分化敌党、笼络这两名新进宰相的期望吧。可是这两人很不知趣，不久又为褚遂良讼冤。韩瑗上疏称：“遂良体国忘家，捐身殉物，风霜其操，铁石其心”，请求“稍宽非罪，以顺人情”。还说：“陛下无故弃逐旧臣，恐非国家之福。”褚遂良有冤情，对此皇帝并不讳言，但恨他“悖戾好犯上，故以此责之”。

唐高宗李治素称懦弱，但当皇帝多年以后，也并不甘心受制于这批老臣，一心要摆脱长孙无忌、褚遂良等人的包围控挟，这样就和武则天有了一个对付他们的共同点。韩瑗见疏奏无效，要求解职归田，又不准。但已经惹恼了武则天。显庆二年（657年），许敬宗、李义府按皇后旨意，诬奏韩瑗、来济与褚遂良潜谋不轨，捕风捉影的借口是他们安排褚遂良由潭州都督改任桂州都督，意在搞里应外合，因为桂州（今广西桂林）向来是用武之地。八月，韩、来二人被贬到振州（今海南崖县西）、台州（今浙江临海）当刺史，“终身不许朝觐”。唐朝规定地方长官定期朝集，在年节前入京朝贺，贡献方物，汇报地方政务。

给韩、来这一特别处分，使他们无望再上调回京面见皇上，有一种永劫不复的味道。两年后韩瑗死在振州。五年后来济在庭州（今新疆吉木萨尔）刺史任上，与突厥战阵亡。受韩瑗、来济牵连，褚遂良更被远贬爱州（今越南清化），柳从荣州贬往象州（今广西象州东北）。褚遂良到爱州后哀哀上表，自陈过去为皇上固争太子位，又受遗诏辅政的种种功绩，恳求“蝼蚁余齿，乞陛下哀怜”。

褚遂良自武德初从薛举手下归唐，以文才书法自负，40年来爬上宰相高位，年逾60反遭贬责，远放边州，心情沮丧。哀告不应，一蹶不起，次年死于爱州。最后要收拾长孙无忌。此人早年从李世民征战，又策划了玄武门事件，兼有开国功臣和佐命元勋的特殊荣誉，24名凌烟阁功臣中他名列第一。终贞观之世，他在相位上。高宗皇帝对这位有顾命老臣身份的母舅一直尊礼优崇。