“四老”指吴稚晖、蔡元培、李石曾、张静江四人，在国民党内有“商山四皓”之称。四人中，蒋与张静江交往较早，交谊较深。陈英士、张静江、蒋介石、戴季陶四人曾结盟兄弟。中山舰事件以后，蒋颇倚重张静江。在蒋的安排下，张静江一度担任中常会主席。据陈公博描述，南昌与武汉对峙时，“在蒋先生这边也知道反蒋的不止共产党，但他不好正面攻击，希望打击共产党即所以镇压反蒋的队伍；而在武汉方面，却也不直接攻蒋，藉口张静江做了中常会主席的缘故，高呼着请张静江交还党权给中央。”

除张静江外，吴、蔡、李均具有特殊的社会地位。依罗家伦的说法，“他们仿佛代表一种道德的势力”。 而这正是蒋介石借重他们的重要缘由。

据邵元冲日记，1927年3月下旬至4月上旬，蒋介石邀吴稚晖、李石曾、蔡元培、张静江、邵元冲等人在上海多次开会讨论清党反共办法。其中吴稚晖的情绪最激昂，反共的主张也最多。 最后决定由“四老”领衔，以国民党中央监察委员会名义提出弹劾共产党案。

4月12日，蒋介石在上海发动清党，4月18日在南京成立国民政府。于是国民党中枢由一分为二发展为三足鼎立的局面，形成宁、汉、沪三个中央党部和宁、汉两个国民政府相互抗衡。上海中央由西山派主导。南京中央由蒋介石主导。武汉中央则拥戴刚回国的汪精卫为领袖，并与共产党合作。

中山舰事件对汪精卫虽是一大打击，而汪氏在党内的声名却不减反增，因党内文人精英对蒋介石权势的骤增，视为军权压制党权、武人压制文人的表征，而视汪氏为足以抗衡蒋氏的文人领袖。武汉方面发起声势浩大的迎汪回国运动，大有斯人不出如苍生何之慨。汪氏声望暴增。尤其在一般青年国民党员的心目中，以为惟汪氏为“今之完人”。汪之“党圣人”称号，即起源于此。当汪氏于1927年4月回国时，几已成为全国青年一致崇拜的人物。 而汪派亦于此时逐渐形成。其时，武汉政府中的国民党左派人物，除徐谦别有怀抱外，其余如陈公博、顾孟余、王法勤等，均集结于汪氏周围。这些人后来成为汪派的核心人物。

蔡元培、吴稚晖、李石曾等国民党元老兼名流学者直接参与发起清党运动，为蒋介石赢得了一定的社会道义基础。胡适即谈到，当时北京的一些青年大学生，非常崇拜蔡元培等学者教授。他们不相信支持南京清党的蔡元培和吴稚晖也会做坏事。蒋介石在上海发动清党之际，胡适正由美返国，一位哈佛大学教授向他询问国民党清党真相。胡告之曰：“蒋介石将军清党反共举动能得著一班元老的支持，你们外国朋友也许不认得吴敬恒、蔡元培是什么人，但我知道这几个人，很佩服他们的见识与人格。这个新政府能得到这一班元老的支持，是站得住的。” 当然，胡适的看法，只是清党发动之际的一种即时性的观察和预测。当时青年学生多大程度上如胡适所说的那样，因为崇拜蔡元培、吴稚晖而认同清党，也很难说。如号称与吴稚晖有忘年之交的曹聚仁即毫不客气地指责吴氏“助纣为虐”，是“社会革命的叛徒”。胡适本人在明了清党真相之后，对国民党的看法也逐渐发生了改变。

客观而言，1927年蒋介石清党势所必至，几位文人元老虽参与谋划，但其真实作用不过在军权之上增添若干“合法性”而已。

1927年6月，天津《大公报》发表社评称，民国以来的中国政治大势，可以归结为“文武主从之争”。社评认为，辛亥革命本是文人革命，但随后袁世凯凭藉北洋军与孙中山所凭藉的国会相较量，最终演化为“武主文从”的局面。而孙中山于1924年改组国民党，集大权于以文人为核心的中央执行委员会，并借鉴苏俄“赤军”经验建“党军”，以党权制约军权，意在恢复“文主武从”的政治。