蔡元培与蒋本无渊源。“四老”之中，要算蔡蒋交谊最浅。 蔡也最早主动淡出。1928年10月，蔡元培致函蒋介石、胡汉民、谭延闓，申明“监察院院长决不担任，大学院院长决不复职”，同时又郑重表示：“此后愿以中央监察委员资格尽力于党务，以政治会议委员之资格尽力于政务，以中央研究院院长之资格尽力于教育、学术。” 蔡对另外三老热衷参与大计不大认同。而在吴稚晖看来，蔡的消极，会令蒋介石“觉得面子不好看”。 显然蒋有意借重蔡的名望装点门面。但蔡不甚乐意为蒋利用。

1931年以后，二人关系日趋疏离乃至紧张。蔡一度与第三党领袖邓演达暗通款曲。1931年11月，蒋将邓演达处决。蔡乃公开指责蒋“专横独裁，实为古今中外罕有”。 12月，蔡与宋庆龄等联手发起中国民权保障同盟。蒋对蔡、宋自是恨之入骨。1933年6月18日蒋之特务将中央研究院总干事和中国民权保障同盟总干事杨杏佛刺杀。当时外间即有“杀杨儆宋、蔡”之传闻。今查蒋的日记，大体可以坐实这一说法。刺杨后4日，蒋在日记中毫不隐讳对蔡的深恶痛绝：“教育之败坏，一至于此，蔡元培、李石曾之于国家民族之罪恶，不足食矣。借公济私，借党投机，只知一己之私利，而置教育经费于私壑，蔡元培之溢名沾誉，其乡愿之恶，害世祸国为尤甚也。教育如此，焉望雪耻，不有铁面，焉能立国，勉之。” 据程沧波回忆：“杨之遇难，蔡先生非常难过，此后即不常去南京。”

1940年3月蔡元培在香港去世。蒋获悉后，在日记中对蔡作如许恶评：“孑民逝去，盖棺论定，其在中国文化上之影响如何，吾不敢武断，惟其在教育上与本党主义之功罪而言，以吾所见者，但有罪过而已，尤其是教育受其乡愿式之影响更为恶劣也。”

所谓“乡愿”，有似伪君子、好好先生，趋时媚俗，八面玲珑，令人无法举出事实来诽谤他,也找不到缺点来讥讽他，看似忠厚，实际没有一点道德原则的人。 前后两次，相隔七年，蒋用同一语词“乡愿”来评论蔡元培，可见对蔡“恶感”之深。

值得注意的是，蔡元培死后多年，蒋仍疑忌蔡氏在学术教育界“人多势大”。1944年8月4日，王子壮在日记中转录丁惟汾的话说：“北大虽在历史上有其成绩，但为蔡先生一手所创，社会上亦因其人多势大，呼曰学阀，中央研究院承其绪，蒋先生恐因此不欲扩充，非不注意科学也。” 也就是说，在蔡死四年之后，蒋仍因忌惮蔡的声威余绪而不愿中研院扩充发展。

吴稚晖和李石曾在教育界的地位虽不及蔡元培，但亦各自培植或袒护一股势力。罗家伦在1931年的一次访谈中即认为，教育的难办和学风的难以整顿，李、吴、蔡三老难辞其咎，他们对教育动辄干涉，仿佛教育部长之外，还有几位太上部长，尤以李石曾为最甚。 罗家伦的看法，倒也多少印证了蒋的说法。