“四老”之中，吴稚晖最受蒋尊崇。蒋日记中，常见敬佩“稚老”之词。 蒋在日记中“骂人”无数，而吴氏大概是极少未被蒋骂过的人物。在南京政府初期，“关于政府的大计，事很少没有和他商量过的，而他的主张往往占最后的胜利。” 但1931年以后，蒋主动征询吴氏意见的机会也日见稀少。直至抗战后期，这一局面才有所改观，但已不复南京政府初期的情形。

张静江与蒋的关系，原本非同恒泛。蒋日记中曾有过“厚如静江，亲如膺白”之评语。 据罗家伦称，张氏意气很盛，“对于蒋，有时候也会吵到拍案子地步的，蒋常避其锋。” 时间长了，蒋亦渐感不耐。 1929年以后，蒋逐渐冷落了张。

戴季陶与蒋交谊深厚，但戴胡私交也不错。1931年汤山事件发生后，戴受绝大刺激而趋于消极。据罗家伦说，胡汉民为反对蒋介石制定约法，致电陈济棠，叫他公开反对，并准备军事。陈将胡电给戴看，戴又将胡电内容转告蒋。不料引出胡案来，戴甚感难堪。 从此蒋戴关系趋于疏离。王子壮日记中对此亦有说法：“戴先生为蒋先生至交，……戴胡私交亦密，因蒋胡之冲突，戴先生极难处，乃逃于佛，时以念经，减少烦闷，对胡事件虽告解决，二人间关系不免较疏。” 汤山事件以前，蒋政治上有何兴革，常会征求戴的意见。 汤山事件以后，“二人除公事接洽外，无私人往还，戴先生谓只拜年之际，一谈所见，是知过从之疏也。” 直到1944年以后，蒋戴关系才有所“回暖”。

应该说，1931年汤山事件，是引发一批党内老同志与蒋疏离的重要契机。蒋介石日记称：“党中文人重于私情，忘却公义，以余今日为对不起展堂，有伤友朋之情。” 戴季陶之所以感到难堪，亦是觉得自己的行为，违背了“友道信义”。如同1925年廖案时汪对胡、1926年中山舰事件时蒋对汪一样，此次汤山事件蒋对胡的拘禁，再次被党内文人以“有伤友朋之情”相责。尤其引发一批粤籍元老的强烈反弹，最终导致蒋介石第二次下野。

蒋下野后，总结自己失败的原因说：

今次革命失败，是由于余不能自主，始误于老者，对俄、对左皆不能贯彻本人主张，一意迁就，以误大局。再误于本党之历史，允纳胡汉民、孙科，一意迁就，乃至于不可收拾。而本人无干部，无组织，无情报，……乃致陷于内外夹攻之境，此皆无人之所致也。

蒋将失败归因于“不能自主”，而为“老者”所掣肘，又是“不能自主”之首因。蒋自思反共以后，“一任所谓元老先进之摆布，对于外交财政皆不能坚持主张，又不培养人才，而一意迁就昔日之朽污”，深以为悔。

另一方面，蒋认为自己“无干部、无组织、无情报”，也是导致失败的重要因素。鉴此，蒋乃刻意培植新生力量，成立“力行社”，正是这一计划的重大举措。蒋是军人出身，虽凭藉黄埔建功立业，但在党内仍感无自己的核心干部和高效能组织。蒋将国民党的组织大权托付给他最为信任的陈果夫与陈立夫兄弟，但在应付党内反蒋派系的挑战和党外民众运动的过程中，二陈主导下的党机器显得疲软无力。 他时常在日记中流露出手下无人、求才不得的焦虑。