当年8月13日，在北伐于淮河流域进展不利，政府在上海的集款遇到困难之后，蒋介石辞去了他的总司令职位。1927年7月，张宗昌夺回徐州，孙传芳发动进攻以重占长江下游。在国民党内部，蒋受到广西派李宗仁和白崇禧的反对，这些人没有拒绝他1927年8月12日向军委提出的辞职。Wilbur，TheNationalistRevolution，p 682。他在家乡溪口待了一段时间，于1927年9月途经上海准备去日本作战略性流亡。当戴笠得知他的老上司在法租界时，便去敲蒋的大门，自愿为他当保镖。蒋介石显然没有认出他过去的学生，所以戴笠得自我介绍说：我原是黄埔的学生，现在来照顾校长的安全。章微寒：《戴笠与“军统局”》，第82页。这之后不久，蒋于9月28日去了日本。他在那里既说服了宋夫人让他娶她的女儿，又与日本首相田中义一达成协议，后者同意帮助他与共产党作战，但同时敦促蒋集中其势力于长江以南，而把北方让给张作霖和他急躁的日本专家们。当时，反日游行示威在张作霖谨慎的默许下举行，而南京政府也正在大声抗议纽约花旗银行和摩根公司给由日本人经营的南满铁路公司贷款3，000万美元一事。McCormack，ChangTsolininNortheastChina，pp 239—241。

与此同时，蒋在军队的主要劲敌唐生智在其他将军们的胁迫下流亡日本。汪精卫企图在广州召开第四届中央执行委员会全会。失败后，汪答应与蒋介石在上海会面，并讨论有关和解的可能性。在李济深被赶出城，张发奎与陈公博等汪精卫的其他拥护者们自立政府以后，汪精卫在11月7日采取了“护党救国”的行动，巩固了他的地位。章微寒：《戴笠与庞大的军统组织》，第280页。但他在全国的影响却削弱了，因为党内如胡汉民和吴稚晖这类元老对他表示鄙视。自然，蒋介石的地位就相应地增强了。11月下旬，国民党领导们在蒋位于法租界的公馆里举行会谈。尽管会谈在1927年12月10日以了无结果而休会，但汪精卫被迫邀请蒋介石重新担任总司令的职位。会谈一结束，广州公社便在12月11日爆发了起义，结果是汪精卫丢失了在广东的基地，而蒋介石则于1928年1月4日回到南京，开始重建他的军事联盟。5天以后他重获原来在国民党政府中的最高统帅地位。Wilbur，TheNationalistRevolution，pp 686—696。

在蒋介石再次成为总司令，并由宋子文任财政部长以后，蒋显然想要利用这个新机会，尽可能地来铲除他在国民党内的敌人，并重组某些省一级的党委。1928年2月2日，在没有共产党和汪精卫的支持者参加的情况下，国民党执行委员会第二届会议在南京召开。会议接受了蒋介石的提议，决定所有的宣传均以孙中山“全国重建计划”（这是在孙受到共产党影响之前提出的）为基础，以全国和解及双方合作的精神来取代阶级斗争的意识形态，在地方党组织解散之后重新登记党员，撤销在北伐中为统一战线而负责动员群众的各个部门（农民、妇女、青年、商人等）。新国民党只建立了三个部门：组织、宣传和党训。军委将由蒋介石委员长直接领导，而在军队内部将重新组织一个政治训练部，由戴笠的老资助人和朋友戴季陶领导。Wilbur，TheNationalistRevolution，pp 697—699。