蒋确认在军事上、政治上都有必要维持北伐的动力，遂派出最可靠的部队跨过长江，继续北伐。效忠他的第一集团军和靠得住的第七集团军再度打头阵，不久，三路部队已占领苏北大部分地区。

上海清党之后，蒋在日记的每日反省内容已变成：“叛逆未灭，列强未平。”汪精卫领导的国民党左翼和中共之同盟仍在湖南、湖北和江西三省有些微势力。但是，这些地区对武汉政府的支持开始瓦解，因为共产党不分青红皂白在乡村展开斗争，激起民愤。湖南左倾的国民党将领唐生智某天午夜在长沙发动对共产党人的血腥突击。反共的屠杀很快就散布到湖南其他县份，并波及到湖北、江西。蒋满意地注视这些发展，他也极可能躲在幕后操纵了一切。

中共的重挫使得斯大林难堪，激使他发电给鲍罗廷以及刚派到武汉的共产国际代表罗易（M.N.Roy）。斯大林下令共产党人占领中国农村土地，“换下摇摆不定的国民党领导人”，铲除“不可靠的将领”，并组建一支七万人的革命工农部队。这些任务一点也不实际，当中共领导人读到指令时“啼笑皆非”。罗易也不知怎么想的，居然向汪精卫出示电文，使汪骇然发觉苏联打算清除武汉政府的非共人士。他告诉了冯玉祥，冯也紧张起来，设法要和蒋介石会谈。

六月十九日，蒋率若干将领在上海西北方四百多公里的徐州火车站恭候冯玉祥。他们穿军礼服，腰间的佩剑也笨拙地晃来晃去。为示隆重迎接贵宾，军乐队也来了。冯的“花车”缓缓开进月台，迎宾队向车厢张望，只看到几个穿制服的仆役。仆役指指专列后头的车厢。蒋终于透过车门见到一个穿破烂制服的高大汉子坐在地板上。待列车停稳，这名军人起身离开车厢。蒋问：“冯司令在哪儿？”这个汉子笑答：“我就是冯玉祥。”军乐队奏乐，冯一一和众人握手。

冯、蒋两人有许多共同的地方：两人都有左派观点，也都接受苏联大量军事援助；两人都有小孩在莫斯科——事实上冯有两个子女在苏联；冯是基督徒，蒋日后也信奉基督教；最重要的是，两人此时都将中共和苏联视为大敌。会谈结束，达成完整的协议。由于蒋此时有中国大型银行的“贷款”、捐款的门路，又有鸦片税收，他答应每个月给冯两百万（中国）银元的津贴；远比武汉答应给冯的数额高出许多。

冯回到郑州总部（郑州位于武汉北方约三百六十多公里），立刻下令驱逐——有些地方是枪毙——他部队中的共产党员。二十五岁的邓小平，先后在巴黎和莫斯科念过书，此时在冯部担任政工，仅以身免。山西军阀阎锡山原本依违于南京、武汉和北京之间，听到冯清共，也宣告支持蒋，追拿山西省内少有的共产党人。

北洋军阀孙传芳却让国民革命军在徐州吃了败仗。蒋坚持亲自领兵反攻，却惨败，军队后撤到长江北岸。蒋满脸胡髭、风尘仆仆于八月五日回到南京，对于战败大发雷霆。他下令枪毙前敌指挥官王天培——通常只有未奉命令、敌前撤退的将领才会受到如此严惩。私底下他写下战败的原因之一是他自己“轻敌”。