和上次一九二七年下野一样，蒋介石在一九三一至一九三二年的冬天于溪口赋闲，不久就接到黄埔系将领函电交驰，宣称仅肯接受他的命令，又说自从他下野，就再也没收到支付部队粮饷的资金。政府主要岁入来源是关税收入，东北一失，关税流失占了全国海关总税收的百分之十五。中央政府虽换由孙中山之子孙科领导，各省扣住盐税不肯上缴。工商组织、民间团体甚至一些青年社团现在疾呼总司令回任。蒋亦获悉，莫斯科继释放蒋经国之计，又向南京提议恢复外交关系。蒋可以肯定斯大林企图增强国民党内反日派的声势，而又不明白蒋的真正立场。

一九三二年一月蒋在溪口武岭学校的一篇演讲，经上海等地报纸刊载。他重申政府“坚持不屈服，不订损共国权之约”。但是，他也警告，鉴于当前国家实力和精神，不宜轻举妄动，否则“战败之国未有不失地，未有不丧权者”，结果势必“斲丧……中华民族之命脉”。他的话引起当家负责的同志共鸣。固然南京政府当权派只有少数人喜欢蒋，而广州那一伙更没人喜欢他，他们不情愿地接受，在此一危机下，他毕竟是不可或缺的人物；一个月之内，他们投降了。一九三二年一月，蒋和汪精卫在杭州会面，协议由汪精卫取代孙科出任政府首脑，蒋回任军事总司令。

此时，和日本的危机已转移到上海，在上海每天都有暴力的反日事件发生。6一月底，日本一支陆战队以保护侨民的名义在上海登陆。当蔡廷锴的第十九路军向日军开火时，日本出动飞机轰炸上海，杀死许多平民。蒋亲自负责全面调度指挥军事行动，通电前线士卒誓死御敌。同时，他下令在河南省洛阳设立临时首都，以示政府决心持久抗战。日本急派更多部队和军舰，使得全市日军高达五万人。杜月笙也派出青帮狙击手在敌后攻击日本人。

根据蒋的说法，他警告蔡廷锴，敌军可能从长江南岸的浏河国军防线后方登陆。蔡未能派出部队守住此一地区。三月一日，一万名日军乘船溯长江抵达浏河。打从战事开始，中方部队就有四千人阵亡、七千七百人负伤，再也抵抗不了，全部退出上海。中国报纸、学生团体、宗亲会、寺庙和商业团体，无不主张全面抗日，但蒋批准局部停火，在城的四周划出中立区，国军不准进入。这个协定，和其政府与日本的一切协议相同，不由汪精卫或他本人签署；在他们眼里，协议因此是非官方的文件。三月，蒋就任军事委员会委员长及总参谋长。

由于日本攻击上海中国管辖区使得政府不遑兼顾，中共分散各地的苏区乘机快速发展。毛泽东在江西的苏区规模最大，涵盖三十个县、三百万人口；其次是张国焘的鄂豫皖边区。国军针对鄂豫皖边区发动两次围剿都以惨败告终，在淞沪战事冷却下来之后，蒋于一九三二年四月集结约四十万部队再次进剿，这次包围中兴建同心圆的碉堡步步进逼。张国焘发觉自己寡不敌众，且即将被彻底包围，遂率领鄂豫皖边区大部分部队突围，往西边的四川撤离，历时四年，其实比毛泽东的“长征”更壮观。一九三二年六月，蒋在一项军事会议上讲话，宣称中共的根基就是国民政府机器的无能和贪腐……如果我们这次（围剿）不能取得决定性的胜利，将有大麻烦，因为政府不能既抗日而后方遭人攻击。但是一九三二年和一九三三年初针对江西共军的围剿之役又失败，且损失惨重，数以千计的武器被共军抢走。一九三三年五月，蒋指挥第五次围剿战役，采纳对付鄂豫皖边区的战术，集中力量兴建碉堡网，逐步围拢。这次他召集了八十万大军，大部分投入在扩建、补给和维护碉堡网，它们则受到机关枪交织火网的保护。双方损失皆以千计，但是到了一九三四年，作战区盖了一万四千座碉堡，修了近两千五百公里的新道路，提供对共军地盘的有效封锁。