血染苏区张国焘在莫斯科一住就是两年半，直到1931年元月下旬，他才与夫人杨子烈奉命返回上海。在此前刚刚召开的六届四中全会上，张国焘当选为中央政治局常委。

六届四中全会后，中央为了加强对苏区的领导，决定向各根据地派遣中央代表、中央代表机关或新的领导干部，如《中央关于苏维埃区域党的组织决议案》称：“中央局或中央分局是代表中央的，他有权可以改正和停止当地最高党部的决议与解散当地党委，当地（当地党委）错了的时候。”可见这些中央代表权力之大。

当时共产党在全国建立了十几块革命根据地，比较有实力的根据地主要有江西井冈山根据地，鄂豫皖边区和湘鄂西边区。中央决定在鄂豫皖和湘鄂西两区分别设立中央分局，主管军事的常委周恩来向张国焘征求意见：

“鄂豫皖和湘鄂西两边区都很重要，特立同志，你准备去哪个边区任职？”

“湘鄂西那边，已经有夏曦、关向应主持，就不要变动了，我以前当过湖北区委书记，对那边的情况比较熟悉，我去鄂豫皖吧。”

“那么你挑选几位同志同你一同前往吧。”周恩来又说。

“沈泽民和陈昌浩。”

当时沈泽民已经在前不久被派往鄂豫皖苏区工作，张国焘与陈昌浩于4月1日一起离开上海，于4月中旬抵达鄂豫皖苏区，此时正值苏区红军进行第二次反“围剿”激战中，张国焘随即赴皖西参加到领导红四军对进犯敌军陈调元部的反击之中。这是张国焘到苏区后第一次参加指挥红军作战。

5月末，红四军彻底粉碎国民党发动的对鄂豫皖根据地的第二次“围剿”。5月中旬，中共中央鄂豫皖分局、鄂豫皖省委正式成立，并根据中央指示改组鄂豫皖革命军事委员会。张国焘、陈昌浩、沈泽民、曾中生、邝继勋等11人为中央分局委员；张国焘、曾中生、旷继勋、徐向前、沈泽民、陈昌浩等七人组成军委会，张国焘任分局书记兼军委主席，曾中生、邝继勋任军委副主席，沈泽民任鄂豫皖省委书记。

随后，对红四军领导干部作了调整，邝继勋仍继续担任红四军军长，原鄂豫皖特委书记曾中生任红四军政治委员，下辖第十、第十一、第十二、第十三师。

为了树立第一把手的威信，张国焘新官上任三把火，首先抓了当时最为紧迫的粮食问题，同时整顿和扩编地方武装，动员群众拥军参军，做了一些卓有成效的工作，推动了红军和鄂豫皖根据地的发展。

蒋介石对鄂豫皖第二次“围剿”失败后，调整兵力，对江西苏区进行第三次“围剿”，对鄂豫皖苏区暂取守势。在此情况下，中央分局扩大会议在讨论战略行动方针时出现了“东进”与“南下”两种意见。

由于中央给红四军下达了援助江西革命根据地反“围剿”的任务，张国焘只好放弃“东进”的意见，同意红四军领导曾中生、许继慎、徐向前等人“南下”的主张。但就红军南下的具体方向问题，在7月上旬鄂豫皖中央分局、军事委员会再次召开的会议上，双方再次产生分歧。

张国焘认为，既是援助中央根据地，就必须攻占国民党占领的大城市，因此提出打英山，攻潜山，出太湖，进逼安庆（当时的安徽省府），威胁南京的战略方案。