中共从诞生之日起，中央机关多数时间设在上海。1926年夏，北伐军攻克武汉。张国焘在中央紧急会议上，提议中央机关应迁往革命的前沿和中心武汉，不要总在上海的亭子间对各地的革命和战争遥作书面指导。

鉴于形势的发展和需要，中共对湖北和武汉的工作更趋重视，调项英、林育南、罗章龙、聂荣臻等充实湖北区委；李立三、毛泽东、刘少奇、恽代英、张太雷等也陆续前往武汉；瞿秋白亦随后到达。但整个机关向武汉的迁移，却直到蒋介石在上海“清共”、陈独秀离沪才完成。

可不久，宁汉合流，汪精卫提出“宁可枉杀千百，不使一人漏网”，对中共实施更残酷的捕杀，中共机关在武汉难以立足。9月19日，中共中央在汉口召开临时政治局会议。由于政治局委员向忠发、彭湃、王荷波，候补委员周恩来、李立三、张国焘、毛泽东、邓中夏等均在外地，与会者只有瞿秋白、李维汉、苏兆征、任弼时、顾顺章、罗亦农六委员。会议决定中央机关迁回上海。月底，迁移的计划开始实施。

当时上海正处在血裹腥弥之中，中央机关为何偏要迁往这风声鹤唳之地呢？这主要是因为上海城市人口众多，成分复杂，流动性大，不查户口，租房方便，工厂店铺林立，水陆交通发达，加之中央机关在沪经年，有众多关系，特别是上海租界连片，华洋杂处，政出多门，军警分属不同系统的格局，都有利于党中央机关隐蔽活动。当然，还有一个重要原因：就是在当时多数中共领袖心目中，苏联革命模式的影响甚深，他们企盼着革命在一省或数省的首先胜利，而这种胜利是以筹策暴动夺取中心城市为标志的，他们的着眼点从未离开过城市。

中央机关有一套庞杂的班子，有负责会务的、有负责文秘的、有负责保卫的、有负责与各地组织交通联络的，需要大量的工作人员。上海形势超乎寻常的险恶，军警如林，暗探密布，稍有不慎，便会遭遇不测。一些意志薄弱的人颓唐甚至变节，而变节带来的直接恶果，就是中共领导人的被捕和某些机关工作班子被破坏。

1928年4月，何家兴、贺稚华夫妇叛变，中共中央政治局常委、组织局主任罗亦农被捕；1928年8月，戴冰石叛变，设在平凉中路西口的中共中央秘密联络点被破坏，十余人被捕；1929年8月，白鑫叛变，中央政治局委员、农委书记彭湃，候补委员、中央军事部长杨殷，中共江苏省委军委委员颜昌颐、邢士贞，上海总工会纠察队副总指挥张际春被捕，设在新闸路的中共江苏省委机关被破坏……