国民党的中央监察委员会在上海再度开会，成立一个委员会，执行清党任务。清党始于1927年4月12日。蒋介石军队进攻上海总工会，乘中共方面毫无准备之际使出杀手锏，用机枪扫射在工会机关和街头反抗的工人，把共产党工人纠察队解除武装，没收3000支步枪。次日，上海全市20万工人罢工，上海市总工会又在闸北青云路召开群众大会，会后，工人高呼“还我武装”、“打倒新军阀”口号，冒雨游行。游行队伍走到宝山路三德里附近时，遭遇反动军队的机枪扫射，上百名工人、市民当场毙命，伤者无数，尸横满街，血流成渠。

蒋介石心一狠，掉转枪口，白色恐怖笼罩了整个上海。以往意气风发的工人纠察队、地下党，转眼间失踪或被屠杀，许多共产党人和革命者成了“国军”的刀下冤魂。据统计，几天之内，共产党员和革命群众被杀者达三百多人，被捕者五百多人，逃亡失踪者五千多人。

国民党称这次血腥屠杀为“清党”，中共则称为“四一二”反革命政变或“四一二大屠杀”。第三国际原寄厚望于唐生智、冯玉祥和蒋介石较量一下。不料这最后的希望亦告落空，唐、冯倒戈与蒋联手，武汉政府随即解体。5月17日，蒋介石召集国民党中央政治委员会议，决定18日在南京成立国民政府，与武汉的国民政府分庭抗礼。

第二天，南京政府发布第一号令，“通缉共党首要”，包括共产党领导人、工农运动领袖和国民党左派人士及其他著名活动家共197人。蒋介石曾称为“亚父”的莫斯科的钦差大臣鲍罗廷等一百四十余名苏联顾问也被弄得一脸晦气，被列为“不受欢迎的人物”，于7月被驱逐归国。

对于突然出现的这次反革命政变的事前种种征兆，莫斯科却浑然不知，麻木不仁。即使有的领导人有所警觉，斯大林也把他们当作反对派置之不理。

中国接连传来坏消息，共产党人士在前线迭遭迫害，国民党持续右倾，托洛茨基和拉狄克对此首先起了警觉。托洛茨基首次公开主张，中共要和蒋介石及右派国民党完全决裂。然而，他依然认定，中共不能放弃左派国民党人主导的武汉国民政府，以及仍在武汉政府掌控下的国民革命军部队的支持。拉狄克立刻遵循托洛茨基旨意，要求中共和左派国民党人携手，从蒋介石及右派手中夺回控制权。到了3月底，拉狄克已大胆预测，蒋介石会对付共产党人，背叛革命。

1927年4月5日，即上海反共政变前一周，斯大林觉得有点被动，针对托洛茨基及其他批评者的抨击，觉得有必要做出回答，便对莫斯科的党部工作人员发表了谈话。他在这项没有公布的谈话中提起中国问题时说，国民党就“好像革命议会”，有左派、右派，也有共产党人。他反问：“当右派对我们有效用时，为什么要赶走他们？当他们没有用处时，我们就会摆脱他们。”“现在没有必要试图去驱除国民党右派。蒋介石是服从纪律的，共产党人需要国民党右派，在国民党右派中有能干的军事领袖。”接下来，他才讲出现在他对蒋介石的对策——“像柠檬一样挤干、丢掉”。

被蒙在鼓里的“中大”学生还在筹备隆重庆祝“五一”节，校园内到处悬挂着蒋介石、冯玉祥的巨幅画像。一幅更巨大的蒋介石油画肖像正在加班绘制中，准备到红场游行时，和马恩列斯画像同时亮相，表示对蒋介石的尊崇。