21日上午9时，上海市民代表会议执委会常委召开紧急会议，决定由会议主席汪寿华宣布：3月21日中午12时起实行总同盟罢工、罢课、罢市，以响应党军对封建军阀之残余势力下总攻击。

当时，在上海的敌方兵力有警察2000人，直鲁军约3000人。起义力量方面有工人纠察队3000人左右，其中有武装的150人。

3月21日中午12时，总罢工按时实现。按周恩来预先所作的规定，四郊几处大工厂的汽笛同时长鸣。上海125万工人中，参加罢工的有80万人。罢工者按照计划涌向街头，一小时内赶到指定地点集合，然后举行同时的、到处的、突然的袭击敌人。在租界以外的七个区域里，少数武装工人在前，广大群众在后，起义开始了。陆续不断的枪炮声和群众激昂的口号声交织一起，震动了整个大上海。复旦、暨南、同文、南洋、光华、上海大学等20余校学生罢课后，有1270多名学生，组织254个宣传队，到南市、闸北、江湾、吴淞、公共租界等地区进行了大规模的宣传。有些学生还直接参加了战斗。

在前线负责指挥的是周恩来和赵世炎。

前线总指挥部设在宝山路横浜桥南的商务印书馆职工医院内（横浜桥是一条马路下很小的桥，架在污水河上；这个职工医院现仍是医院）。当天清晨，周恩来和赵世炎一起来到总指挥部。据当时在场的人回忆，周恩来穿了一身灰布棉袍，头戴一顶鸭舌帽，围了一条深灰色围巾，西装裤子黑皮鞋，完全是一个地下工作者的形象。他在总指挥部的西厢房里，因为忙碌，反而不显紧张。桌上摆了一张上海市区的大地图，赵世炎和他不时伏下身子，指指点点地商量着。房门不时被推开，外面进来的联络员有请示的，有汇报的，个个形色匆匆。“世炎，你在这里盯着，我到现场去看看。”门外停了一辆汽车，周恩来坐上去，往返于火车站、东方图书馆、商务印书馆三路，指挥战斗。