为了加强对日益高涨的工人运动的领导，统一上海各工会的组织，党中央决定成立上海总工会。早在5月2日，李立三就根据党组织决定，召集24个团体代表开会，组成了上海总工会筹备会。5月18日又在会文路荣业里开筹备会成立大会，通过了工会章程，选举李立三为会长的筹备董事会。24日左右，总工会在宝山路开始活动。

31日，李立三与总商会谈判结束，迫使其签了罢市令以后，根据党中央的决定，连夜在宝山路又召开了各工会代表会议，宣布代表21万工人的上海总工会正式成立，夜11时推选出李立三、刘华、孙良惠、杨之华等为上海总工会委员，公推李立三为委员长，刘华为副委员长兼组织部主任，孙良惠为宣传部主任，杨之华为女工部主任。随后，刘少奇到上海，也参加了总工会的领导，任总工会总务科主任（相当于秘书长）。上海总工会的成立，标志着上海工人运动从分散的状态开始转向集中的有组织的活动，也再次把李立三推向了代表上海数十万工人进行生死斗争的第一线。

上海总工会公开成立后，就在宝山路宝山里公开挂牌办公。它的第一道命令便是号召上海工人为反抗帝国主义大屠杀，实现全上海总同盟罢工。6月1日下午，上海总工会发布《告全体工友书》，呼吁“从6月2日起，上海全埠各业工友，全体一致罢工！报仇雪耻！反抗残暴杀人的外国强盗！”

为了指挥这次大罢工，总工会先后设立了30个指挥点。

根据党中央的决定，李立三为进一步加强上海各界反帝统一战线，又在6月4日以总工会名义推动召开了各界团体联席会议。大家公推李立三主持会议，研究“三罢”期间的统一行动问题。决定成立上海工商学联合会，统一领导上海的反帝运动。6日，李立三根据中央决议，在工商学联合会提出同帝国主义交涉的17项条件，包括4项先决条件和13项正式条件。先决条件是：⑴宣布取消戒严令；⑵撤退海军陆战队，并解除商团及巡捕之武装；⑶所有被捕华人一律送回；⑷恢复公共租界被封及被占据之各学校原状。正式条件是：⑴惩凶；⑵赔偿；⑶道歉；⑷撤换工部局总书记鲁和；⑸华人在租界有言论、集会、出版之绝对自由；⑹优待工人；⑺分配华人任高级巡捕；⑻撤销印刷附律：加征码头捐、交易所领照案；⑼制止越界筑路；⑽收回会审公廨；⑾解决工部投票权案；⑿取消领事裁判权；⒀永远撤退驻沪之英、日海军陆军。这17条得到会议一致通过，并公推李立三、林钧、梅电龙为交涉代表。这样，上海总工会实际上成为上海各界群众的中心力量。

李立三在整个五卅运动中，以上海总工会委员长和上海工商学联合会代表的身份，公开领导推动和交涉全上海的反帝运动，成为各方面十分注目的人物，使得“一切公开场合都由李立三出面讲话”。

上海的“三罢”斗争风起云涌，反帝爱国运动热火朝天。

上海学联在五卅运动中是共产党的得力助手。各校几万名学生纷纷罢课，发表宣言，通电世界各国，公布五卅惨案真相，呼吁各弱小民族予以援助，积极开展募捐和抵制英、日货活动。

总商会的罢市令下达后，上海各租界内各行业都投入了罢市洪流。各马路、各公司、各商店，乃至交易所、银行、钱庄、报关、转运、保险、粮食、杂货、糖业、肉食、渔业、菜场、煤炭等等，莫不店门紧闭，一律停止营业。声势之大，前所未有。“武装西捕，至南京路等处强迫开市”，“拍桌漫骂”，也无济于事。

整个五卅政治大罢工，来势汹涌，席卷各行各业，气势磅礴，且步调整齐，目标一致。为外国人服务的中国人都不干活了。面包厂停业，清洁工不清除垃圾，码头工人不装卸，报童不送报，自来水工人不送水，厨师、侍者、奶妈、洗衣工、电报工都不干活，完全打乱了日常生活秩序，使帝国主义控制的上海全部瘫痪，给帝国主义者以沉重打击。正如日本驻沪总领事矢田在6月19日致电日本外相币原所说：“不仅英、日两国，即其他各国亦感受非常之痛苦。”罢工使帝国主义者承受了巨大的经济损失。英国海外部1926年6月30日写的该部在华工商经济情况报告中说：“五卅运动对英国工商者造成的损失究竟有多少？那是无法估计的。”

帝国主义者面对“三罢”斗争，继续采用屠杀政策，自五卅到6月10日止，又枪杀60余人，重伤70余人，轻伤不计其数。为此，罢工委员会不得不决定改变斗争策略，不再发动工人学生到租界演讲，同帝国主义者发生直接冲突，而努力建立广泛的反帝统一战线，把五卅运动推向全国、全世界。长城内外，大河上下，各大、中城市，以及穷乡僻壤的乡镇，都掀起反帝爱国运动，席卷大小城镇600多座，有1700万中华儿女直接投入斗争，“开创了中国人民反帝斗争史的新的一页”。

由于仅上海一地参加罢工的工人就达20多万，没有经济上的救助，要坚持罢工是非常困难的。李立三与总商会商量，登报或直接致电各大商埠、国外侨商和国际组织，呼吁劝募。通告发出后，先后有近100个国家和地区的侨胞和国际无产阶级组织的捐赠源源而至，据统计达到元，给五卅运动以有力的支持。这些捐赠由上海总商会负责收集，再由各工会办事处分发给参加罢工的群众。救济费支出浩大，而总商会为了破坏罢工，又从中克扣渔利，经常拖延，不及时发放。“李立三不辞辛苦，多方奔走，经常要为此事到总商会直至到会长虞洽卿家去谈判，一直坚持到复工为止。”