5月4日，是个星期天。上午10时，北大等13所学校的代表在法政专门学校继续开会，商讨下午游行示威的具体路线和办法，并推举北大的段锡朋、傅斯年担任天安门大会主席和游行总指挥。

中午过后，各校的游行队伍按计划走出校门，从四面八方浩浩荡荡地向天安门进发，下午1时左右陆续到达天安门广场。北京大学是这次游行的发起者，但其游行队伍却到达最晚。当他们在沙滩红楼操场集合准备出发时，遭到了教育部和警察总监派来的代表的阻拦。经学生代表邓中夏、黄日葵、张国焘、易克嶷等人据理力争，这两个代表被驳得无言以对。最后，学生们冲破阻拦，经北池子到达天安门广场。这时已是下午1时半了。

汇集在天安门广场的各校学生共有3000多人，他们手里拿着各种颜色的小旗，上面写着：“取消二十一条”、“还我青岛”、“宁为玉碎，勿为瓦全”、“诛卖国贼曹汝霖、章宗祥、陆宗舆”等等。前一天晚上谢绍敏用鲜血书写的“还我青岛”4个大字，也悬挂在天安门前，望之触目惊心，使整个会场的气氛更为悲壮。学生们有的喊口号，有的发表演讲，慷慨激昂，热烈异常。

北京政府教育部闻讯后，急忙派人赶来阻拦，被学生们严词拒绝。既而大总统徐世昌又命步军统领李长泰、警察总监吴炳湘先后来到天安门广场，要学生立刻解散。学生们见军警环立，怒不可遏，遂高呼口号，准备搏斗。军警见状，便撤回去报告了。

冲破军警的阻拦后，集会宣布开始。北大学生代表登上摆放在华表前的一张方桌，宣读了由许德珩事先起草好的《北京学生界宣言》。接着，各校学生纷纷发言，痛斥日本帝国主义的侵华罪行和曹汝霖、章宗祥、陆宗舆的卖国行径。在这次集会中，邓中夏、黄日葵、张国焘、高君宇等起了核心作用，北大学生许德珩、罗家伦、傅斯年、段锡朋等也都起了相当大的作用。

集会结束后，开始示威游行。沿途散发了由罗家伦用白话文起草的传单1万多份。游行队伍出中华门后，向东交民巷使馆区进发。当行进到东交民巷西口时，被中国巡捕阻拦。学生们遂派代表将事先准备好的英文《说帖》送往美国使馆。在送往英、法等国使馆时，遭到拒绝。被阻于东交民巷西口的3000多名学生，已在烈日下整整晒了两个多小时，如今又见在自己的土地上不能自由通行，个个义愤填膺，怒火满腔。于是，大家决定去找卖国赋曹汝霖算账。游行队伍从东交民巷西口往北走，经富贵街、长安街、东单，再往北折，经石大人胡同(今外交部街)、大羊宜宾胡同来到赵家楼曹宅门前。此时已是下午4时半了。

这天中午，大总统徐世昌在总统府宴请刚从日本归来的章宗祥，曹汝霖应邀出席作陪。席间，传来了学生示威游行和要求惩办卖国贼的消息。宴会结束后，有人劝他俩暂避一时，但他们却毫不介意地于下午2时半回到赵家楼曹宅。

愤怒的学生见曹宅大门紧闭，门前又有几十名警察守卫，更是怒火满腔。学生们一面高呼口号，一面与警察说理。几个学生乘机爬进去，从里面把门打开了。外面的学生见门已打开，便蜂拥而入。学生冲入曹宅后，首先进入前面大厅。见厅内空无一人，一怒之下，将厅内的一些家具抛出窗外。随后，穿过花园，进入内厅，碰上了章宗祥和一名日本记者。学生们见到章宗祥，怒不可遏，将他痛打了一顿。章躺倒装死，后在日本人的保护下逃到同仁医院住院治伤。

这时，曹汝霖躲进一小房(箱子间)，未被学生发现。寻不见曹汝霖，学生们气愤异常，有的学生在内宅放了一把火，顿时火光冲天，浓烟滚滚。随后，张国焘和几位同学让各校学生整队回校。于是，学生们渐渐散去。

曹宅起火半小时后，大批军警赶到，逮捕了尚未散去的32名学生，并派车把曹汝霖及其家属送往东交民巷的六国饭店。学生被捕后，受到虐待和凌辱。

5月4日晚，在军阀政府密谋对策的同时，北京各学校的学生也在开会，讨论如何营救被捕同学和继续坚持斗争的问题。蔡元培参加了北京大学的学生大会，他同情学生的爱国行动，但劝学生不要罢课，并保证全力设法营救被捕学生。北大学生没有采纳他的建议，决定联络各校学生实行罢课。当晚，北京大学学生干事会宣告成立，下设总务、文书、交际、会计、庶务、纠察、讲演等股，上百名学生骨干参加干事会的工作。张国焘被推举负责讲演部的工作。

5月5日，北京各大专学校学生实行总罢课。下午3时，各校学生又在北大法科礼堂召开了联合大会。北大学生干事会负责人段锡朋主持会议，并报告了上午各校代表会议关于营救被捕同学的办法，以及怎样坚持罢免曹、章、陆等卖国贼的要求。学生们情绪激昂，纷纷发表演说，慷慨捐款。北京十几所学校的校长也出席了大会，并且组成了以蔡元培为首的校长团，准备营救被捕学生。大会以后，北大和高等师范的代表共同起草了北京中等以上学校学生联合会的组织大纲，并和中等以上学校的代表进行了联系。

5月6日，北京中等以上学校学生联合会宣告成立。会内分设评议、干事两部，评议部负责决议事项，干事部负责执行议案。评议部的评议员由每校出两人担任，干事部则委托北大学生干事会代理。联合会的会址设在马神庙的北大理科。由于张国焘负责北大学生干事会的讲演工作，因此，事实上他也成了学生联合会中讲演工作的负责人。

北京学生罢课提出的要求，得到了社会各阶层人士的普遍同情和支持。社会各界一致反对北京政府逮捕学生、镇压学生爱国运动的行为。消息传到各地，举国震动。天津、上海等地的学生和社会各界纷纷发出通电，坚决支持北京学生的爱国运动，强烈要求北京政府释放被捕学生。

北京学生的罢课，全国各界人士的声援，使北京政府感到恐惧。而且“五七”就要来临，按照原来的计划，这一天北京和全国各地都要召开国民大会。在这种形势下，北京政府不得不考虑释放被捕学生了。5月6日晚，警察总监吴炳湘向蔡元培等提出，在实现两个条件下释放被捕学生。这两个条件是：（一）明日不许学生参加群众大会；（二）各校在明日一律复课。蔡元培等人完全答应了这两个条件。在蔡元培等的劝说下，学生们于5月7日晨复课。同日上午，被捕学生获释返校，受到各校师生的热烈欢迎。同学们情绪激昂，热泪盈眶。

被捕学生被释放了，但原定5月7日在中央公园举行的国民大会却被北京政府所阻挠，没有开成。5月7日这一天，在冷淡的气氛中过去了。就是在这种貌似平静的气氛中，北京政府却在酝酿着更大的阴谋，一是计划将被捕学生送上法庭，二是内定更换蔡元培的北大校长职务。5月9日晨，蔡元培在重重压力下，辞职出走，悄然离京去天津，不久又离津南下。

蔡元培被迫辞职出走的消息，犹如火上浇油，使学生运动之火越燃越烈。这一事件不仅使北大，而且使北京的学生运动掀起了更大的波澜。在蔡元培出走的当天，北大立即召开各校代表会议磋商，决定先以全体北大学生的名义呈请政府下令对蔡挽留。北大学生面见教育总长，北京中等以上学校学生联合会上书大总统和教育总长，要求明令挽留蔡元培并立即采取措施。同时，向全国各界发出通电，要求支援。北京的教育界和社会各界也积极进行了挽留蔡元培的活动，教职员会作出了“如蔡不留，即一致总辞职”的决议。

5月12日，北京政府仍无表示，北京各校学生和教职员的代表遂在北大召开联席会议，最后决议，次日向政府提出最后询问，如无满意答复，则一致总罢课。在学生们总罢课的威胁下，在社会各界的压力下，北京政府不得不让步了。5月14日，徐世昌以大总统的名义下达了慰留蔡元培的命令。在这种情况下，北京一些大专学校的校长开始复职了。

蔡元培南下以后，先到上海，然后又到杭州小住。徐世昌的慰留令下达后，北京各校教职员联合会也曾去电通知蔡元培，并派代表赴杭州面邀蔡回京。学生联合会也拟派代表一同去杭州。

徐世昌在被迫发表挽留蔡元培的命令的同时，也发表了挽留曹汝霖等卖国贼的命令。接着，又连下两道恐吓和镇压学生的命令。5月15日，曾经同情过蔡元培的教育总长被明令解职。5月16日，安福系的政客们开会，企图乘机垄断教育大权。所有这些，使学生们认清了北京政府的面目，激起了他们更大的愤怒。

在要求蔡元培复职斗争的同时，学生们要求在和约上拒绝签字的行动一刻也没有停止。5月10日，北京中等以上学校学生联合会通电全国，呼吁同仇敌忾，决不承认对德和约。同时，致电巴黎的中国专使，万勿签字。从这时起，北大平民教育讲演团在东、南、西、北四城讲演所连续进行讲演活动。5月11日的讲演题目有《青岛问题》、《痛史》、《青岛交涉失败的原因》、《争回青岛》、《国民现时应持之态度》等。张国焘参加了这次讲演，题目是《知识与快乐》。5月18日，讲演团又在四城讲演所讲演。讲演题目有《山东与全国之关系》、《青岛交涉失败史》、《国民快醒》、《青岛关系我国之将来》等。张国焘讲演的题目是《欧洲和会与世界平和》。5月25日，讲演团再次讲演，主要题目有《维持国货》、《国民的责任》、《经济侵略之抵御》、《抵抗强权》、《真正民气》、《争回青岛》等。这一天，张国焘讲演了两次，题目分别是《自卫》和《解放》。