还在6月中旬拒签和约运动如火如荼地展开时，张国焘离开北京，去了一趟上海。

6月16日全国学联成立后不久，张国焘和几位同学来到上海，与先期来上海筹备全国学联的北京代表许德珩、黄日葵、段锡朋等人会合。张国焘到上海后，成为没有表决权的代表，并被安排担任总务方面的工作。但是，张国焘对这项工作并无兴趣。他回忆说：

我对全国学生联合会总务处的工作并不感兴趣，事实上也未正式就职。我所注意的是考察各地学生运动的实况。我发觉上海及各地学生会讲演方面的工作，赶不上我们在北京所做的。“到民间去”的风气很不普遍。为了要给各地同学一个榜样，我亲身在上海从事街头活动。我制了一些卖报的布袋子，发动同学们一齐去推销爱国书刊，进行像北京学生联合会讲演团一样的工作。我背了一个装满《每周评论》、《星期评论》等爱国书刊的袋子，到街上去一面叫卖，一面向市民宣传，晚间归来，有些代表们以惊奇的眼光笑着问我：“你这位社会运动大家的生意好吗？”我充满了自信向他们说：“成绩还不错。我们都要有这种到民间去的精神才好！”我这样做了几天，终于在南京路永安公司门口，受到一个外国巡捕的粗暴干涉，他不加警告的在我背后用力的一推，几乎使我跌倒。当我依然停在那里表示不服的时候，他竟做出要逮捕我的姿态。我为了不愿引起纠纷，以免妨碍全国学生联合会组织的进行，当时没有反抗就走了，也未将这件不愉快的事宣扬出去。但在我心中留有深刻的印象，是第一次尝到外国租界势力给予我的侮辱，使我确认反日之外，还要反对租界。

此时，被北京政府逮捕的陈独秀和北京学生联合会负责人尚未出狱。在上海的北京学生商量后认为，这是北京政府有计划地摧残北大的行动，并认为北京学联的领导也需要加强，于是决定要张国焘立即赶回北京，号召同学们坚决反抗。

张国焘回到北京后，在一次北大学生干事会的会议上被推举为北京大学学生干事会总务主任兼联合评议部主任，并被推举为出席北京学生联合会的代表。随后，又被北京学联推举为总干事。这时，正值暑假，学生中很大一部分都离开北京了。北京学联的情景也不像五四运动期间那样热烈。张国焘整天忙得不亦乐乎。他后来回忆说：

学生联合会经常工作的人员大为减少，并且换了一些生手，这样我的职责更加繁重了。我忙得至少有一个月没有回到自己的寝室去，疲倦了就在办公室的睡椅上躺一会，吃饭也在办公室里，日以继夜，每天工作十六小时左右。一切工作如主持会议、指导内部工作、对外通讯联络、营救被捕同学、沟通各校同学意见等等，我都做得十分积极，学生会的阵容因此又坚强起来了。这对我个人言，也可说是实习了一课领导工作。

为了同北京政府当局进行斗争，北京学联还同各校校长、教职员联合行动，提出不让教育受到摧残、挽留蔡元培校长、反对加害陈独秀和爱国学生的种种主张。在此期间，张国焘同李大钊的接触更加频繁起来。李大钊给张国焘以很大的帮助。他不仅提供了很多建议，而且对沟通学生和教职员、新闻界的联络，更是尽了很大的努力。

8月底，北京地方法院宣布正式开庭审讯被捕的北京学联负责人。开庭的那天，张国焘等组织了大批学生去旁听。最后，在各方面的压力下，法庭宣布各被告无罪开释。9月16日，被捕83天的陈独秀也被释放。在北大学生为他举行的欢迎会上，张国焘发表了热情洋溢的致辞。

这时，挽留蔡元培的斗争也取得了彻底胜利。此前，张国焘曾再度南下，迎接蔡返校复职。蔡元培推蒋梦麟暂行代理校长职务，张国焘和段锡朋遂拜访了蒋梦麟，表示欢迎。于是蒋即到北大，代理校长。经过北大师生、社会各界的不懈斗争和艰苦努力，蔡元培于9月12日回到北京。9月20日，北京大学开学这天，师生们在法科礼堂先后召开了欢迎蔡元培返校的盛大集会。

在这种情况下，张国焘认为运动已经结束，准备开始重理学业。但是，局势的发展出乎张国焘的意料，同反动当局的斗争远没有结束。随着各地惨案的不断发生，群众运动又不断掀起高潮。