张国焘在上海期间，广泛联络，参加一些政治活动。当时，直系军阀吴佩孚标榜同情民众反日运动，提出召集国民大会、和平解决国事、反对与日本直接交涉山东问题、国民筹款赎回胶济铁路等主张。上海民众团体曾召开盛大的国民大会，致电吴佩孚表示支持。张国焘等参加了这次大会。

张国焘还与在上海的国民党上层人士进行了广泛的接触。他同胡汉民、汪精卫、朱执信、廖仲恺、戴季陶、叶楚伧、邵力子等都有过接触，或经常前往拜访畅谈，或聚在一起高谈阔论。1921年1月的一天，张国焘等人还直接闯进了孙中山在上海的住处。孙中山会见了他们，并同他们就学生运动和民众运动、国民党人对民众运动的态度、南北政局以及如何进行反对北京政府的革命等问题，进行了长达3个小时的谈话。谈话中，张国焘给孙中山留下了较好的印象。又过了10天，孙中山约张国焘去单独会晤，主要谈了有关时局和如何开展工人运动的问题。

在上海期间，张国焘还同研究系的张东荪有过经常的接触。这时，张东荪正担任《时事新报》的总编辑。1920年春，研究系的首脑人物梁启超从欧洲回到了上海，张东荪约张国焘等人同梁晤谈。梁启超讲述了一番旅欧的观感，言语之间特别强调学术研究的重要性，并感慨自己20余年从事政治运动徒劳无功，表示今后对政治已无兴趣。他谈到自己有一个研究文化的大计划，希望青年学者给以帮助。张国焘等人则向他说明了被赶出课堂，无法安心研究学问，不得不从事反日爱国运动的情况，对他专心致力于文化工作的抱负，表示钦佩。辞别梁启超出来，张国焘百感交集，一方面感慨梁启超在政治上的进退失据，另一方面想到自己，虽一心想重理学业，可无法安心学习，天天疲于奔命。他陷入了内心矛盾的痛苦之中。

北京的情形不容许张国焘回去，只好继续留在上海。同孙中山第二次晤谈后，张国焘开始注意工人运动，并和上海各工人团体有过一些接触。其中有一个名为“中华全国工业联合协会”的组织，提出要张国焘担任该协会的总干事，全权整理会务，发展组织。张国焘经过一番考虑之后，便答应了。于是，这个协会的理事会正式任命张国焘为总干事。3月初，在有300多人到会的会员大会上，张国焘发表了就职演说。

会后，张国焘很热心地投入到协会的工作中去。他经常深入到工厂，了解会员的情况。通过调查，他了解到这个协会虽号称有1万多名会员，实际上不过是仅仅见诸名册而已，很多工厂只有几名会员，甚至有的会员根本就不是工人。张国焘十分失望，初期的热情也就逐渐减低下来。此后，他的职务虽然仍保留在那里，但事实上不常去办公了。

到了4月间，张国焘收到北京同学寄来的几封信，得知北京的情形已稍有好转，如果返回北京，大概已没有被捕的危险了。

接到来信，张国焘思绪万千，最后决意北返。后来，张国焘在回忆录中描述了这时的心理感受：

我检讨我这次南行的经过，北京学生联合会给我的使命和我自己认为要做的事大致都已做了。我和罗家伦虽然觉得我们的工作成绩不如理想，但我们已竭全力尽了责任。

五四运动中的一些共事的同学们多半已离开了学校。在上海的几位北大学生代表都已毕业，准备出国留学。罗家伦已结束了他的代表任务，在那里和各方要人及文化界的人士接触，准备不久到美国去。五四运动中的另一个要角，风流诗人康白情虽无代表的任务，也同我们一道活动。他曾在上海徐家汇一个花园里举办名震一时的踏青会，参加的青年男女二百多人。他为这种交际弄得有点神魂颠倒，几乎连到美国去深造的事都置之脑后。……此外，五四运动中的健将段锡朋、周炳琳等同学也先后赴美求学，路经上海，都曾和我朝夕相聚。只有我，在北大还有两年学程，照理自然应该即时北返。

这些同学们都对我说，我如回到北京，仍会受到黑名单的干扰无法安心念书；不如和他们一道出国留学。但我仍决定重回北大。我认为北京环境对我虽有困难，但求完成北大的学业总还有可能，而且多年相交的师友多数仍在北京，我和师友们所共建的学生运动和民众工作的基础，也使我有不忍放弃之感。

5月初，张国焘向中华全国工业联合协会辞去了总干事的职务，乘车北返。在离开北京4个多月后，他终于又重新回到了母校北京大学。