此后，张国焘有幸拜见了敬仰已久的孙中山，与之讨论了学生运动以及工人运动等问题。孙中山的抑郁不得志，让他感到国民党前途渺茫。此后张国焘受国民党人推荐，出任“中华全国工业联合协会”总干事，见识到国民党组织松懈涣散，其党员大多热衷于上层活动，忽视基层工作，求名利而不务实，内心十分失望与茫然。

恰在这时，北大文科学长陈独秀为躲避警察抓捕来到上海，李大钊在护送陈独秀到天津登船的路上，两人探讨了组织共产党的问题，相约分别在北京、上海组建共产党小组。

李大钊回京后即电告许德珩，请其为陈独秀安排住处。许德珩也是著名学生领袖之一，此时躲避在上海，他约张国焘为陈独秀寻找住处，陈独秀因此得知了这一消息。

见到陈独秀，张国焘眼前蓦然一亮，因为他从陈独秀身上看到了高昂的斗志，坚定的信念和百折不回的精神。陈独秀说：

“只有走俄国人道路，实行彻底革命，推翻军阀统治，中国才有出路"

虽然张国焘并不知晓李、陈相约建党之事，但陈独秀此时已经开始了筹建共产党小组的准备，从陈独秀的言行中，张国焘已体会到了一种与梁启超的改良派和孙中山的国民党全然不同的精神追求。

张国焘看到了希望，当年4月北京形势稍一好转，他便辞去“中华全国工业联合协会”总干事之职，立刻返回北京。

5月初，张国焘一到北京，立刻到北大图书馆看望李大钊，一见面，他便兴致勃勃地说：“我在上海四个月，最大的收获，就是与陈独秀先生的交往。”

“哦，快说说，是什么收获。”李大钊表现得兴趣盎然。

“陈独秀先生与李汉竣沈玄庐、戴季陶来往密切，他们十分推崇马克思主义学说。上个月，共产国际的人到上海会晤陈独秀先生，对陈独秀先生十分赏识，打算协助他在中国建立布尔什维克式政党，听说您对此事不是很赞成？”

“倒不是不赞成，只是觉得条件不够成熟。我与仲甫数月前已有共同建党之约，但我们对俄国革命和马克思主义学说的研究和宣传毕竟还很不够，我认为眼下最要紧的事，是研究和宣传马克思主义学说。”

“李先生说的是。”张国焘频频点头。

此后，张国焘致力于研究马克思主义学说，并在同学间大力宣传社会主义思想，却因此耽误了学业，老师们知道他的情况后，都心照不宣地给他的每科成绩打了及格分数。得到老师们的照顾，张国焘更是天天流连于图书馆，向李大钊请教、探讨、研究关于马克思主义学说的问题。

1920年7月，直皖大战一触即发，考虑到张国焘的安全，李大钊催促张国焘南下上海躲避战乱。临别时，李大钊叮嘱说：“到上海后，请务必转告陈先生，我虽然认为建党尚不成熟，但如若他做出具体计划，我会与他呼应的。”

张国焘到上海后，直接来到法租界环龙路老渔阳里2号陈独秀家中。陈独秀一见到张国焘，高兴得一下子从椅子上跳起来，紧紧握住张国焘的手，兴奋地说：“哈哈，雪中送炭！雪中送炭"

“我送啥了？”张国焘笑着问。

“把你自己送来了呀"陈独秀庄重地说，“我刚才还在想，特立要是在上海就好了，我现在正需要你这样一个得力帮手。没想到，你真的就到了！你就住在我这里吧，商量事情也方便。”

陈独秀向来直率，热情奔放，好恶喜怒全挂在脸上。张国焘深知陈独秀的个性，于是爽快地答应下来。陈独秀的房子一层一底，楼上陈独秀和妻子子女用了两间，另一间住着一位激进女青年王会吾。楼下一间是客厅，一间住着青年作家李达，另一间空着，正好作为张国焘的卧房。