上海党组织是中国大地上的第一个共产党早期组织，成为中国共产党的发起组织和联络中心。上海组发起之后就创办了《劳动界》周刊，向工人进行马克思主义的宣传，是马克思主义与中国工人运动相结合的最早尝试。李汉俊正是这个周刊的主编。

李汉俊还负责帮助各地建立共产党早期组织，并担任联络工作。1920年夏，他写信给董必武、张国焘，希望武汉也建立共产党组织。董必武曾回忆说：“1920年，李汉俊这个从日本归国的学生，我的马克思主义老师，在上海帮助建立中国共产党，并到武汉来同我商量，我决定参加，并负责筹组党的湖北支部。”董必武的入党介绍人就是李汉俊和刘伯垂，也就在这年秋天，湖北党组织成立起来了。

1920年12月，陈炯明要求陈独秀到广州去办教育，陈独秀起身前，上海的工作就交给了李汉俊等人。李汉俊代理书记一职，负责全面领导工作，还和陈望道接受了《新青年》的主编工作。

上海社会主义青年团建立后，李汉俊参加培训团员，又到外国语学社教学，创办教育委员会，十分支持青年工作。教育委员会还选派了任弼时、刘少奇等优秀青年赴俄留学，培养了一批革命骨干。第二年年初，李汉俊又介绍沈雁冰入党。

1921年春，陈独秀正在筹备召开党的成立大会相关事宜，他起草了一份党纲寄给李汉俊，征求他的意见。李汉俊对其中一条“集权制”的规定十分不满，本来他就反感陈独秀的家长制作风，看到这一条就断然否决了，按他的意思，最好是搞分权制，这给二人的关系投下了阴影。

1921年7月23日，中国共产党第一次代表大会在上海法租界望志路106号李汉俊和胞兄李书城的家中召开。李汉俊和李达作为上海的代表出席了这次大会。7月25日、26日休会，由李汉俊、董必武、张国焘、刘仁静起草党的纲领、工作计划和成立宣言。会议结束后，由李汉俊和董必武共同起草了大会向共产国际作的关于中国情形的报告。