到上海后，李克农很快与与钱杏邨取得了联系，并将组织关系转到春野书店支部。春野书店支部由瞿秋白直接领导，李克农通过春野书店与上海的地下党组织接上了关系，在“春野支部”过组织生活。刚来上海的这段时间里，李克农主要从事文化教育工作，与地下党员潘汉年等人一起，参与党在上海的一些小型报纸的创办。如他与潘汉年一起，创办了《铁甲车》小报。当时条件很差，但他们干得非常开心。

1928年冬，他被调到中共沪中区委，担任宣传委员，继续从事文化工作。他遵照党的指示，经常上街撒传单、贴标语，搞“飞行集会”等活动。

早在1928年2月，在蒋介石授意下，国民党成立了中央组织部党务调查科。这实际上是国民党的一个特务机构，是中统（CC系）的前身。开始的时候，党务调查科的工作对象主要是帮助蒋介石扫除异己势力，夺取国民党最高领导权。当蒋介石当上国民党军事委员会委员长和兼任国民政府主席后，党务调查科把目标转向了共产党。到了1929年冬，国民党为了控制局势，着手建立秘密特务组织。

时任国民党中央组织部党务调查科主任的陈立夫，为了迎合蒋介石“剿共”的需要，计划在党务调查科的基础上，建立一个秘密侦察、审讯的特务机关，对外名称是“中央俱乐部调查科”（后来改为“中统”）。陈立夫把这件事交给他表弟徐恩曾来办，任命徐恩曾担任调查科主任，同时兼任上海无线电管理局局长。

徐恩曾这人曾留美学习电气工程，但对如何建立特务机关当时还是个外行。于是就找到他的浙江湖州同乡、当时在上海无线电管理局任秘书的钱壮飞说：“陈老板让我出任中央组织部调查科科长，招兵买马，扩充机构，专门对付共产党。我此次去南京任职，需要一个得力助手，我想带你去，做我的机要秘书，你愿不愿意？”钱壮飞表示要考虑后再答复他，实际上他是要向党组织汇报此事。

李克农与胡底早就认识，经胡底介绍，李克农又认识了钱壮飞。后来被称为“龙潭三杰”的三位中共情报英雄，此时聚在一起。钱壮飞说：“现在上海无线电管理局正在扩大人员，为建立国民党特务机构作准备。目前缺少广播新闻编辑，要向社会公开招聘。”三人研究认为，这是打入敌人内部的绝佳机会。李克农当即表示，他会迅速通过在上海的中共江苏省委向党中央报告。他自己准备报考无线电管理局，在国民党特务机构中建立共产党的组织。

接到李克农的报告后，中共江苏省委将此事上报了中共中央。

两天后，江苏省委的同志通知李克农，中央对他的意见进行了认真研究，决定让他和胡底、钱壮飞一起打入国民党特务机构中去。根据周恩来的指示，他们三人成立一个党的特别小组，由李克农任组长。同时，中共中央批准钱壮飞可以随徐恩曾去南京。