5月30日，上海发生“五卅”惨案。全国各地和海外华人纷纷声援上海工人和学生的斗争。在此后的一两周内，国内的游行示威、罢工、罢课活动就达600多起。6月初，芜湖成立“芜湖国民外交后援会”声援上海，李克农、阿英担任该组织的负责人，并负责“外交后援会”宣传事务。后来，大批学生从教会学校退学，为了使这些退学的学生有书可读，使他们能够接受更高层次的教育，李克农与宫樵岩、钱杏邨等在大观山脚下创办民生中学。学校创办伊始，李克农担任事务主任，宫樵岩担任该校第一任校长。民生中学不但收容了被教会开除的学生，还培养了许多贫苦人家的子弟。

学校成立不久，钱杏邨因抨击时局，被军阀通缉，只身去了上海。

1925年9月，中国共产主义青年团江、浙、皖兼上海地方执委会秘书张秋人，从上海来芜开始建党，要求超龄团员转为中共党员，不久成立了芜湖第一个党支部，由张秋人担任支部书记，委员有王坦甫、周范文。1926年3月，中央总书记陈独秀召周范文赴上海，当面指示安徽建党工作。4月，周范文由上海回芜，将党团组织分开，正式建立中共芜湖特别支部（简称“芜湖特支”）。

钱杏邨在上海加入中国共产党后，受组织派遣潜回芜湖民生中学，准备策划武装起义。在钱杏邨的影响带动下，李克农也积极要求加入中国共产党。1926年冬，李克农经杨士彬、俞昌准介绍，光荣地加入中国共产党。

1927年3月，国民党芜湖县党部成立。李克农虽加入了共产党，他的公开职业却是国民党芜湖市党部执行委员兼宣传部长，没过多久又担任安徽省委委员。在此期间，他配合国民革命军北伐，从事进步活动，在当时有很大的社会影响。

4月12日，蒋介石在上海发动反革命政变。几天后，芜湖大批共产党员与进步人士被捕，有的被杀害。4月18日，芜湖国民党右派策划反革命事变，李克农事先获悉，及时通知同志们转移，使中共芜湖特支及共青团芜湖地方执行委员会主要骨干得以隐蔽。在反革命气焰十分嚣张的情况下，李克农等人潜往巢县，他成了敌人悬赏通缉的对象。

8月12日，蒋介石被迫下野，情况有所好转。11月27日李克农返回芜湖，恢复民生中学，并自任校长。他以民生中学校董事会主席身份主持校务，将此校办成中共安徽省临委的秘密活动点。根据党的指示，他在校内成立“济难会”，组织学生反对蒋介石和新军阀陈调元。