芜湖有个青帮头子叫马玉伯，在北伐军进入芜湖后，迫于形势装出革命姿态，拿出一部分钱财支持新成立的国民政府，暗地里却与国民党右派勾结，想借机称霸芜湖。为了掌握他的动态，也为了掩护身份，奉中共芜湖特支指示，李克农与钱杏邨打入芜湖青帮组织，建立关系，探听消息，进行革命斗争。

一天晚上，李克农和钱杏邨备了一份厚礼，到马玉伯家登门拜访。因为李家与马家早就有联系，马玉伯显得非常热情。当李克农与钱杏邨表示想加入青帮后，马玉伯接收了他们。接下来，李克农与钱杏邨在马家灵牌前烧纸行礼，以示入门为弟子，马玉伯则在一旁还礼。仪式结束后，马玉伯请他们两人坐下来喝酒，对他们加入青帮表示欢迎。

此后的一段时间，马玉伯对共产党人的态度有了缓和，但不久由于形势的变化，他又彻底倒向了国民党右派一边。尽管对马玉伯的工作没有最终取得成功，但这是李克农第一次尝试“打入”对手内部开展工作的经历，为以后的潜伏工作积累了初步经验。

1928年1月27日，芜湖国民政府公安局围捕“济难会”负责人王绍虞等40余人，大肆逮捕共产党。1月28日清晨，军警包围民生中学，进行搜捕。李克农打算去民生中学安排撤退，但快到校门口时见国民党军警已包围学校，只得赶紧化装潜往上海，他走后遭到国民党安徽省政府省长陈调元下令通缉。

李克农直奔火车站，准备乘火车到南京再去上海。没想到刚出下关车站，又碰上国民党士兵在抓人。原来，南京也在通缉李克农。他见情况不妙赶紧回身逃走，士兵在后面紧追。跑到一个路口时，李克农与一辆人力车相撞。车上的人认出了他，把他拉上人力车，并让车夫拉上他快跑。这个救他于危急之中的人，是曾在芜湖民生中学当过体育教师的国民党上校军官王振武。王振武思想进步，了解情况后将李克农带到第六军驻南京办事处躲避风头。身为暂编第六军政治部主任的王振武，安排李克农暂时在政治部担任中校秘书。后来局势稍微平静时，他护送李克农乘火车前往上海。因为这事，王振武被国民党革去了官职。