李克农，祖籍安徽省巢县（今巢湖市），1899年9月15日出生于巢县一个小康之家。1910年以后，他们举家迁居到安徽芜湖市，李克农的青少年时代，大部分是在芜湖度过的。

李克农的父亲李哲卿（又名李道明）虽然接受的是旧式教育，但他知书达理，且为人正派，思想比较开明。李哲卿年轻时，曾在地方政府及海关任过职，积累了一定的家产。出生于这样的书香门第，使李克农从小受到较好的教育。他曾就读于安徽公学附小和圣雅阁中学，少年时代便受到民主革命思想的熏陶。他所就读的安徽公学，是革命党人活动的基地。在这里读书期间，他开始接受新文化，新思想，不仅接触到了《新青年》、《每周评论》等进步的书刊，还结识了陶行知、蒋光慈、恽代英等中共早期党员，受到他们的影响。

1917年，李克农来到北平，在北平的《通俗周刊》做发行工作。张勋复辟，被迫回芜。也是在这年，他娶了赵瑛为妻。

次年，在芜湖省立第五中学读书的蒋光慈与校外的钱杏邨、李克农等人组织“安社”（以英文“无政府主义”一词的汉语译音“安那其”为名），出版油印小报《自由之花》，猛烈抨击反动军阀政府。

1919年“五四”运动爆发后，作为安徽公学的一名学生领袖，李克农积极参加了芜湖学生运动。与高语罕、朱蕴山、钱杏邨（阿英）、宫乔岩等，常在科学图书社相聚，并给《皖江日报》撰稿。不久，李克农到安徽安庆市的《国民日报》担任副刊编辑，因反对苛捐杂税，被安徽省参议会议长晋恒履控告入狱。一周后经学生会等群众团体请愿，才获保释。

1920年李克农曾就任省政府秘书。第二年，赴安徽六安任县政府第二科科长。

鸦片战争以后，许多西方国家在中国开办教会学校，企图对中国人进行奴化教育。芜湖是教会学校较集中的地方，仅中学就有4所。1925年李克农回到芜湖。5月11日，圣公会中学学生因为拒绝参加祈祷，与校方发生矛盾，教会学校开除领头学生，导致该校与其他三所教会中学举行罢课，芜湖学生掀起反对帝国主义奴化教育学潮。李克农、钱杏邨等推举王稼祥等人作为代表前往省政府教育厅请愿，最后教育厅为学生办理了转学手续，学生取得初步胜利。