自那时起，金日成就抱定朝鲜不独立就不回国的决心。

此后，他就读于吉林毓文中学，并在此加入朝鲜共产青年同盟。1929年10月，因从事抗日活动，被中国东北地方政府逮捕，1930年5月出狱。因朝鲜共产党已于1928年被共产国际解散，金日成于1931年参加中国共产党并参加中共领导的抗日活动。

1931年冬，在中国东北义勇军王德林部队从军的金日成，率领一部分朝鲜战士脱离救国军，成立了汪清游击队。不久任汪清游击队改编的东北人民革命军第三团团长，在长白山区建立抗日根据地。1936年东北各地抗日部队整编为东北抗日联军后，他又在杨靖宇将军的第一路军第二军第六师任师长（该部回朝鲜境内作战时使用“朝鲜人民革命军”名义），同时创建祖国光复会。1937年6月3日晚至6月4日，金日成率所部第二军第六师第七团和师部共150人，在东北抗日联军第一路军总指挥杨靖宇将军所率第一路军主力的掩护配合下，跨过鸭绿江，奇袭朝鲜北部咸镜南道的日寇据点普天堡，并散发了《祖国光复会的抗日救国十大纲领》和《告朝鲜人民书》，在深受日寇欺凌压榨的朝鲜北部民众中造成了极大的政治影响，金日成也成为人们心目中的传奇英雄。

1939年5月，金日成再度率部返回祖国，深入青峰、枕峰、茂山、新四洞等地，并在大红丹一带歼灭日寇讨伐队一部。

1940年，东北抗日联军遭受严重损失，余部在第二路军总指挥周保中率领下退入苏联，金日成所率第一路军警卫旅和第二、三方面军各一部约200余人也随后进入苏联。抗联余部在苏联改编为“东北抗日联军教导旅”（对外称“苏联远东红旗军第八十八旅”），周保中任旅长，李兆麟任政治委员，另一位朝鲜爱国志士崔庸健任参谋长兼党内最高负责人——中共东北委员会书记。

金日成时任该部第一营营长，党内则为中共东北委员会副书记。

苏军出兵东北后，根据形势的发展，中共东北委员会进行改组，人员一分为二，朝鲜同志组成朝鲜工作团返回朝鲜，中国同志随苏军返回东北，由中国同志组成新的中共东北委员会，周保中兼任书记。朝鲜工作团负责人为书记崔庸健。

因崔庸健是原中共东北委员会书记，须向中共中央汇报和移交工作后才能回国。于是金日成率所部与患难与共14年的中国同志洒泪而别，跟随苏军先期返回朝鲜。同行的有后来成为朝鲜人民军高级指挥员的金策、金一、金光侠、崔贤、吴振宇、朴成哲、林春秋等人。