然而，随着时间的推移，冯玉祥却越来越清醒地看到，自己似乎陷进了一座深不见底的泥潭，而且越陷越深，更不知何日能够解脱。彷徨迷惘的他，分别与李宗仁、阎锡山、张学良多方联络，推动了一次又一次反对蒋介石独裁政权的活动，直至发动数十万兵力参与的“中原大战”。战争的结局，却完全出乎冯玉祥和他的支持者的预料。蒋介石运用重金收买和军事打击的双重手段，分化瓦解匆忙结合的反蒋势力，使整个局势急转而下，最终站稳了脚跟。而冯玉祥苦心经营二十几年的西北军，几乎全部溃散，大部被蒋介石所收编。

生活道路上的坎坷与挫折，并没有彻底击垮冯玉祥，而1931年“九一八”事变的发生，更使他重新振奋起精神。冯玉祥坚决反对不抵抗政策，于当年10月21日发表马电，提出13项抗日主张。12月，在国民党四届一中全会上，冯玉祥被选为国民政府委员。1932年初，他又被任命为内务部长。冯玉祥利用各种机会，大声疾呼抗日救国，反对对外妥协。

1933年春，已经侵占我东三省的日本侵略者，又将魔爪伸向了华北。冯玉祥义愤填膺，毅然从泰山赶往张家口，在中国共产党人的帮助下，集合旧部，组织起察哈尔抗日同盟军，于5月26日就任抗日同盟军总司令。原西北军骁将方振武、吉鸿昌等积极辅佐冯玉祥，察哈尔抗日同盟军很快发展到8万余人。同盟军连克康保、宝昌、沽源三城，而其收复察哈尔东北重镇多伦一役，更是声震中外，举国欢腾。然而，察哈尔抗日同盟军的发展，不但未能得到南京政府的支持，反而为当时的当权者所极力打压和限制。冯玉祥不得不再一次衔恨隐退泰山。

经历过种种艰难曲折之后，他认准了一条理，要想在这个世界上不走错道路，就必须认认真真地寻求真理。在泰山，他过的是读书生活。冯玉祥聘请李达、邓初民、陈豹隐、范明枢等著名学者，为他讲授辩证唯物主义、政治学原理、国际政治、中国社会问题，全面提升自己的政治素养。在他身边的工作人员中，有日后的北京大学教授吴组缃、中华书局编审杨伯峻、中国驻联合国安理会常任代表赖亚力、新中国外交部礼宾司长王倬如等一大批颇有来历的人。

这期间的冯玉祥，表面上看是隐居山林，淡泊名利，别无所求，实际上，他无时无刻不在关注国内外的时局变化，通过刻苦的学习和钻研中，总结以往的生活经历，追求更高的精神境界，企盼着为自己的国家和民族贡献力量。

周恩来曾经这样描述过冯玉祥将军的不平常的经历：“冯玉祥先生从一个典型的旧军人，转变成一个民主的军人。他经过曲折的道路，最后走向了新民主主义的中国。”

应该说，泰山的读书生活，是冯玉祥将军思想升腾的极为重要的阶段。