这个时候，国内的政治、军事形势在不断地变化着。袁世凯死后。中国陷入一片军阀混战中。大大小小的军阀，为争夺地盘而相互征战。除却孙中山以广东为根基的一股革命力量外，最主要的军阀力量是直系、皖系、奉系。

直、皖两系军阀为争夺中央权力，发生中国近代史是有名的直皖大战。直系军阀曹锟、吴佩孚最终取胜，掌握了北京政权。

随后他们为进一步能控制全国，就要排除异己，将属于皖系的陕西督军陈树藩免职，任命第二十师师长阎相文为陕西督军。可是陈树藩却抗命不从。曹锟遂命阎相文率第二十师、第七师和冯玉祥的第十六混成放入陕以武力接收。

这样一来，冯玉祥部的军饷来源，总算得到了解决。

1921年2月，第十六混成旅进驻阌乡、灵宝，取道渑池、陕州入潼关，连点皆捷，陈树藩败逃陕西。

北京政府同意第十六混成旅于8月5日扩编为第十一师，兵力达3．5万人。

不久阎相文因兵饷无着，服毒自杀，冯玉祥继任陕西督军。乃组建卫队团，团长由冯玉祥自兼，下辖三个营，张自忠任第三营营长，辖4个连。

在西安，张自忠这期间还奉命具体负责了陕西新督军署的修建（因冯玉祥不愿入住旧督军署，改在旧皇城废墟上重建）。自立更生，张自忠从实践中又获得了实实在在的本领。新建成的督军署虽然像座兵营，但冯玉祥却很满意。而后张自忠自己带兵，碰上修建房屋，都是自己动手，从不愿请专人。

1922年春，在直皖大战以后，中国大地上又掀起了北方大战，这便是直奉大战。在直皖大战后，奉系军阀势力得到进一步扩张，与直系势力形成对峙，终于发生了一场兵戎相见地决战。这场战争在河北北部爆发。

吴佩孚急调第十一师东下驰援，并任命冯玉祥为后方总司令。

冯玉祥率部到达郑州。当时河南省督军是赵倜。赵倜他表面上是支持直系的，但暗地里却与奉系勾结。1922年5月5日，赵倜派兵偷袭郑州。

第十一师便和赵军展开了激战。赵军有三个师的兵力，数倍于冯，但第十一师是经过严格有素训练之师，所以作战勇敢，士气高昂。冯玉祥亲自指挥了这次战斗。张自忠的卫队团第三营和李向寅的第一营护卫于冯的左右。

双方激战三日，到8月6日，赵军已呈不支败像，冯玉祥把握住这一时机，命令张自忠、李向寅两营精锐兵力，向敌军发起猛烈冲锋，冲锋号声一起，这两营士兵，在张自忠、李向寅两位营长率领下，一个个如出山猛虎，向赵军阵地猛扑过去。赵军顿时如汤沃雪，溃不成军，被彻底地打垮了。

张自忠营有一名副班长李致远，在战斗中表现勇敢，战后将缴获的一支步枪、一块怀表和三十块大洋主动交公。这在当时军队中是少有的新鲜事。冯玉祥为树立“缴获归公”的好风气，特在全军通报嘉奖，并破格将李致远提升为排长。全军上下皆知“拾金不昧的李致远。李后来升至旅长，成为张自忠的重要部将。这是后话不提。

这场直奉大战，最后还是直系获胜。奉系张作霖退回东北。

论功行赏，5月10日，冯玉祥被任命为河南督军。张自忠随冯玉祥移驻开封。

按照冯玉祥的规定，营以上军官，可以允许携带家属随军。这时局面稍为稳定，开封距山东亦不远，张自忠便写信把夫人李敏慧和长子廉珍（12岁）、次子廉静（五岁）接来开封，全家团聚。从此以后，他们夫妇便聚在一起，辗转各地。

六

冯玉祥就任河南省督军后，利用这个大好时机招募新兵，很快编成三个旅，使自己的兵力扩充成5个旅，总兵力达五万人。第二十一旅旅长刘郁芬，第二十二旅旅长鹿钟麟，第七混成旅旅长张之江，第八混成旅旅长李鸣钟，第二十五混成旅旅长宋哲元。别外还新编了两个补充团、一个学兵团。两个补充团团长为佟麟阁、门致中，每团2000人。

学兵团团长冯玉祥自兼，第一营营长张自忠，第二营营长张凌云。因为张自忠在全军练兵有相当名气，但因资望不够，冯玉祥因军务繁忙，便责成张自忠以第一营营长名义兼管全团训练。实际上全团事务均由张自忠具体负责。

1922年10月，冯玉祥因忤吴佩孚，吴佩孚对冯玉祥不满，免去了他河南省督军职务，调北京任陆军检阅使，这实际上是有职无权的闲差。

11月冯玉祥抵北京，驻南苑、通州。这到给了冯玉祥一次专心练兵的机会。南苑练兵成为冯部常德练兵的又一个黄金时期。

学兵团始驻北京，后移驻南苑，石敬亭为团长。

张自忠在石敬亭的领导下，全副精力抓紧练兵，使学兵团成为训练有素、军纪严明、富有生气的模范部队。石敬亭十分欣赏张的治军能力，并与他结拜为把兄弟。

张自忠开始治军以严，后来通过实际，使他认识到仅靠严还是不够的，应该宽严结合，恩威并重，方能收到最好的效果。无恩而威，一味严惩，只能徒增怨恨。官长与士兵要同甘共苦，生死与共，才能带出一支百战而不殆的部队。

1924年，张自忠被升为学兵团团长。他觉得自己才能、资望不够，上书恳辞而不准。只得就任。第一营营长为鲁崇义，第二营营长为吴宝善。张自忠肩上的担子更加重了起来。