袁世凯于1895年12月16日前往小站镇接管定武军。虽然在朝鲜期间与日本发生直接冲突，甲午一战日本攫取了中国重大权益，但是在这时他却开始鼓动全军学习日军作风。袁世凯担心如果不采取果断措施，“横逆以来，日益滋甚，蚕食鲸吞，不堪设想”。定武军是在1894年底，朝廷采纳李鸿章的德国军事顾问汉纳根的建议，派长芦盐运使胡燏棻在天津小站编练的一支新式陆军，共计10营4750人，其中步兵3000人，炮兵1000人，骑兵250人，工程兵500人。

由袁世凯接管定武军后，加募了步兵2000人，骑兵250人，将其整支部队扩编到7000人，并改名为“新建陆军”，保留德式建制不变，继续聘用德国军官充任教习，还专门成立了由德国人组成的教习处。编制上以镇为单位，镇以下设协、标、营、队、排、棚，综合步马炮工辎五种兵种。步兵又分左右两翼，左翼2营，右翼3营；炮兵则分为右翼快炮队、左翼重炮队和接应马炮队。装备方面，全部使用购自国外的新式武器装备。各级军官大量任用国内外正规军事学校毕业生充任。军中又设步兵、炮兵、骑兵、德文四所随军学堂，这些学堂的毕业生除学习德文者准备派赴德国留学外，其余全部派充下级军官。另外还设有专门对官兵实行轮训的讲武堂。遇有军官出缺，一概不许在军事学堂和新军以外，随意选任。士兵的选拔招募，参照西方资本主义国家的军队条例，有较严格的限制：年龄从十六岁至二十五岁；身高在四尺八寸以上；必须土著，应募时须报三代家口住址和指纹箕斗数目；吸食鸦片或犯有事案者，以及“城市油滑向充营勇者”也一概不收。从新兵招募到军官任用的条件可以看出，这支军队的设计者试图竭力抵制两种类型人混入其中：一为特权阶层；二为有过旧式军队经历的人。

袁世凯对军队改革的最大贡献就是打破了以往中国旧式军队以乡勇为基础的组织方式，并打破旧军队中任人唯亲的传统，贯彻任人唯贤的能力主义，这在当时十分为人称道。曾国藩的湘军、李鸿章的淮军等，都是以各地乡勇的同乡血缘关系为组织纽带，军官的任命主要根据同乡血缘关系的亲密程度。而袁世凯的“新建陆军”中废除了同乡血缘关系的纽带，彻底实行能力主义，使其成为一支近似于西方军队的新式军队。

在后来组建的“北洋六镇”中，除第一镇由满人贵族铁良任统制外，其余五镇均由袁世凯的亲信王英楷、曹锟、吴凤岭、吴长纯、段祺瑞等分任统制。被称为“北洋三杰”的段祺瑞是安徽人、冯国璋是河北人、王士珍是福建人，都与袁世凯没有乡族关系，而是根据他们的能力被袁世凯选拔上来的。段祺瑞、冯国璋都曾留学德国，年青的蔡锷从日本留学归来后，被袁世凯破格提拔为云南总督。当时“新建陆军”的高级将官中，1/3以上都是留学生生。

值得思考的是，后来袁世凯称帝，支持其称帝的多是一些以前的立宪派人士，他们又多是出于自己的政见——当时的中国适宜建立君主立宪制而非共和制——支持袁世凯的，比如杨度、孙毓筠、刘师培、严复等，而袁亲手重用提拔的北洋军将领们，却大部分表示反对。段祺瑞和冯国璋辞官抗议，蔡锷更是起兵讨袁。可见这批所谓的“嫡系将领”与袁世凯之间并没有形成旧式的追随关系。

如果在这一时期，就说这支部队是袁世凯的“私人军队”或是具有地方分离主义的武装是没有切实依据的。袁世凯之所以能控制建陆军，更大程度上是通过他在北京的政治影响力，新建陆军在财政和行政方面都依赖中央政府的支持和调度，由于新式建制的采用，新军的各级军官也频繁变动，同样限制了士兵和军官之间发展成旧式的个人忠诚关系。更为重要的是，建立这支新军的初衷也并不是国家或地方上为对付国内叛乱，而是针对列强对国家安全构成的威胁。

对于袁世凯的练兵成效，不但有清政府的监督监察，而且西方人士也在时刻关注。美国历史学家拉尔夫·尔·鲍威尔在《《中国军事力量的兴起（1895～1912）》》一书中有这样记载：“美国官员高第少尉，访问了保定军营。北洋军的一整协为他作了操演，使他产生了极其良好的——也许是过誉的——印象。他的意见是，军佐们都很聪明，并表明了‘训练极好’，而未入流的军佐则不仅了解他们的职责，还能加以执行。士卒的军容整洁，操练纯熟，还能够胜任最艰巨的工作。他们都配备了最新式的毛瑟枪，维护得也很好。”“在保定看到的士卒与中国的多数部队都不同，枪法和美国军队一样准确。”

义和团运动中，袁世凯署理山东巡抚，他的2个营被派到山东，镇压义和团的同时，也起着防止德国人的军事入侵的作用。同时他又将山东旧军34营改编成马步编队20营，计14000人，定名为“武卫右军先锋队”。此时，“武卫右军”的实力又得到进一步发展。当八国联军侵入中国的时候，袁世凯参加“东南互保”拒绝宣战。经过八国联军之役，武卫军前、后、左、中军或消灭，或没落，唯有袁世凯的“武卫右军”，非但没有损失而且还有宽大的发展。此时，袁世凯属下的近代化军队总计已逾两万人。

虽然荣禄直到1903年去世时还在名义上拥有帝国军队最高指挥权，在八旗中也有着很高的虚衔，但他在实际的军事指挥中已不能起主导作用了。

1901年清政府政府下令永远停止“武生童考试及武科乡会试”，因“所习硬弓刀石及马步射，皆与兵事无涉，施之今日，亦无所用”，并令各省在本年内严汰绿营、防勇十分之二三。

1904年开始，为进一步统一军制，淘汰旧军，特在北京设立练兵处，做为考查和督练新军之总机关，各省又设督练公所。练兵处以奕劻为总理大臣，袁世凯为会办大臣，铁良为帮办大臣。

袁世凯在新一轮的军事近代化事业中占据了举足轻重的地位。当时，“朝有大政，每由军机处问诸北洋（袁世凯）”，当仁不让，袁世凯成为“全面推行中国军事现代化的第一人”，但这引起了清朝皇族和他的政敌的严重嫉妒和不满。