蒋介石好不容易捞到黄埔军校校长的位置，这可是他政治生涯的第一桶金啊！黄埔军校刚一开办，蒋介石跟玩了命似的，没日没夜地扑在军校建设上。他严于律己，不再吸烟喝酒，生活态度与他先前在日本和上海判若两人。蒋介石经常去军校食堂与教职员一起用餐，教职员对他很敬重，总是等他动筷子后，方才拿起碗筷进餐。

在军校开学后的八个月内，蒋介石向军校学员发表讲话就达46次之多，对学生进行军事、政治基本思想的教育，讲话的主题包括军人的责任、义务，革命军人对三民主义的信仰，军人打仗的目的，军人的纪律和服从，军队的集体生活等。为此，他编了一本叫《新兵精神教育问答》的小册子，作为军校精神教化读本，主要内容有“我们为什么来当兵”“如何才能挽救国家危亡”等。

黄埔军校刚起步时，没有一枪一弹，是蒋介石前往石井兵工厂秘密运来五百支步枪，因为那儿的厂长是国民党党员。蒋介石就是拿这五百支步枪装备了黄埔一期的六百多名学生，这是他带兵的第一笔本钱。军校开创之初，时常无米下锅，都是蒋介石出面到处筹钱。黄埔军校就建在原清朝陆军小学和海军学校校舍的遗址处，许崇智在这个岛上镇守长洲要塞，孙中山任命蒋介石同时兼任许崇智的参谋长。1924年7月7日，孙中山又任命蒋介石为长洲要塞司令，管辖若干艘海军舰艇。8月9日，一艘挂有挪威国旗的轮船“哈辅号”由香港驶进广州，船上装载着大批军火，企图挑起战争。孙中山得知情报，立即命令蒋介石出海追剿，蒋介石亲自指挥军舰，将挪威轮船截获，收缴九千多支枪械，后经查实，原来是国内商团私购军火。孙中山得了这批武器，怕事情闹大，到时候中外敌对势力互相勾结，国民政权就危在旦夕了，于是下令蒋介石放弃长洲岛，将缴获的枪支运往韶关，作为国民政权组成北伐军的武器装备，可是蒋介石却坚守长洲岛，倘若他奉命撤岛，那么黄埔军校在建校不到半年时间就要变成“韶关军校”了。

蒋介石在黄埔军校练兵就讲究一个字——“严”。“严师出高徒”这话确实没错，很多有名的将官都出自黄埔军校，这与蒋介石的严加管教大抵是分不开的。在黄埔军校里，他不仅对学生和教官要求严，对自己要求更严。蒋介石对军校学生说过，如果他在军校对他们要求不严，而是像个和蔼的小老头，那么这种慈爱绝对是虚伪的，甚至带有一丝欺诈的嫌疑。蒋介石有一天清晨到操场给全校师生训话，看见一位教官姗姗来迟，一边扣着散开的军服，一边往队伍里钻，他登时火冒三丈，立即喝令这位教官出列，罚跪示众，以示惩戒。也许是事务繁忙，蒋介石训完话就径自走了，忘了那位被罚跪的教官。第二天出早操时，蒋介石又来到军校操场，抬头就看见一个人直挺上身，僵硬地跪在操场上，身上蒙了一层白霜。蒋介石感到纳闷，这个教官为何跪在那里？走过去一询问，才知道这个教官就是昨天被自己下令罚跪的。蒋介石得知真相，赶紧把他扶起来，内心很是感动，而后下令将该教官由中尉升为中校。这个一跪升三级的教官，就是后来位居中华民国陆军总司令、国防部参谋总长的顾祝同。蒋介石的严苛使得黄埔军校建起了一支真正强大的军队。