蒋现在将注意力投到战场，发动攻势对抗北方军阀联军（人数仍有六十万人之多）。孙传芳残部在山东一度抵抗甚力，然后越黄河北逃。往省会济南的大路门户洞开。济南的日侨约有两千人，田中义一首相要求国民革命军绕过济南，但蒋需要掌控穿过本市的南北铁路线。东京内阁意识到其侨民处境危险，批准派出福田彦助（Fukuda Hikosuku）将军率麾下五千名士兵“保护日本国民及其财产”。

蒋对于占领济南的风险十分焦虑，以致国民革命军在一九二八年四月接近济南时，他辗转反侧、不能入眠。五月一日晚间，蒋穿简单的战地制服坐车进入济南城，发现福田的五千名士兵帐篷遍布城里城外。他和福田和气地会谈，可是国军第四十军士兵已在城里撕扯日本国旗，冲突终于无可避免。次日早晨，日本炮轰一部分城区，打死数百名民众。五月五日，蒋照会福田他将率领全部国军渡河，只留下少数在城里维持秩序。可是，日军逮捕外交部济南特派员蔡公时，声称有人从他的办公室朝日军开枪。他拒绝下跪，也不肯指出谁开枪，日本人割他舌头、刨他眼珠，然后开枪打死他和十多位部属。当天夜里，蒋在日记里首次用中国人歧视日本人的词语，痛批他们为“倭子”。

蒋的部下，包括冯玉祥的联络官，力促他调来旧大炮对付日本人。国民革命军在当地约有十万兵力，远远超过日军人数，但蒋晓得日本的武装部队有飞机、坦克、重炮和重型机关枪，实力远胜过国军，而且东京会不惜投入大量兵力来报复。他写下：“日本军队……横暴……唯有忍辱而已，对一般愤激之军民，亦唯有劝止。……其种种挑衅侮辱行为令人难受。不屈，何以能伸？”

两军交火消息传到日本，田中首相下令从满洲和朝鲜调一万六千名后援军兵到济南。日本军舰沿长江而上，陆战队也在浙江温州登陆。同时，中国举国沸腾，呼吁南京政府与日本断交，发起抵制日货。蒋在日记中说：“民情激昂……但是要长期、深刻地维持，并不容易。”他下令大部分国军退出济南，取道西侧，渡黄河继续北上，只留下两个团五千兵力。可是，福田要求中方完全退出济南城。次日，确认要求未遂后，他下令攻击国军。蒋命令留下的两个团长率部突围、撤退。他们在伤亡惨重下完成任务。根据各方的估计，日军杀害两千至一万一千名中国军民；而日方却表示，伤亡仅有三十八人。五月十日，蒋向日方道歉，并调走国军指挥官；但是他在日记中下定决心，此后每天要记下“灭倭方法一条”。

全世界对日本人的傲慢、野蛮大哗。田中担心行动太过火，同意谈判。将近一年之后，中日双方在一九二九年三月二十八日达成协议，双方各接受一部分责任，日军被限期在两个月内完全撤出山东——他们也的确履约撤军。

蒋若是预料到济南事变的发展，他可能会避免当时、当地和日军冲突，但是，一爆发，他决定退让或许是明智之举；因为日本人会歼灭稚嫩、配备不良的国军。而且一九二八年的美国陷于孤立主义，中国从美国或其他国家得不到有意义的支持。只有在日本帝国的威胁，和纳粹德国崛起、严重伤害世界秩序串联在一起——那已是十多年后的事情——西方国家才认真关注日本在中国的武装扩张。但是就日本军国主义者而言，济南事变证明对中国可以恣意侮慢，不虞后果。中国方面，此一奇耻大辱激发中共宣传的新重点——猛烈抨击蒋介石对日姑息。

蒋在日记中一再写下“复仇”、“忍耐”。他写下：“有雪耻之志，而不能暂时容忍者，是匹夫之勇也，必不能达成雪耻之任务。”济南事变证明了蒋的新发现：日本是中国的最大敌人，在未来远比欧洲列强、共产党或军阀的威胁更严重。他对军校学生演讲，呼吁他们协助他洗刷济南事变之耻，但是他也提醒他们，要把这股仇恨隐藏到最后一分钟，否则就会令日本人起戒心。他认为目前唯一的路就是姑息日本，但绝不正式签字放弃中国主权，同时要建立健全的政府统一全国，并努力以德国武器和训练推动国军现代化。