4月23日，就在何应钦的座机飞离南京八小时以后，人民解放军的军旗插上了国民党总统府的门楼。蒋介石在炮火逼近的上海，把何应钦、顾祝同、汤恩伯、周至柔、桂永清、陈大庆等召到一起，研究如何保卫上海。到了后来，蒋介石天天在吴淞口外的兵舰上督师，眼看着一次次惨败，时时发脾气骂人。到了5月23日，汤恩伯以五个团的兵力，在金家桥一带与解放军殊死争夺，结果惨败。看看战局实在无望，蒋只好下令总撤退。

已经入主台湾的陈诚摆出东道主的架势，带领绅士富商，到码头进行慰问欢迎。张灯结彩、敲锣打鼓的热闹场面，与丢盔弃甲、七零八落的残兵败将，形成了鲜明对比。顾祝同则带上整编方案，到台北先和陈诚磋商，再转马公岛向蒋介石请示决定。

退至华南的何应钦用电话调宋希濂部南下，宋希濂回话说:“我撤到恩施是老总的命令!”老总自然还是蒋介石。

何应钦说:“恩施一带并无敌人，你到那里去实无必要!常德一带异常空虚，你如不来，湖南战事就不可收拾，你到恩施也是绝路。”

“我管不了许多，老总要我怎么办，就怎么办!”

“我是行政院院长兼国防部部长，负责指挥全国部队，你必须服从我的命令!”

宋也火了:“我就不知道什么行政院院长、国防部部长!”说完就把电话挂了。

何应钦气得面孔发紫，立即赶来向李宗仁报告:“这成什么体统!这成什么体统!我有生以来也没受过这种侮辱!”宋是黄埔一期，是何应钦的学生。连黄埔学生都这样不听命令，战局还怎么收拾?何应钦向李宗仁提出辞职。李极力挽留，立、监委亦群起吁请何打消辞意。何应钦沮丧地说:“德公，如要我继续干下去，我只有两条路可走:一就是逃亡，二就是自杀。”

李宗仁一听如此坚决，不再勉强，于5月下旬准其辞职。