金军以排山倒海之势南下。高宗气得直发抖。李纲是精忠而绝对无私的人――这一点高宗知道得很清楚。正因为如此，高宗无法对李纲正面发怒。

对李纲所主张的事，没有一个人能表示反对。那是一种理想论，实际上，李纲正是个理想主义者。现实与理想相距甚远，而李纲根本不想正眼面对现实。

高宗的父亲（徽宗）、母亲（韦妃）和妻子（邢氏）都被带到金国。由于李纲害死张邦昌，金国现在要将旧宋俘虏群移到更偏北之处。听说那是酷寒之地。

杀害金所拥立的张邦昌，一定会受到报复，这是任何人都能想象得到的。

如果是你的父母亲、妻子或兄弟以俘虏身份在金国，你做得出同样的事情吗？高宗真想如此问李纲。

高宗当时以使节身份在国外，他的妻子邢氏则留在开封，因而以亲王妃身份被拉走。

除了父母亲和妻子被移至僻地受苦以外，河南住民也因金国大军南下而再受生灵涂炭之苦。高宗政权也面临危急存亡之深渊。

“现在必须避难于东南之地，绝不可留在此地。”宰相汪伯彦如此进言。这个人因于任相州知事时，曾经将康王时代的高宗由磁州迎接至相州而晋升为宰相。东南之地指江南而言。

“不可如此。”作此发言的又是李纲。“晋因受夷狄之攻打而迁都东南之地金陵，结果从此未能返回中原。宋、齐、梁、陈等南朝素以复归中原为职志，却未有一个王朝如愿以偿。倘若以避乱为目的，应该前往西才对。唐玄宗避乱于西方蜀地，结果得以光复中原。当然最好是不要迁都。留在中原，由陛下亲征，大宋士民不知将因此而何等奋起。微臣出身东南，私情而论应该欢迎陛下南迁，但这不是论私情的时候。”

自己主张的事情一定会被接受――他有这个自信。但出乎意料的是，他听到的是高宗如下的话：“不行！朕要立刻迁移东南之地！”

此刻的高宗真想对李纲吼出一句：你有资格谈私情吗？

父母亲、妻子和兄弟被带到金国是他的私情。李纲对这一点表示过任何关怀吗？

“东南之地……”李纲想再度展开辩论而语塞。高宗的表情如此险恶，这是李纲从未见过的。这副表情与其说是险恶，不如说是充满憎恶。

“你看不见眼前发生的事情，是不是？”高宗狠狠地道。这可以说是最重的叱责。

“金军的宣言是什么，你难道不知道吗？……你要知道朕曾经原谅过张邦昌。守住皇祖皇宗陵域的是什么人？是你守住的，还是被你杀害的张邦昌守住的？”高宗继续加以叱责。

李纲连头都不敢抬起来。

说来也够现实，高宗毫不保留地对李纲表露不快之意后，出现了许多弹劾李纲的人。

以私意肆意杀死侍从。――第一个弹劾李纲的是侍御使张浚。李纲以肃正纲纪为由杀死侍从宋齐愈是事实。

李纲既买马又募兵。――于非常时期买马募兵是当然的事情，现在连这也成为弹劾的理由。李纲遂被左迁为洞霁宫提举。道教宫观之提举（管理人）一职，向来是授予退休官僚的酬庸性质的虚位。

极力主战、曾经发动主战派签名运动的陈东，这次上书请求皇帝亲征。此举无异火上添油，高宗怒不可遏，陈东因而被处死刑。连未就官职的欧阳澈都因主张亲征论而被杀。

这一年十月，高宗及其政权要人暂时先逃到扬州。