林彪是7月29日上山的，他在北京就知道庐山“出了事”。在8月1日的常委会上，一直沉默的林彪突然对彭德怀发难，说他这回招兵买马来的，是野心家、阴谋家、伪君子……他尖着嗓子对彭德怀说：“你要抛掉个人的过分自信，抛掉个人英雄主义。”“只有毛主席能当大英雄，别人谁也不要想当英雄，你我离得远的很，不要打这个主意。”他的发言，加重了火药气味，给问题升了格，也给彭德怀定了性，同时他也是在讨毛泽东的欢心。

有意思的是，历史就地画了个圈，对林彪开了个玩笑。十一年后还是在庐山，这次是副统帅对统帅突然发难，结果在毛泽东面前暴露了“庐山真面目”。从此林彪从政治巅峰上跌了下来。不过这次不是命运捉弄了他，而是他日益膨胀的政治野心捉弄了自己。

罢了官的彭德怀，从中南海搬到了挂甲屯。金石永远记住了这个乌石之夜，这是他随彭德怀回乡调查中，唯一一次看到彭老总大发脾气，一次好大的火哟

罢官之后，彭德怀曾给毛泽东主席写了一封信，具体谈了他今后的打算：准备读点马列主义的书，作些社会调查，自食其力地参加一些生产劳动。

毛泽东只同意了前两点，对后一点却表示反对，认为他年纪大了，不宜再参加生产劳动了。也就在这一年，彭德怀举家搬离了中南海永福堂的住宅，落户到北京西郊挂甲屯吴家花园。

挂甲屯是个富于美妙传说的村庄名，传说《杨家将》中的杨六郎在北征辽国时，曾在这里解甲休息过。这个地方从此也改称挂甲屯。不知是历史的无情嘲讽，还是天意的巧妙安排，这位在漫长而艰难的中华民族解放史上出生入死、屡建奇功、叱咤风云的人物，被撤销国防部长之后，如今也在此挂甲归田了。

至于这座吴家花园，传说是300年前吴三桂的住宅。如今虽有亭台楼阁，却大都破损不堪；虽名曰：“花园”，却早已荒芜凋落，杂草丛生了。

面对此情此景，抚今忆昔，无不给人一种沧桑兴废之感。

几天后，彭真和杨尚昆来到吴家花园具体安排彭德怀学习的事情。彭真不无遗憾地谈到了庐山会议，说：“庐山会议对你斗争过分了一些。”这是彭德怀第一次听到党中央有人对他这样说，他不禁心浪如潮击！

随着国家的经济形势一步步好转，彭德怀的心情也随之好转。但吴家花园的围墙使他难以忍受。党校教员来询问他的学习情况，他伸着脖子，大声说：“我现在一点用处没有了！我现在成了造粪机，我不能老待着！我还得工作！我不能脱离实际只读书本！”声音充满了压抑和痛苦。