8月1日，邓小平的秘书和警卫员被调走了。中央办公厅派来了一个新“秘书”。新“秘书”上任后的第一件事，便是把卓琳叫到他那墙上贴着“坦白从宽，抗拒从严”标语的办公室，声色俱厉地让卓琳揭发邓小平。卓琳十分从容地说：“小平同志从来不把工作上和组织上的事对家里人讲，我什么也不知道。至于文件，每天看完后，该处理的当天都处理了，其他的都送中办机要处了，要什么，你们自己去翻吧!”

8月5日，是毛泽东写出《炮打司令部——我的一张大字报》一周年。事前，谢富治和戚本禹到“揪刘火线”进行煽动，建议“群众组织”在天安门广场召开百万人的声讨批判大会。同一时间，在中共中央和国务院所在地中南海，分别在住地组织对刘少奇、邓小平、陶铸夫妇进行批斗。这一天，北京天安门广场举行了数百万人参加的纪念大会，声讨刘少奇的“罪行”。这天下午，中南海的“群众组织”按照“中央文革小组”的部署和戚本禹的直接指挥，分别批斗刘少奇、王光美，邓小平、卓琳，陶铸、曾志夫妇。中南海的“群众组织”冲进邓小平家后，从屋里把邓小平夫妇押出来，由“群众组织”团团围在院子中间。一阵震耳欲聋的“打倒”口号声后，“群众组织”气势汹汹连喊带叫地批判了一通，然后便七嘴八舌乱糟糟地进行质问。邓小平根本听不清那些吼叫，因此也无从回答。他刚刚辩解了几句，话还未说完，便被粗暴地打断。“群众组织”说他态度不好负隅顽抗，接着便又是一阵乱批乱吼。“群众组织”还在院内架上喇叭，把同时在天安门广场进行的批判大会实况放给他们听。批斗结束后，卓琳扶着邓小平走回屋里，看到邓小平脸色苍白，赶紧倒水让他喝，再扶着他躺下休息。事后据目击者说，这次批斗刘、邓、陶，对邓小平，还是最“文明”的。对于刘少奇和陶铸，则残酷得多，特别对刘少奇，进行了残酷的人身摧残。中南海“群众组织”的批斗抄家，说明邓小平算是真正意义上的被彻底打倒了。

对于这段历史，邓小平的女儿毛毛在《怀念陈伯伯（陈毅）》一文中，作了回顾：“1967年初，父亲被正式地宣布为‘党内第二号走资本主义道路的当权派’，倒台了。我们的家被抄了，父母在被造反派揪斗之后，又被软禁了。举国上下，都在高喊：‘打倒刘少奇!打倒邓小平!’那时的政治空气，真是紧张而又疯狂。”

在身陷逆境以后，邓小平仍然以他一贯的坚强、遇险不惊、喜怒不形于色而坦然对之。有时，他被迫根据一些“群众组织”的要求，为一些正在受到审查和批判的领导干部写证明材料。看到自己的同志和战友受到不公正待遇，邓小平的心中充满了愤慨和无可奈何。他只有用坦荡的直言为这些战友、部下和同志的清白作出证明。卫生部3个“群众组织”要求邓小平交待是如何重用卫生部长钱信忠的。邓小平于1967年11月3日写出说明：“钱信忠在二野的工作历史关系是很久的。我们，主要是我，对他是信任的。我和其他一些负责同志长期认为，他在主持卫生工作方面是较有能力的。他的外科手术在当时条件下是难得的。他的工作，特别是战场救护工作是努力的。所以我过去对他的总的看法是小毛病很多，但大的方面还好，对战争是有功绩的。钱信忠当卫生部长是总理提出来商量的，我是赞成的，对钱信忠任卫生部长一事，我同安子文（“文化大革命”前任中共中央组织部长——笔者注）没有什么密谋。”邓小平的这个证明材料，表达了对受迫害同志的同情和支持，说明了钱信忠担任卫生部长的来龙去脉，澄清了事实真相。

在“文化大革命”中，凡是被批判被打倒的人，都会被强制参加惩罚性的劳动改造，有些“造反派”甚至用超过人体负荷的强体力劳动来达到迫害和折磨人的目的。邓小平夫妇被关在自己家的院子里，要劳动改造，却没有什么可干的活。一开始让他们自己做饭，不过没做两天就不让他们做了。于是改为勒令卓琳每天扫院子。刚开始是卓琳一个人扫，后来邓小平自动拿起扫帚，跟卓琳一起扫。从1967年秋天到1969年秋天的两年中，无论刮风下雨，天寒地冻，他们每天都认真地把院子扫得干干净净。在单调孤寂的软禁中，扫院子这项劳动成为邓小平每天生活的一项重要内容。除此之外，邓小平就只有坐在屋子里，看书、看报、听广播或者静坐沉默。

一代叱咤风云的英豪，一代治国安邦的英才，一代折冲樽俎的大政治家，竟然只能在每日打扫院子的劳动中消耗时光，这怎能不令人为之扼腕叹息呢!