文化大革命爆发了。我因病不能参加，在我的历史上，绝无政治污点，我很坦然。但众目睽睽，我的资产阶级文艺观毒害了青年。由学生写大字报来“揭”老师的毒与丑，其实大部分学生是被迫的，上面有压力，不揭者自己必将被揭。我到工艺美院后授课不久便下乡“四清”，放毒有限，而以往艺术学院的学生毕业后已分配各地，他们不会赶来工艺美院揭我的毒，何况，是毒还是营养，如鱼饮水，冷暖自知。所以妻冷眼看：若不是撤消了艺术学院，我的性命难保。妻随资料室并入美术研究所，研究所设在中央美院内，暂由美院代管。在工艺美院，攻我的大字报相对少，内容也空无实证，结果我被归入靠边站一类，我们几个同代的教师，必须每天上午9点至11点在系办公室坐以待命，讥称911战斗队。我抱病天天坐在911队部，一天一天送走明媚的阳光，至于院内贴满的红色大字报，我基本不看，在读谎言与闲送光阴间，我选择了后者。

抄家，红卫兵必来抄家，孩子们帮我毁灭油画裸体、素描、速写，这一次，毁尽了我在巴黎的所有作品，用剪刀剪，用火烧。好在风景画属无害，留下了，卫老那幅芍药也保住了。犹如所有的年轻学生，我家三个孩子插队到内蒙、山西及建筑工地流动劳动。接着妻随她的单位美术研究所去邯郸农村劳改，我一个一个送走他们后，最后一个离开会贤堂，随工艺美院师生到河北获鹿县李村劳动，继续批斗。当我锁房门时，想起一家五口五处，房也是一处，且里面堆着我大量油画，不无关心，所以实际上是一家五口六处。

我们在李村也分散住老乡家，但吃饭自己开伙，吃得不错，所以老乡们的评语是：穿得破，吃得好，一人一只大手表。劳动要走到很远的干涸了的河滩开垦，解放军领着，列队前进时个个扛着铁锹，唱着歌，孩子们观看这一队队破衣烂衫的兵，指指点点，没什么好看，也就散去了。我的痔疮严重了，脱肛大如一只红柿子，痛得不能走路。我用布和棉花做了一条厚厚的似妇女月经时使用的带子，宽阔结实，像背带裤背在双肩，使劲挺腰将带子托住痔疮，这是一种托肛刑吧，我在服刑中种地。解放军领导照顾老弱病残，便将我调到种菜组，我心存感激。我管的一群小绒鸭有一只忽然翻身死了，于是有拍马屁的小丑报告指导员，说我阶级报复，打死了无产阶级的鸭子。指导员叫我到连部，要我坦白，我说绝非打死，是它自己死的，我感谢领导调我到种菜组，我是兢兢业业的。这事很快在地头传开了，有人问我，我说真是《十五贯》冤案，有几个同学也评说《十五贯》。指导员第二次叫我到连部，我以为他会缓和语气了，哪知他大发雷霆，拍着桌子吼：“老子上了《水浒传》了，《十五贯》不是《水浒传》吗，你以为我没有看过，我要发动全连批判你!”

大约过了两年，连队里严峻的气氛松弛下来，节假日也允许作画了。我的肝炎一直没有痊愈，只是不治而已，后来情况严重才让我去白求恩医院治一时期，也不见效，绝望中我索性投入作画中逃避或自杀。我买地头写毛主席语录的小黑板制作画板，用老乡的高把粪筐作画架，同学们笑称粪筐画家，仿的人多起来，诞生了粪筐画派。粪筐画派主要画玉米、高粱、棉花、野花、冬瓜、南瓜……我这一批粪筐作品均已流落海外，是藏家们寻找的对象了。

每次在庄稼地里作了画，回到房东家，孩子们围拢来看，便索性在场院展开，于是大娘、大伯们都来观赏、评议。在他们的赞扬声中，我发现了严肃的大问题：文盲不等于美盲。我的画是具象的，老乡看得明白，何况画的大都是庄稼。当我画糟了，失败了，他们仍说很像，很好，我感到似乎欺骗了他们，感到内疚；当我画成功了，自己很满意，老乡们一见画，便叫起来：真美呵!他们不懂理论，却感到“像”与“美”的区别。我的画都是从生活中剪裁重组的，东家后门的石榴花移植到西家门前盛开了。有一次画的正是石榴庭院，许多老乡来看，他们爱看开满红彤彤榴花的家园，接着他们辨认这画的是谁家，有说张家，有说李家，有说赵家，猜了十几家都不完全对，因为总有人否定，最后要我揭谜：就是我现在所在的房东家，大家哈哈大笑，说：老吴你能叫树搬家!后来我便名此画为《房东家》。