“文化大革命”中他被关进牛棚，批斗之余，有一段时期日常工作就是用那双本来能够创造出最精美艺术品的双手来敲打防空洞里挖出来的土块。有次不小心摔跤把脚骨跌断了，只能就这样躺着，等妻子得到消息去牛棚要求带他上医院看病，先是不被允许，后来总算允许了，却无人帮忙将他拖上在三楼的手术室。

吴大羽住的是私房，那些年先是让他把楼下腾出来，继而再让他把二楼东边的房间腾出来并与新搬来的邻居共用一个厕所，那家人后来把挨着吴家的门锁上，独占了厕所。

“文化大革命”结束后私房清退，而吴大羽的房子在10年后仍未得到落实。

诸如此类的遭遇给吴大羽带来过多少内心的伤害？他变得内向，甚至子女都跟着他产生避世倾向，终身未婚，厮守着父母。

20世纪70年代，当年的学生赵无极回国，费尽周折才见到先生，看到他的境况不免难受；听吴大羽说在研究诗，不作画了，又感到不解。事实上吴大羽的确把更多时间用在“诗”上，对他而言，这是一个远离现实的世界，更加广阔也更加高妙，足以驰骋想象与思维。1982年左右，同事陈创洛趁每月给吴先生送工资时，有意识地与他交谈，并把片言只语记录下来，为我们展示了吴大羽晚年的内心生活：

宇宙之大在于我心，宇宙之存也于吾心，宇宙之奥秘至今尚不可知。所以把握自我，即把握宇宙。

时代在变化，艺术趣味、艺术美的领域也在变化、扩大，不能说过去的是陈旧的、不好的，但过去总是过去了，总不能说现代比不上从前。至于说发展到什么地步谁也估计不到，也没有尽头。总之，变，一定要变化，这是事物的规律，这是肯定的。

人生和自然的交接点是诗、是艺术。诗包括美术、音乐、舞蹈。诗就是节奏，它可以概括艺术的一切。整个人类的历史是一首未完结的诗，又是永远不会完结的诗。

生与死是现象，生与死的综合是精神。孔子的儒教是现实主义的，而佛教的思想是理想主义的。佛教是一种信念，它要消灭死，死而复生，所说的涅槃境界是精神的最高境界。研究东方的美术，要研究佛教。

文化有两种：历史的文化、生物的文化；或称静的文化、动的文化。

西方的文化是从形体出发的，是科学文化；东方艺术是从心灵出发，是从心里着眼。

中国人写毛笔字称为“书法”，而日本人接过去，发展了它，称之为“书道”。我觉得“书道”比“书法”的辞意更概括、更有内涵。法有技术或约束性；道有道理、道德，以至总的宇宙的规律包含在内的意思。

中国要有一次真正的“文化大革命”。

“上善若水，水善利万物而不争”。老子教人向柔弱的水的品质学习。水看来是柔弱的，但它可以冲决一切比它坚强的东西。这是老子以柔弱制刚强的思想在生活方面的运用。

在庄子看来，一般人之所以不自由，一方面固然由于环境条件所限，而根本原因在人——“有己”。所以他说“至人无己，神人无功，圣人无名”。

“文化大革命”中有批林批孔，称孔子为“孔老二”，怎么可以叫“孔老二”呢？我看叫的人首先在侮辱自己。孔子作《春秋》在战国年代，虽有时代的局限，但他是有理想的。他是个平民老百姓，他人格上没有缺陷。他是打不倒的，他是不死的。

这些难道不更像一个哲人对世界的洞察？有这样精神背景的画家，下笔自然与只是熟练掌握技艺者不一样。

事实上吴大羽还是陆续创作了一些小幅的油画，但当时很少有人能理解与欣赏，《美术》杂志曾刊发他一幅叫《滂沱》的作品，却印颠倒了，吴倒是说无关紧要，因为“从月球上看过来，就无所谓正与倒，康定斯基就从自己一幅倒置的作品中受启迪而开始抽象绘画”。

这些作品后来几乎全被台湾大未来画廊拿去，在交出它们时他没要一分钱，仅仅提了出一本画册和开一个画展的要求。就这样，自己的心血都归了他人。

此外还有多达500幅吴大羽的蜡笔画在“文化大革命”中被以抄家的方式劫走，从未归还，也不知最终落在哪里。