1944年，作家无名氏去看他，林风眠这样述说自己的感受：“在北平、杭州当了十几年校长，住洋房，乘私人汽车，身上一点‘人气’几乎耗光了。你必须真正生活着，能体验中国几万万人的生活，身上才有真正‘人’味，首先是‘人’，彻底‘人’化了，作品才有真正的生命活力。”

然而“生命活力”有了，却无力购买油画颜料与画布，也就从那个时候开始，他大量创作具有自己独特风格的国画，这恐怕也是不得已而求其次。

也就在这一年，潘天寿执掌艺专，请林风眠重新回校任教。抗战胜利后，他也随学校一起迁回杭州。

新中国成立前夕，林风眠曾兴奋地对学生说：“共产党要来了，叶剑英肯定会支持我，说不定这个学校就能按我们的理想来办。”

让他没想到的是，来自鲁艺的南下干部很快就把他作为改造对象，艺专则被认为是“形式主义的大本营”，而林风眠成了“新派画小集团”主帅。他不得不于1952年离开学校到上海闲居，以卖画为生。其生活上的窘境，可以从他1957年发表于《文汇报》上的文章《美术界的两个问题》略知一二。

林风眠在文章中说：“美术家闹穷是大家知道的，而实际上连生活都成问题，没法维持最低生活水平的都很多，他们羡慕戏剧家、音乐家、作家，有了好戏、好音乐满座，有了好书，不怕没有读书的人。可是画家呢？开个展览会也许观众很多，结果都没有人买画，画展能卖几幅，最后是连裱画钱都收不回来。”

但尽管生活艰窘，林风眠仍然关心文艺界的形势，在《要认真做好研究工作》一文中（载《美术》1957年第6期），指出近年来“美术事业”的成绩让人感到惭愧。他批评那些“大笔一挥”就画出了“社会主义现实主义的道路”的美术家，告诫不要将社会主义现实主义看得太狭窄，应该好好研究“究竟什么是古典主义、浪漫主义、写实主义、自然主义、印象主义、学院派或野兽派、立方体派、未来派……它们怎样形成和成熟？不要先肯定或否定一切。”

幸运的是，因为没有单位，这些本来很可能被当成“右派”言论的说法并没有让他陷入厄运。

林风眠也是想投入时代洪流的，并有过这样的契机。1958年，周恩来到上海召集文艺界人士开座谈会，邀请名单中就有林风眠，他到了会场一声不响地坐在后面，却还是被周发现了，招呼他到前边来，会后又单独谈话，鼓励他多搞些创作，也因此美协上海分会才请林风眠一起去参加下乡劳动之类的社会活动。回来后他写了《跨入一个新的时代》，其中说道：“在思想感情上，有了许多变化和许多新的认识。农民群众在农村的建设中，在‘大跃进’工作中，所发挥出来的创造性的智慧和才能，使我深深地感动。例如东郊区主要的农作物是蔬菜，就有许多先进的方法，一亩的产量从4万斤提高到72万斤，每一棵长到1000多斤，这使我不能想象，却是一个事实。我想如果一个美术工作者，仍然关在画室里脱离了生活，脱离了人民群众，那创作出来的东西，是没有什么用处的。”

那一时期，林风眠也确实画了些现实题材的作品。他这样反省自己的创作：“只从形式上去追求，只在画面上转圈子，有许多死的清规戒律，这样的态度，不但不能反映生活中的本质，连事物的外形也不会描写得有生气。”努力没有白费，他新的创作“思想性有明显提高”，被理论界认为进入了一个“黄金时期”，1960年，林被推选为上海市美协副主席。

但这一时期并未持续多久，1964年，王朝闻主编的《美术》杂志第4期发表《为什么陶醉》一文，批评林“作品中的那种荒凉、冷落的情调和社会主义时代人民群众的感情意味是格格不入的”。若干年后，这名当年林风眠的学生为此愧疚不已。

而到了“文化大革命”，批评就不止于言说了。在一片抄家的气氛中，林开始自毁作品，据他的义女冯叶说：“先是撕去几张，投进壁炉中焚烧，但当时是夏天，周围都有人监视，烟囱冒烟可不是好玩的。所以义父就改为将画都浸在浴缸之中，慢慢地做成纸浆。他多次说过：‘我不要连累任何人，我不要留下任何一张可以作为罪证的作品，我要亲手毁了它，我还会再画。’那些纸浆，小部分由我混在垃圾中，分散地倒出去，大部分是由义父一点一点地放在抽水马桶里冲出去的。”

在从事这样的劳作时，他内心的痛苦可想而知。

1968年底，林风眠由于受一个当年去参加革命的学生牵连而入狱（也有一种说法，称与“四人帮”整周恩来黑材料有关）。他在牢里的情况冯同样有记述：“在冤狱之中的义父，被加上莫须有的罪名打他、饿他、折磨他。为了逼他抄莫须有的认罪书，逼他签字，常常用手铐将他的双手紧铐在背后，两三个星期不放松，侧身挤着睡。双手肿得像馒头一样，动一动，手铐就紧一紧，嵌进肉里，满是血水。”