蔡威廉难产生下女婴后不久，即在床前的白壁上用铅笔画出新生女儿的肖像，并写上“国难！家难！”遂成绝笔。

爱妻病逝对林文铮是个沉重打击。也就在此前此后，他皈依佛门，入了“红教”（喇嘛教中的一支）。

林文铮在昆明共待了7年，其间一度也失业，靠卖文与变卖家产度日。

抗战胜利后，他到广州任中山大学外文系主任。据梁实秋在另一篇文章中说：此时的林“好佛，他的单人宿舍是一间卧室一间佛堂，常于晚间作法会，室为之满。林先生和我一见如故，谓有夙缘，从此我得有机会观经看教，但是后来要为我‘开顶’，则敬谢不敏”。

当初林遵循蔡先生的意愿，是试图“以美育代宗教”的，看来这种替换在他自己身上就未能实现。

一直到20世纪40年代底，林家始终为贫困笼罩，有钱买米、无钱买菜是常事。

新中国成立后，1953年全国高校院系调整，他被调到南京大学任教授，教外国文学史。

1957年，“反右”之前的大鸣大放中，他因说了若干真话而成为按人民内部矛盾处理的“敌对分子”。如果说这算逃不过的命运，那么其后因“反动会道门头目”被拘，判重刑20年，即便在当时亦十分罕见，而所谓罪行，据说只是他数十年如一日仍在按密宗方式焚香诵经。这本来是一种私密行为，但当阶级斗争的弦绷得越来越紧时，邻居大妈的“政治觉悟”都提高了，觉得此类做法非同寻常，联系到老先生右派身份就更令人生疑了，有人经居民委员会和街道办事处干部再进一步向上检举，经过审理，乃以“铁证如山的装神弄鬼”获罪。

林文铮入狱后一年，马岭山房被政府代管，住进了7户人家，至于他花费几十年心血积累起来的写作资料、诗稿、书籍都被保姆的儿子当作“废纸”卖掉了。

1968年，当时借居在广州的林文铮再婚妻子连棣贞，因反革命家属身份，被揪斗、游街、关押，受尽折磨、不得已与他办了离婚手续。从此，她精神上的创伤难以愈合，得了抑郁症，两年后不治身亡。

林文铮被囚禁在南京监狱，有个时期患肝炎，体重一度下降至70斤。靠着坚强的毅力和自信度过漫长艰难的日子。他自己掏钱买了法文版《毛泽东选集》与马克思的《资本论》阅读，以期有一天能用知识再为社会服务。

1975年，出版部门要把鲁迅著的《中国小说史略》译成法文，找不到合适人选。最后经中央领导批准，特许林文铮在狱中翻译。

1976年春，他刑满出狱，从牢里带出的物品中，有一条床单是用数十块包裹布缝制而成的，成了往昔岁月的纪念。

晚年林文铮仍做些文字工作，但与美术已很少有关系。有一次研究美院校史的郑朝找到他，请他确认自己早年写的文章，不知道是真的记忆已经模糊，还是下意识中不愿面对过去，他不无凄婉地问女儿：这是我年轻时写的吗？

1989年，林文铮因贫血症逝世。家属按其遗愿处理了丧事，遵教规一切从简，没有开追悼会。