林文铮更容易让人感叹他的不幸，感叹造化弄人，虽然有非常良好的开局，但谁也想不到最终结果。一九三八年十二月，教育部下令，将逃难到湖南沅陵的北平艺专与杭州艺专合并，结果出现了很严重的派系之争。文人本来好斗，国难期间也是如此，学生的火气特别大，动不动就闹学潮。据说背后还有张道藩在捣鬼，林风眠对付不了，甩手不干了，留下一份辞职声明，让林文铮念给全校的师生听。

林风眠一走，林文铮也无心干下去，辞职，夫妇双双离开。在当时，辞职就是失业，他们夫妇已有了五个孩子，一失去工作，顿时陷入贫困之中。好在半年后，又在西南联大找到了工作，林文铮教西洋文学史，蔡威廉教法语，聊以生存。也就是在这时候，蔡威廉生第六个孩子，得了产褥热不治而亡，他的邻居沈从文以十分沉痛的心情写道：

我每天早晚进出，依然同小朋友招呼。间或称呼他家第三位黑而胖的小姐为“大块头”，问她爸爸妈妈好，出不出门玩。小孩子依然笑嘻嘻答应“很好”。可是前两天听家里人说，才知道孩子的母亲，在家生产了一个小毛毛，已死去三天了。

林文铮变了一个人，没有志同道合的好友林风眠，没有美满恩爱的贤妻蔡威廉，他从此失去人生方向。法国留学生的潇洒派头不见了，床头金尽囊空如洗，作为六个孩子的父亲,养家糊口成为第一要务。有一种说法，国民党去台湾前，曾动员他也去，但是被拒绝了，他对国民党毫无感情。

林文铮曾经迷恋宗教，一度皈依佛门，信奉“红教”，藏传佛教的一个分支。一九四九年后高校调整，他被调剂到广州的中山大学，经济情况开始好转，一九五三年又调到南京大学外语系，教法国文学史。一九五七年反“右派”前，他是外语系副主任、法语教研室主任。南大的法语专业一向厉害，与他多少有点关系，“文革”前差点独立，成立专门的法语学校，连新校址都选好了。“文革”后，全国法语的第一个博士点也在南大。

如果不打成“右派”，以林文铮的法文水平，或许是另外一个结局。他再婚了，找了个比自己年轻二十岁的大姑娘。然而他成了“右派”，很快又是反动会道门分子，判刑二十年，直到一九七六年春天才被放出来。这时候，离粉碎“四人帮”，只有几个月。