抗战开始，他率校西迁，却在1938年冬，不得不离开艺专。此中原委，据说与当时进了教育部的张道藩有关。张在国立艺术院草创时就投奔而来，有一种讲法称看上了才貌兼备的蔡威廉，但蔡对张并没有兴趣，当时林风眠也只给了他一个讲师席位，未聘以教授，这两点都让张心存芥蒂。1933年，张任浙江省教育厅厅长时，艺专学生去请愿，还动手打过他，更加深了他与两位林先生的隔阂，到了教育部后，即下手让两校合并后的国立艺专辞退了林文铮，继而又逼走林风眠。

离校后的林家老小随难民来到昆明，其间历尽艰辛。经过半年奔波，才在西南联大找到工作，林文铮教西洋文学史，蔡威廉教法文，租住在城内破旧的民房里。

梁实秋曾在一篇名为《记蔡威廉女士》的文章中描述过当时林家的境况：

到昆明来后，我们凑巧又成为邻居，同住昆明北门街。问及时，方知两夫妇都离开了艺专，失了业。其中经过情形并不明白，但总觉得古怪。文铮或和朋友意见不合，放下学校事不干。蔡女士为人那么忠厚老实，对人几乎可说从没说过一句闹别扭的话，对职务又那么热心认真，若非二三子有意作弄，她决不会从这个学校离开。当时学校负责人，若稍微肯为这个学校着想，肯为艺术教育着想，蔡威廉女士本人即或要辞职，也一定会加以挽留，不许她离开。可是她竟然离开了学校。且据朋友们传说，生活情形在沅陵时即已经很窘迫。

但与两夫妇谈及学校时，她竟一句话不说。总好像贫穷是并不怎么可怕的，学校风潮闹下去，倒有点可惜。人家不要她教书，她还是可以自己作画。为证明这点理想并不因离开学校而受挫折，墙壁上就贴满了她为孩子们作的小幅精美速写。

可是事实上随之而来的生活自然也就有点麻烦了。房子那么小，大杂院那么乱，想安静作画是不可能的。初雇来的本地佣人照例不合适，做不上三天又走了，做主妇的就得为一家大小八口做饭。五个孩子虽然都很乖，大的是个女孩，家务事还能帮点小忙，提提水，炉子里加加松毛，拌和稀饭，最忙的自然还是主妇。并且腹中孩子已显然日益长大，到四五月间即将生产。我进出住处需从他们厨房楼下经过，孩子们一见我必大声招呼，我必同样向这些小朋友一一答话。常常看到这个做母亲的，穿了件宽博印花布袍子，背身向外，在那小锅小桌边忙来忙去。听我和孩子招呼时，就转身对我笑笑，我心中总觉得很痛苦。生活压在这个人身上，实在太重了，微笑就是一种无可奈何的表示。想用微笑挪开朋友和自己那点痛苦，却办不到。

我每天早晚进出，依然同小朋友招呼。间或称呼他家第三位黑而胖的小姐作“大块头”，问她爸爸妈妈好，出不出门玩。小孩子依然笑嘻嘻答应“很好”。可是前两天听家里人说，才知道孩子的母亲，在家生产了一个小毛毛，已死去3天了。

死的直接原因是产褥热，间接原因却是无书教、无收入，怕费用多担负不起，不能住医院生产，终于死去。人死了，剩下一堆画，6个孩子。”