如此直言，岂能容忍？于是在周扬亲自干预下，彦涵被戴上“右派”分子帽子。事后，所在党支部开会，按当时规定，凡划了“右派”的一律开除党籍，但在表决通过时，彦涵不举手，并称：“我不举手就是不同意对我的处分决定，我有这个权利，尽管这是我最后的权利！”然后欠了欠身离去。此后，他还干了许多那个年代几乎无人敢为的事，譬如叫他在“关于‘右派’分子彦涵的政治结论”上签字，他不签；叫他和艾青、丁玲等一起到北大荒改造，他不去：“我有胃溃疡，要我到北大荒，等于要我死！”把他一个人下放怀来县农村，他还是拒绝：“我小儿子还只有10岁，老婆有病，要去一家人一起去，我不能眼睁睁妻离子散！”要他改个名字下放，他不答应：“名字是我自己的，别人有什么权力让我改？”而当美协领导劝他：“下去好好改造，改造好了还可以回来”时，他竟然回答：“我当然要回来了！”

如此应对，在当时的政治气候下需要多大勇气，后人已很难体会，绝大多数当事者，不管内心是否想得通，都不得不屈从。

如果当年有更多人能像彦涵这样，坚持说出自己的想法，不管要承受什么后果，也许整个局面就会有一点变化。这也正是他可贵之处。

下放到怀来后，彦涵倒是受到了当地领导私下的照顾，被安排到《怀来报》搞插图。在此期间，仍有一批反映农村生活的版画陆续问世。

世事难料，彦涵态度如此强硬，却是第一批脱帽的，并在随后不久获准调入由周扬夫人苏灵扬任院长的北京艺术师范学院美术系任教，苏友善地向他提出是不是写个报告“把过去的错误认识一下重新入党”（不知道其中有没有周扬的意思），但涵彦执拗地坚持：“我从来就没有同意过开除我的党籍，现在也不同意，所以重新入党我不入，我要求恢复党籍。”

此事也只好无果而终。

“文化大革命”开始，彦再次被揪出来，其罪行是为《刘志丹》插图，毛泽东曾借康生的话称这本书“利用小说进行反党，是一大发明”，他无意间又撞到枪口上，进了牛棚，一待便将近两年。

而就在工宣队宣布可以每周回家一次时，他发现夫人白炎失踪了。这位也是从延安走过来的老革命，在外文出版社工作，翻译出版《收租院》时，把书中受刘文彩剥削的100多户农民误写成10户，少了一个0，本来检查之后就可以了结，但清理阶级队伍运动一来，她被揭出是大地主的女儿，丈夫又属于“右派”，谁能保证不是居心叵测？于是被当成典型，几经折磨后投入牢房。

1979年，彦涵的冤案总算得到平反，此后他放下刻刀，拿起油画笔，给黑白世界加上了绚丽的色彩，绘画语言也发生了很大变化。

生活的磨难使他的艺术得以脱胎换骨，有人称彦涵完成了“从写实的现实主义到抽象的现实主义过渡”，这与罗工柳晚期的变化几乎一样，其中早年艺专的教学发挥了多少影响，生活本身又起了什么样的作用，是个值得研究的问题。