在这种情况下，作为批判者并代表着正义的赫尔岑本人，也自然而然地和批判的对象划清界限，把自己置于被批判的范围之外，成功地逃离了自己火器杀伤的扇面。

刺痛那些对赫尔岑抱有敬意的人们心的，还有他在流放地维亚特卡的一桩风流韵事。在彼尔姆还没有真正待下来，赫尔岑就与另一个流放者对调到了维亚特卡。在那里，他与一个从外地迁来的不幸女子相遇，而这种相遇对于这名女子，更是不幸中的不幸。年仅二十六岁，不知什么原因嫁给五十多岁老人的梅德韦杰娃，会弹一手钢琴，容貌十分惹人喜爱。赫尔岑与她暗送秋波，常有纸条往来。在她丈夫病重的时候，赫尔岑更是殷勤备至，频频向她示爱，在老人的呻吟和咳嗽声中把他的妻子“紧紧地、紧紧地搂在胸前”。尽管她一再提出，“我满足了你的要求，现在放我走吧”，他还是不甘罢休。然而，就在他们的缠绵持续了一个月后，当梅德韦杰娃可怜的丈夫一命归天后，身世飘零、孤独无依的她满怀渴望地期待赫尔岑关怀的时候，公爵大人却撤回了自己的怀抱。他解释说“我不是对她漠不关心，绝不是”，因为他的心变得“疲倦和衰颓了”，“我的爱情之火熄灭了”。尽管她“目光常常带着不安的探询神情，停留在我的身上”，期待着他的回应，但他还是一直在回避，并保持着可怕的沉默。

被赫尔岑描绘成恶魔的省长秋法耶夫，对梅德韦杰娃的姿色早就垂涎三尺，看她现在孤儿寡母无依无靠，以为机会来了，便向她伸出无耻的魔爪。梅氏在这种情况下十分无助，因为“她的孩子们的命运握在他手中”。实际上，迫害已经开始，孩子们的补助申请被断然拒绝，房东和店铺掌柜讨账也“特别坚决”，俄罗斯的辽阔并没有给她任何出路。情急之下她向赫尔岑和另一个流放者诉说了自己险恶的处境。赫尔岑依旧没有任何帮助的表示，他依然保持着金块一样沉重的沉默，倒是与他分住同一幢房子、与梅没有任何情缘的维特贝格决定冒一切风险搭救她，毫不犹豫地让她搬到自己家来住，尽管这位流放者家庭负担很重，生活比赫尔岑不知要困难多少倍。但赫尔岑宁愿让自己相信，梅在他那里可以安然无事，因为“这个流放者的道德力量就是这样，他那不屈不挠的意志，那崇高的精神面貌，那无所畏惧的语言，那蔑视一切的笑，连维亚特卡的舍米亚卡（古代俄罗斯一个残酷的王公）本人也不能不有所顾忌”（《往事与随想》第一卷，P368）。此时，同住在一个屋顶下的赫尔岑只是暗暗地问自己：“为什么她偏偏遇上我这个意志薄弱的人？”他开始喝酒，并在污浊沉闷的炎热中等待清新的气流——纳塔利娅（赫尔岑的堂妹兼未婚妻）从莫斯科发出的信。

尽管赫尔岑后来承认，梅德韦杰娃“没有欢乐的一生是我最后摧毁的”；尽管经过漫长的回避、沉默和自我开脱之后，在结束维亚特卡的流放之前，赫尔岑最终熬不过自己的良心，写信向梅做了忏悔，并取得了这个善良女人的原谅与祝福（仿佛有罪的是她）。但对梅的回忆一直都使他感到痛苦，特别是若干年之后，当他听说了梅凄凉早逝的时候。从这件事情来看，即便是对近似于自己社会地位的人而言，赫尔岑的人道主义原则也没有得到实际的贯彻执行。

1861年，列夫·托尔斯泰出游欧洲，他很早就想结识享有盛名的赫尔岑了。那天，他来到赫尔岑在伦敦的寓所，通报说有一个俄国来访者想拜见赫大人，赫尔岑拒绝会见。于是他不得不递上自己伯爵的名片。楼上很快就传来了急促的脚步声，赫胖墩墩的身体几乎是从楼上飞下来的。这让托尔斯泰感到惊讶，在他的想象中，赫尔岑的身材应该是非常伟岸的。