在莫斯科，冈察洛夫一家住在自家位于尼基塔街的房子里。А.М.瓦斯涅佐夫在19世纪80年代画的这栋房子的画被保留下来。内有贵族式房屋及厢房的大宅院（全部是木质结构）沿着斯卡良金胡同，差不多占据了位于大小尼基塔街之间的整个街区。在宅院附近，还有个不大的花园。普希金多次住在尼基塔街的房子里。他在一封给妻子的信中写道，他住在冈察洛夫家的半楼里。

通常认为，尼古拉·阿法纳西耶维奇是从1814年年底开始得病的。有关他生病的说法非常矛盾。家里人认为，坠马是生病的原因，还有人说生病源自母亲的遗传。后来大家都认为，他得了“精神错乱”。阿拉波娃的《回忆录》在某种程度上进一步证实了这种说法。她以极忧郁的笔调描绘着他的状况。

早在1936年，Т.沃尔科娃就对尼古拉·阿法纳西耶维奇患有心理疾病表示过怀疑。她写道：“А.П.阿拉波娃所说的事实可信度很小，什么也证明不了。我们毫无根据地认为，事情就像她所描述的那样发生发展。显然，尼古拉通常是安静平和的，甚至可以做些事，但疾病也会随时发作，让他无法自控。”

尼古拉·阿法纳西耶维奇是否真的就像家人所固执地认为的那样心理不正常呢？从不久前我们所找到的娜塔莉亚·伊万诺夫娜的书信来看，产生了有关他患病完全不同的印象—他其实是在酗酒！毫无疑问，与父亲决裂成了他酗酒的推动力。他曾掌管众多冈察洛夫家族企业，工作紧张而积极，并且卓有成效。而之后，他突然觉得无事可做，之前所做的一切都付诸东流，家族面临全面破产—这一点是正确的，阿法纳西·尼古拉耶维奇留给子孙的“遗产”是50万债务。

由于尼古拉·阿法纳西耶维奇患病又有了新资料，不禁让人产生重新审视母亲娜杰日达·普拉托诺夫娜“遗传”的想法。她是否是被急于摆脱她的丈夫阿法纳西·尼古拉耶维奇所认定成精神失常的呢？提出这样的假设完全正当。而尼古拉·阿法纳西耶维奇显然与母亲关系非常好，经常到莫斯科看望她。

儿子离开后的最初几年，阿法纳西·尼古拉耶维奇还是在尽职地供养着儿子一家。他将一个亚麻布厂租给一个叫乌萨乔夫的人，答应每年支付给尼古拉·阿法纳西耶维奇一家4万卢布，用于生活和孩子的教育支出。位于尼基塔街的家中情况十分糟糕：尼古拉·阿法纳西耶维奇经常喝得酩酊大醉，还寻衅滋事。孩子们害怕父亲，因此让他带着服侍的仆人搬到冈察洛夫家单独的厢房去住。

娜塔莉亚·伊万诺夫娜向公爹抱怨丈夫喝酒。“他所有的失常都源于饮酒过量。”1819年1月7日，她在信中写道，“他亲口对我承认喝过七杯伏特加酒。”显然，当生活或多或少地恢复到正常的轨迹时，他就会长时间地神志清醒。1817年8月，夫妇二人在医生的建议下去“纳肖金水疗”。尼古拉·阿法纳西耶维奇给父亲写信说到此事，还提到他们就带了“小塔莎一个孩子”。但他不喜欢水疗。他们很快就回家了。

“尼古拉·阿法纳西耶维奇看起来好多了。”1818年2月27日，娜塔莉亚·伊万诺夫娜在给公爹的信中写道，“他常走进儿童房，面对塔莎的顽皮而发笑。”

尼古拉·阿法纳西耶维奇一生喜爱音乐，在生命最后的日子里，他还在拉小提琴。他在一封信中曾抱怨不给他换琴弦的钱。钱的确没直接给他本人，家里人是担心他派仆人买酒。