1953年3月，斯大林去世。在独裁者的国葬仪式上，朱可夫是军方仪仗队伍中非常引人注目的一员。在后斯大林时代，任命朱可夫为国防部副部长，是新的苏联政府最早宣布的决定之一。随着1955年2月朱可夫被继斯大林之后担任苏共领导人的赫鲁晓夫任命为国防部部长，对他的平反工作也继续迅速展开。1955年7月，朱可夫参加了在日内瓦举行的英、法、美、苏大国峰会。这也是战后的首次峰会。他在那里遇到了战争刚结束时曾在柏林共事的德怀特·艾森豪威尔总统，并与之进行了会谈。让当时的《时代》杂志感到好奇的是：“两位老兵的友谊能否成为美苏紧张关系真正缓和的基础？”

作为国防部部长，朱可夫在苏联成了引人关注的公众人物，其地位仅次于赫鲁晓夫。1957年6月，在反对以前外交部部长维亚切斯拉夫·莫洛托夫为首的强硬派企图剥夺赫鲁晓夫领导权的斗争中，朱可夫扮演了重要角色。但不幸的是，对朱可夫而言，他在与莫洛托夫的斗争中所表现出的勇气，使自己成了赫鲁晓夫眼中的政治威胁。1957年10月，朱可夫受到指控，说他阴谋削弱党在武装力量中的作用。在那些指控朱可夫最力的人当中，有许多都是战争期间曾与他并肩战斗的将军和元帅。朱可夫被赫鲁晓夫解除了国防部部长职务，并于1958年3月在六十一岁这个还相对年轻的年龄时退役了。

就像在斯大林时代被外放一样，朱可夫在赫鲁晓夫时代剩余的时光里，也遭受了同样的命运：从历史书籍中除名。例如，苏共在从1960年开始出版的大部头、多卷本卫国战争史中，在极力夸大赫鲁晓夫的作用的同时，对朱可夫几乎只字不提。朱可夫失势的另一个表现就是把他与外界隔离开来。1963年，美国作家科尼利厄斯·瑞安在为他的那本研究柏林战役的书而访问苏联的时候，唯一被禁止见到的苏联元帅就是朱可夫。

让朱可夫聊以自慰的是，他可以写自己的回忆录。他的作家角色的榜样是温斯顿·丘吉尔。他读过后者以回忆录的形式撰写的二战史——20世纪50年代在苏联出版并限制发行的俄文译本。丘吉尔写那部书时的座右铭是，历史会证明他是对的———因为他将会书写历史！朱可夫似乎也抱有类似的想法，他不仅要用回忆录来表明自己的观点，还要用它来回击和反驳赫鲁晓夫那帮人对他的批评，尽管那意味着会为了对自己有利而影响到历史记录的准确性。

只要赫鲁晓夫还在继续统治苏联，朱可夫的回忆录就不可能出版。当他的女儿埃拉问他为什么还要劳神费力的时候，朱可夫说自己是为书桌的抽屉写的。不过，1964年10月，赫鲁晓夫下台了，为恢复朱可夫作为重要军事人物的名誉的工作也开始了。最值得注意的是，苏联媒体又开始发表朱可夫的文章了，包括他对莫斯科、斯大林格勒、库尔斯克和柏林等战役的记述。