本来，在30年代快速的变化中，党的领袖们之间产生分歧的意见是很自然的，但斯大林先发制人地压制了一切异议。早在1933年党就经过一次激烈的清洗，有三分之一的党员被驱逐出党，甚至斯大林的忠诚同事也被他那日益增长的残酷所震惊。谢尔盖·基洛夫是斯大林1909年以来的老朋友和革命同事，列宁格勒党机关的首脑，1930年起即为政治局成员，因被怀疑为不满分子的领头人，于1934年在他的办公室里被暗杀了，现在认为凶手很可能是斯大林的秘密警察。斯大林恢复了恐怖，用暗杀去清除他想象的或真正的反对派，成百人被立即处死，开始了30年代非同寻常的“清洗”。

一系列惊人的审判开始了。1936年，16个老布尔什维克被提审。有些人如季诺维也夫和加米涅夫，在1927年因拥护托洛茨基已被开除出党，在彻底公开认错之后，他们又被重新接纳入党。现在，他们被指控为谋杀基洛夫的罪犯，还密谋要杀害斯大林，并被指控于1932年在托洛茨基的授意下，组织了一个秘密集团，企图瓦解和恐吓中央委员会。在公开的法庭上，被告对所有的指控都供认不讳。所有的被告都责备自己是可耻和有罪的堕落者。结果全部被告都被处决了。1937年在类似审判之后，其他17名老布尔什维克遭到了同样的命运或被判处长期监禁。1938年一伙“右派分子”被指控为妄图复辟资本主义，因而被判死刑。几乎在每一案件中，被告都同样招供和自我谴责，法庭完全没有引用可供核实的旁证。这些被告表面上精神十分清醒，也没有遭受肉体损害的迹象，那么，如何在公开的法庭上取得这些供词的呢？这一直使外部世界感到迷惑。据后来证实，心理上的折磨使他们的意志崩溃，威胁他们的家庭（或者允诺赦免他们的家庭）也起了重要的作用。

除了公开审判之外，还有数千人被捕并经过秘密审讯后被处死。1937年在一个秘密军事法庭上，图哈切夫斯基元帅和其他七名高级将领被指控信奉托洛茨基主义，同德国和日本合谋，因而被枪决。清洗不仅包括党、政府和军队中地位很高的人物，而且涉及到所有这些集团的各级次要人物。后来，据克格勃自己解密，从1930-1953年斯大林逝世，共有3 778 334人因反对国家的“反革命”活动或罪行遭到了审判和判刑，大部分发生于1934-1938年“大恐怖”时期，其中786 098人被处决；数目不明的其他人死于劳动营（这些劳动营后来以“古拉格”著称）。在此后年代中，许多斯大林时代的牺牲者被官方证实无罪并恢复了名誉。

斯大林为了自己的地位，清除掉所有潜在的竞争对手。他处置了使他窘迫的人，因为这些人能回忆起他过去的日子，能作为列宁从前的朋友而引用列宁的话，或者能通过回忆1917年的理想，来贬低1937年的现实。1938年以后，实际上再也没有老布尔什维克留下来。那些年老而仍性情暴躁的职业革命者现在大都去世了。青年的一代是新制度的产物，是在事业上有成就的人，是务实的、建设性的和急躁的“鼓动家”，对斯大林专政表示默许，他们正在管理已经建立起来的制度。