由于他出色的组织才能，很快他就受到了重用，1930年11月，叶若夫被任命为中央组织分配处处长，也就是说，他开始管理党的所有干部。这个最重要的处的处长直接受斯大林的领导。叶若夫这个人可怕的地方在于他本来是一个脾气暴躁的人，但是当他变为中央组织分配处处长之后，突然变得和蔼可亲起来，令人喜爱。这也难怪有人后来称他为“嗜血侏儒”了，这要比“笑面虎”还要冷酷和恐怖十倍。谁也不知道这个“人人都以为他仁慈温和的人”心里到底在盘算着什么。

叶若夫在1933年被任命为中央清党委员会主席，之后当选为党的监察委员会副主席，1935年2月1日当选为中央书记。他后来取代卡冈诺维奇当了党的监察委员会主席。从此他受到了斯大林的极大重视。他所表现出来的勤勉和忠诚赢得了斯大林以及其他很多官员的高度评价。在他人看来，叶若夫几乎“把自己90%的时间”都用于内务人民委员部的工作。

1936年9月26日他又被任命为内务人民委员。1937年在莫斯科的一次联共会议上，斯大林作了题为《关于党的工作中的缺点和肃清托洛茨基主义两面派及其他两面派的措施》的报告。他称托洛茨基分子是“一群执行外国情报机关下达的任务的毫无廉耻和不择手段的危害分子、破坏分子、间谍和凶手”。而叶若夫则附和着斯大林，并且用他特有的阴阳怪调的声音暗示有一些同志在掩护某些破坏分子和托洛茨基分子。说到动情处，他会大力地向前伸出双手，并用一种特别的声调强调：“你们别看我个子矮，可是我有一双斯大林式的强有力的手。”他在暗示别人，他的无所不能。他那种对每个人都怀疑的眼神，让当时开会的不少人胆战心惊。他甚至直接威胁说，不管是谁，只要敢阻挠打击人民公敌这项工作，那就要把这些人枪毙。

这次会议之后，叶若夫开始了他的大清洗。他从国家安全机关清除掉5000多人，把大量新人调入国家安全机关，而这些新人中真正受过高等教育的寥寥无几。谁也不知道这到底是一个什么样子的组合，不过这些乌合之众正在影响着一国政治走向。

1937年7月，所有党的委员会、内务人民委员部机关和检察院都收到了由斯大林、叶若夫和维辛斯基签署的《关于清除敌对阶级的残余分子——过去的富农、反苏积极分子和刑事犯罪分子的行动的搞法与规模》这一指示。

随后叶若夫又签发了关于在1937年8月5日开始行动的第00447号命令。各边疆区和州都领到了具体任务——应该逮捕多少人。被捕者被分成了两类。第一类人马上就被枪决了，根本不用走法律程序，第二类人被判刑8·10年。