此时法西斯主义也开始传入苏联，斯大林不希望法西斯主义在苏联传播，所以作为国家安全局的首领，亚戈达自然要为这件事情找个解决办法。侨民与德国进行合作，传播法西斯主义，苏德之间的关系便出现了微妙的情况。

亚戈达这个人非常自满，尤其他在国家安全机关工作一段时间之后更是如此，比以前更加敏锐和能干了，他渐渐分不清楚哪些是敌人，准确来说是斯大林的敌人。事实上在基洛夫被刺杀那件事情上，斯大林就已经很不满了。亚戈达要搜查隐藏的白卫军分子，斯大林就说不要浪费时间，对于斯大林来说随时都可能撤掉亚戈达，他只是在等待一个更加得力的助手。果然，这个人他终于等到了，他就是叶若夫。

1936年9月25日，正在休假的斯大林从索契给政治局委员们发来一封电报。与他一起在电报上签字的还有政治局候补委员、中央组织局委员安德烈·亚历山德罗维奇·日丹诺夫。电报中写道：“我们认为，任命叶若夫同志为内务人民委员是完全必要的和紧急的事情。亚戈达显然在揭露托洛茨基—季诺维也夫集团的工作中未能出色完成自己的任务。国家政治保安总局在这项工作上延误了4年时间。所有党的工作者和内务人民委员部大多数州代表都这样讲。”［16］

自此亚戈达政治生涯开始走下坡路。亚戈达从1934到1935年逮捕了26万人，不过这也没有他的后任叶若夫逮捕和枪杀的多，所以从这个角度来看，亚戈达的确没有叶若夫更加有效率。但是事实上亚戈达的下台，跟叶若夫本人也有很大关系，在前政治局委员和工会领导人米哈伊尔·帕夫洛维奇·托姆斯基于1936年8月22日自杀后，曾给斯大林留下一封信，让斯大林具体问题可以问托姆斯基的妻子。

斯大林还在休假的时候，询问托姆斯基的事情就落在了叶若夫和政治局委员谢尔戈·奥尔忠尼启则身上。叶若夫趁此机会则跟斯大林说，托姆斯基的妻子说是亚戈达让其走上右翼反动派道路的。这种说法有人认为是无稽之谈，但是从另外一个侧面也可见国家政治局领导这个职位竞争之激烈。

亚戈达在1936年9月26日被任命为邮电人民委员，接着被转入预备役，最后在1937年3月18日被叶若夫指控说他是沙皇暗探局的侦探、骗子和盗用公款者。紧接着，他就被解除职务，叶若夫找了非常多的证据，使得亚戈达再也翻不了身了。1938年11月13日，亚戈达被处以极刑。