问题4. “为什么不使用毁灭开关？”

　　许多人对我说：“有什么关系？如果人工智能机器变得太强大，只要把它们的电源拔掉，使用毁灭开关，等等，就可以了。”我认为，这个观点是“电脑出现故障而强制关机”的经验的过度概括。

　　来信

　　亲爱的德·加里斯教授：

　　我一直在思考你们所创造的事物。继续制造这样的机器……但是，在你们的每一个机器里面放置一个可以被我们控制的炸弹。让它们聪明但是我们会成为它们的主人！

　　回答

　　如果“可被引爆的”人工智能机器拥有接近人类等级的智慧，它将意识到它会被人类摧毁。那会让人类对人工智能机器变得很具威胁性。这里至少有两个问题值得关注，一、人类是否可以在每一个人工智能机器身上安装毁灭开关或放置炸弹。二、这样做是否聪明？

　　在一个孤立的人工智能机器个体上，这样的附加炸弹的想法可能会有用，但是，你怎样对于一个达到人工智能智慧等级的网络系统使用同样的方法呢？毁掉这样一个网络的唯一方法就是摧毁所有相关事物，但是对于人类来说，那样的代价太高了。例如，如果明天世界上所有的互联网和电脑都毁掉了，几百万人将会突然失去工作，并且可能会饿死。这个破坏以及人类所付出的代价将是巨大的。

　　随着早期的人工智能机器变得更加聪明，它们会意识到附加在它们身上的炸弹和毁灭开关，就像一个体内携带毒药丸并且可以被其他人触发的人一样。这就像活在断头台下一样，只是在等待斧头落下，并且不知道它什么时候会落下。一个智慧的人工智能机器，假设它已经拥有了生存的本能，将会有解除这个威胁的强烈愿望。如果它足够聪明，它可能会行贿其人类主人来移除对其生存的威胁。作为回报，它可能会给予其人类“解放者”某些实质性的回报，例如，金钱、癌症的治疗，等等。人工智能机器变得越聪明，它们的分布越广，毁灭开关的想法就会越不实际。