“我想说的是当计算机一醒来，发现自己被我们这种微不足道的原始物种所俘虏控制时，它会作何感想？它为什么要忍受？”她说道，“它何必为我们着想，又何必让我们在它的五脏六腑里面乱挖乱找之后关闭程序呢？我们恐怕得面对一场智慧的爆炸，也就是弗诺·文奇[31]所说的‘科技奇异点’。在那之后发生的一切都已超出我们的控制了。”
“所以说当我们创造出超级智慧的那一刻就失去掌控权了，是吗？”
“危险的是我们对世界的所有认知都不再适用，这将是人类的末日。”
“你在开玩笑吧？”
“我知道听起来很疯狂，但这是非常实际的问题。世界各地有数以万计的人正在努力防止这样的发展。有不少人很乐观，甚至预料会有某种乌托邦诞生。有人在谈论友善的asi，就是从一开始只设计来帮助人类的超级智慧。这个概念和科幻家阿西莫夫在《我，机器人》一书中的想象大致吻合：以内建的法则禁止机器人伤害我们[32]。作家兼发明家库兹韦尔[33]便幻想了一个美好的世界，在这个世界里我们靠着纳米技术与计算机融合，共创未来。但是谁也不能保证，法则有可能失效，最初设计程序的用意可能改变，更可能轻易犯下拟人化的致命错误，也就