我们应该害怕人工超级智能吗？一个回应

2019年2月23日John Loeffler发表了一篇关于interestingengineering.com的有趣文章。这篇文章被称为“我们应该害怕人工超级智能吗？”，其中，Loeffler认为虽然人工超级智能（ASI）可能很危险，但人们应该对此持乐观态度。作为一个未来主义者，我担心（近期）人类灭绝的可能性，我认为ASI是我们面临的最大危险之一。因此，当人们想到这一点时，我很感激，因为人类的关注似乎涉及到相对不重要的事情。但是，尽管勒弗勒和我都很乐观，但出于不同的原因我们是这样，而他提出乐观主义的方式让我深感忧虑。

什么是人工超级智能？

如果您熟悉术语人工超级智能（ASI），请随意跳过此部分。 ASI被定义为任何非生物智能，甚至比阿尔伯特爱因斯坦（或者你最喜欢的天才）更聪明。因此，智能可以被定义为代理在各种环境中实现目标的能力。在这里，代理人可以是人，另一种动物或机器。 ASI就是一台机器，它至少可以达到人类在其环境中可以达到的任何目标，每个目标至少与人类一样，并且其中一些（远）更好。

为何关注人工超级智能？

这很简单：根据定义，ASI将非常善于实现其目标（或目标，但为了简单起见，我认为它是一个目标）。这个目标本身对人类来说可能是极其好或坏，但ASI实现其目标的方式可能会产生类似的效果。尼克博斯特罗姆用一个名为Paperclip Maximizer的思想实验解释了ASI的黑暗面。在其中，我们有一个人工智能，其目标是最大化Cosmos中的回形针数量。为了达到这个目标，它可能会很好地寻求改善自己的智能，以便更好地最大化回形针的数量。结果将是一个非常熟练制作大量回形针的ASI。我们非常熟练，它将地球转变为回形针工厂，以创造更多的回形针。 ASI越来越多地实现了制造越来越多纸夹的看似无辜的目标，导致了人类的灭绝。既然它没有按照我们的任何道德进行编程，它就不知道人类的灭绝是一件坏事。

相关文章：神经网络的一个但有价值的指南

与任何技术一样，也有积极的一面，在ASI的情况下，它是巨大的。想象一下确实分享我们道德的ASI。它理解死亡通常是坏的，健康是好事，等等。如果有正确的目标，这样的智力可能很容易找到治愈癌症的方法，解决贫困和战争，并发明人类的不朽。它将找到解决全球变暖问题的方法，并发明新技术来探索太空。人类将以前所未有的方式茁壮成长。

勒夫勒的乐观主义案例

到目前为止，John Loeffler和我似乎都同意：ASI是一把双刃剑。 Loeffler和我分担了对ASI的恐惧，两人都看到，一旦它在这里，就没有回头路了。可能无法使用关闭开关。试想一下：关闭到互联网的哪个地方？ ASI可能要么连接到互联网，要么找到说服别人给它连接的方法，让它有权将自己上传到其他计算机。如果你认为它无法说服人们给它一个联系，那就再想一想。 AI-Box实验的迭代表明，ASI将能够说服某人。

Loeffler和我不同意的是，他对ASI的出现持乐观态度。

“我们完全有理由相信，ASI最终会为我们带来益处。每一项技术进步都需要付出代价，但人类文明因此而取得了进步。最后，人类在技术方面有着良好的记录。“

这是Loeffler和我从根本上不同意的地方。是的，我们在技术方面有相对较好的记录。但它已经进行了大量的反复试验。犯了错误 – 很多 – 人类从这些错误中吸取了教训。事故发生后，经常采取安全措施。例如，第一辆车没有安全气囊甚至没有防撞区。此外，尚未发生全面核战争的事实至少部分是由于运气。到目前为止，人类作为一个整体已经摆脱了这种懒惰的方法（虽然可悲的是，许多人已经死亡），但我们不能依赖于ASI。在构建ASI之前，我们需要确保ASI是安全的。一旦建立了ASI，就很有可能不会再回头了。如果它变得危险，人类就会完成。如果我们决定杀死所有的黑猩猩，就像黑猩猩无法赢得与我们的斗争一样，我们将没有机会保护自己免受极其优越的智力。

相关文章：今年要关注的人工智能趋势

结论

人工超级智能可以做得恰到好处，如果做得好，将有助于人类以前所未有的方式茁壮成长。但是我们必须仔细考虑如何在构建之前进行ASI。由于我们不知道ASI何时到达，我们现在必须考虑这个问题。