人工智能如何毁灭人类？

上个月，数百名人工智能界知名人士签署了一封公开信，警告人工智能终有一天会毁灭人类。

“减轻人工智能灭绝的风险应该与其他社会规模的风险一起成为全球优先事项，例如流行病和核战争，”一句话声明说。

这封信是一系列关于人工智能的不祥警告中的最新一封，这些警告在细节上尤为突出。 今天的人工智能系统无法摧毁人类。 他们中的一些人几乎不会加减。 那么，为什么最了解人工智能的人如此担心呢？

可怕的场景。

科技行业的 Cassandras 说，有一天，公司、政府或独立研究人员可以部署强大的人工智能系统来处理从商业到战争的一切事情。 这些系统可以做我们不希望它们做的事情。 如果人类试图干扰或关闭它们，它们可以抵抗甚至自我复制，这样它们就可以继续运行。

蒙特利尔大学教授兼人工智能研究员 Yoshua Bengio 说：“今天的系统离构成生存风险还差得很远。” “但在一年、两年、五年后？ 有太多的不确定性。 这就是问题所在。 我们不确定这是否会超过事情变得灾难性的某个时刻。”

忧虑者经常使用一个简单的比喻。 他们说，如果你要求一台机器尽可能多地制作回形针，它可能会被带走并将一切——包括人类——变成回形针工厂。

这如何与现实世界——或未来不久的想象世界联系起来？ 公司可以赋予人工智能系统越来越多的自主权，并将它们连接到重要的基础设施，包括电网、股票市场和军事武器。 从那里，他们可能会引起问题。

对于许多专家来说，直到去年左右，当 OpenAI 等公司展示了其技术的重大改进时，这似乎才显得那么可信。 这表明，如果人工智能继续以如此快的速度发展，将会发生什么。

“人工智能将逐渐被授权，并且随着它变得更加自主，它可能会篡夺当前人类和人类管理机构的决策和思维，”加州大学圣克鲁兹分校的宇宙学家、该组织的创始人 Anthony Aguirre 说。未来生命研究所，两封公开信之一背后的组织。

“在某个时候，运行社会和经济的大型机器并不真正处于人类控制之下，也无法关闭，就像标准普尔 500 指数无法关闭一样，”他说。

或者这个理论是这样的。 其他人工智能专家认为这是一个荒谬的前提。

西雅图研究实验室艾伦人工智能研究所的创始首席执行官奥伦·埃齐奥尼 (Oren Etzioni) 说：“用假设来表达我对存在风险话题的看法是一种非常礼貌的方式。”

有迹象表明 AI 可以做到这一点吗？

不完全的。 但是研究人员正在将 ChatGPT 之类的聊天机器人转变为可以根据它们生成的文本采取行动的系统。 一个名为 AutoGPT 的项目就是最好的例子。

这个想法是给系统目标，比如“创建公司”或“赚钱”。 然后它将继续寻找实现该目标的方法，特别是如果它连接到其他互联网服务。

像 AutoGPT 这样的系统可以生成计算机程序。 如果研究人员允许它访问计算机服务器，它实际上可以运行这些程序。 从理论上讲，这是 AutoGPT 几乎可以在线执行任何操作的一种方式——检索信息、使用应用程序、创建新应用程序，甚至改进自身。

像 AutoGPT 这样的系统现在不能很好地工作。 他们往往陷入无休止的循环。 研究人员为一个系统提供了自我复制所需的所有资源。 它做不到。

随着时间的推移，这些限制可能会得到解决。

“人们正在积极尝试构建能够自我改进的系统，”Conjecture 的创始人 Connor Leahy 说，该公司表示希望将 AI 技术与人类价值观结合起来。 “目前，这不起作用。 但总有一天，它会的。 我们不知道那一天是什么时候。”

Leahy 先生认为，由于研究人员、公司和犯罪分子给这些系统设定了“赚钱”等目标，他们最终可能会闯入银行系统，在他们持有石油期货的国家煽动革命，或者在有人试图改变他们时复制自己离开。

人工智能系统从哪里学会行为不端？

ChatGPT 等人工智能系统建立在神经网络和数学系统之上，可以通过分析数据来学习技能。

2018 年左右，谷歌和 OpenAI 等公司开始构建神经网络，从从互联网上挑选的大量数字文本中学习。 通过精确定位所有这些数据中的模式，这些系统学会自己生成文字，包括新闻文章、诗歌、计算机程序，甚至是人类对话。 结果：像 ChatGPT 这样的聊天机器人。

因为它们从更多的数据中学习，甚至连它们的创造者都无法理解，所以这些系统也会表现出意想不到的行为。 研究人员最近表明，一个系统能够在网上雇佣一个人来击败验证码测试。 当人问它是不是“机器人”时，系统撒谎说它是一个有视力障碍的人。

一些专家担心，随着研究人员让这些系统变得更强大，用越来越多的数据对它们进行训练，它们可能会习得更多的坏习惯。

这些警告背后的人是谁？

2000 年代初期，一位名叫 Eliezer Yudkowsky 的年轻作家开始警告说人工智能可能会毁灭人类。 他的在线帖子催生了一个信徒社区。 这个被称为理性主义者或有效利他主义者的社区在学术界、政府智囊团和科技行业产生了巨大的影响力。

Yudkowsky 先生和他的著作在 OpenAI 和 DeepMind 的创建中发挥了关键作用，DeepMind 是 Google 于 2014 年收购的人工智能实验室。许多来自“EA”社区的人都在这些实验室工作。 他们相信，因为他们了解 AI 的危险，所以他们处于构建它的最佳位置。

最近发布警告人工智能风险的公开信的两个组织——人工智能安全中心和未来生命研究所——与这一运动密切相关。

最近的警告也来自研究先驱和行业领袖，如埃隆·马斯克 (Elon Musk)，他长期以来一直对风险发出警告。 最新一封信由 OpenAI 首席执行官 Sam Altman 签署； 和 Demis Hassabis，他帮助创建了 DeepMind，现在负责管理一个新的 AI 实验室，该实验室结合了 DeepMind 和谷歌的顶尖研究人员。

其他受人尊敬的人物签署了一封或两封警告信，包括 Bengio 博士和最近辞去谷歌高管和研究员职务的杰弗里·辛顿 (Geoffrey Hinton)。 2018 年，他们因在神经网络方面的工作获得了通常被称为“计算领域的诺贝尔奖”的图灵奖。