「空想AGI」什么时候休息闹剧？Science栏目：对AI前景的预测过于乐观

【导读】在将AGI作为最终目标之前，我们应该首先就AGI的概念定义达成共识。历史上对通用AI发展的预测过于乐观！

近年来，AI技术的发展远远超出了普通大众和研究者的预期，「通用人工智能（AGI）」这一概念也从科幻小说走向了日常生活的讨论，成为许多科技公司和研究机构追求的最终目标。

OpenAI是AI行业的领头羊，它的使命是「确保通用人工智能惠及人类」；

在公司愿景声明中，DeepMind还指出，「人工智能可能会推动历史上最大的变革之一。」；

英国政府的人工智能战略和美国政府的人工智能文件中也强调了AGI概念；

在各种语言模型GPT-4中，微软的研究人员声称发现了「AGI火花」（sparks of AGI）存在的证据；

论文链接：https://arxiv.org/pdf/2303.12712.pdf

谷歌现任和前任高管声称「已经到了AGI」（AGI is already here）；

「GPT-4是否可以算作AGI算法？」Elon也是一个问题 对于OpenAI，Musk提起诉讼的核心... ...

虽然AGI术语已广泛应用于商业、政府和媒体，但不同群体的用户并未就AGI概念的含义达成共识。

「到底AGI的含义是什么？」AI社区引起了激烈的争论，这不仅仅是一个关于问题的问题。「术语」对AGI作出的重要决策，如科技公司、政府机构等，也将受到定义的学术争论的影响。

最近，圣菲研究所教授Melanie 在Science上，Mitchell发表了一篇关于通用人工智能概念的文章，讨论了大众的争论。

经过对AGI的深入研究，人工智能从业人员可以发现智能实质。（the nature of intelligence）研究人类和动物理解的观点与人类有很大不同，这种差异对人类有很大的不同。「了解当前，预测机器智能的未来前景」等待尤为重要。

人工智能概念

在人工智能领域，最初的目标是创造一种与人类相同、具有通用智能的机器。

早期的人工智能先驱们对此持乐观态度：1965年，赫伯特·西蒙（Herbert Simon）预测着作《人与管理的自动化形式》「20年后，机器可以承担人类所能做的一切。」；

马文·明斯基于1970年出版的《生活》杂志。（Marvin Minsky）声称:三到八年后，我们可以拥有一台具有普通人智商水平的设备，一台可以阅读莎士比亚、润化汽车、玩办公政治、讲笑话、打架的机器。

不幸的是，这些乐观的预测并没有实现。

在接下来的几十年里，唯一成功的人工智能系统只能被视为特殊的，而不是通用的:只能执行单一任务或有限的任务。例如，手机上的语音识别软件可以转录口述内容，但不能理解具体内容并生成回复。

通用人工智能（AGI）这个词是在21世纪初创造的，以再一次追寻人工智能先驱最初的高尚愿望，寻找再一次关注。「试图以不同的方式研究和复制智能。」。

然而，直到最近，这种高尚的向往在人工智能领域仍然相当模糊。领先的人工智能公司将实现AGI作为其主要目标，但AGI的存在。（existential threat from AGI）仍然是他们最害怕的事情。

许多人工智能从业者都在预测AGI的实现时间线，例如，有人预测，「到2028年，AGI将有50%的机会。」；但也有人质疑AGI的前提，称其定义模糊不清，甚至有研究人员在推特上表示:AGI的概念不科学，人们应该对使用这个词感到尴尬。

虽然早期的AGI支持者认为机器很快就承担了所有的人类活动，但是研究人员已经意识到，创造一个「国际象棋机器人」或是「回答AI系统搜索查询的问题。」开发机器人将比开发机器人更好「叠衣服」或「修水管」容易得多。

同时，AGI的概念也进行了相应的调整，包括所谓的「认知任务」（cognitive tasks）。

DemisDeepMind创始人 Hassabis将AGI定义为「它应能完成几乎任何人类都能完成的认知任务。」OpenAI将其描述为系统。「在有经济效益的工作中，高度独立的系统优于人类。」（most economically valuable work)，它的定义大多忽略了物理智能的需求（physical intelligence）的任务。

在人工智能中「智能」概念，即认知或其它方面，通常是通过个人智能体作为奖励或优化目标来构建的。

一篇有影响力的论文将通用智能定义为「在各种环境中实现智能体目标的能力」。

论文链接：https://link.springer.com/article/10.1007/s11023-007-9079-x

还有论文指出，「智商及其相关能力可以理解为促进奖励最大化」。

论文链接：

https://www.sciencedirect.com/science/article/pii/S0004370221000862

事实上，这也是目前人工智能系统的运行方式，例如，计算机程序AlphaGo被训练进行优化「赢得比赛」GPT-4的奖励函数是通过训练来优化的。「预测句子中的下一个单词。」奖励函数。

一些人工智能研究人员猜测，人工智能系统一旦完成AGI，就会将其优化能力应用到自己的软件中，快速达到超越人类的智能水平，迭代推广自己的智能；AGI系统将在极端预测下「比我们聪明几千倍或者几百万倍。」。

这一对人工智能社区优化的关注引起了一些人的担忧。「不符合人类标准」（unaligned）AGI可能会给人类带来生存的危险，并偏离其创造者的目标。

哲学家尼克·博斯特罗姆在2014年出版的《超级智能》一书中（Nick Bostrom）假设人类为超级智能人工智能系统提出了一个著名的思想实验：「升级回形针生产」人工智能系统将利用其智能来调节地球上的所有资源，并将地球上的一切都转化为回形针。

当然，人类并非为了制造更多的回形针而摧毁地球和人类，而是在说明书中没有提到这一点。

Yoshua人工智能研究员 Bengio还提供了一个思想实验:人工智能可能需要处理气候变化，但是AGI可能会设计一种病毒来摧毁人类，因为我们给出的指令是对的。「伤害的含义」解释得不够清楚，人类实际上是处理气候危机的主要障碍。

这一对AGI(或超级智能)的推测观点不同于研究生物智能，尤其是人类所理解的观点。

虽然认知科学没有严格的定义「通用智能」，然而，大多数认知科学家认为，智商水平不是一个可以量化的指标，而是一种复杂的综合通用性和特殊能力，可以简单地向上或向下调整。在许多情况下，它可以适应特定的进化生态位置。（specific evolutionary niche）。

许多研究生物智能的人也怀疑所谓的智能。「认知」一方面可以从其他方面分离出来，并在一台没有实体的机器中捕捉到:心理学家表示，人类智商的重要方面是建立在一个人的身体和情感体验的基础上。

证据还表明，个人的智力深深依赖于一个人参与社会和文化环境、理解、协调和向他人学习的能力，这可能比个人更好。「优化能力」更重要。

另外，前面提到的回形针人工智能（paper clip–maximizing AI）不同的是，人类智能并不是以优化固定目标为核心，一个人的目标是通过复杂整合先天需求和支持其智能社会和文化环境而形成的。

与超级智能体不同，智商的提高恰恰使人类能够更好地理解他人的意图和自己行为的可能性，并相应地调整自己的行为。

就像思想家卡佳·格雷斯一样。（Katja Grace）所说，把「接管宇宙」对任何人来说，目标都是荒谬的，那么为什么我们认为实现人工智能的目的是不同的呢？

为了提高自己的智能水平，一台机器改进了自己的软件，也偏离了生物学的观点，即智能是一个高度复杂的系统，不仅需要大脑参与。

假如人类的智力水平需要不同思维能力的复杂整合和社会和文化的支持，那么系统的「智能」水平很可能不能提高自己。「软件」能力，就像人类不能设计大脑(或基因)来使自己变得更聪明一样。

然而，人类可以通过外部技术工具(如计算机)和建立文化机构(如学校、图书馆和互联网)作为集体来提高有效的智商水平。

关于AGI的含义和AGI是否是一个连贯的概念仍在争论中。关于AGI机器能做什么的猜测主要是基于直觉，而不是科学证据。

但是这种直觉可以有多大的可信度呢？人工智能的历史反复证实了我们对智能的直觉是错误的。

许多早期的人工智能先驱认为，逻辑编程设备将捕获所有人类智能；其他学者预测，机器需要具有普通人类水平的智能，才能在国际象棋中战胜人类，或者在语言之间翻译或对话，但最终被证明是错误的。

人工智能进化的每一步，人类智能水平都比研究人员所期望的要复杂。

现在关于机器智能的猜测也会被证明是错误的吗？为了回答这些问题，我们能否开发出更加严谨和通用的智能科学？

现在人工智能科学是否更像人类智能科学，或者更像天体生物学(预测其它星球上的生命可能是什么样子)。

无论是外星生命还是超级智能机器，都需要基于一般原理的理论来预测从未见过甚至可能不存在的东西。

最后，通过对这些原理的长期科学研究，所谓AGI的含义和后果不会通过媒体的辩论、诉讼或直觉和猜测达成共识。

参考资料：

https://www.science.org/doi/10.1126/science.ado7069

本文来自微信微信官方账号“新智元”（ID:AI_era），编辑：LRS，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com