AI和人类的未来科幻预演

7月12日，中国科普作家协会理事、中国科教电影电视协会理事、上海浦东新区科幻协会会长在成都举办的“数实蓉合”系列科幻AI对话活动上举行。顾备，著名的科幻作家，《机器之门》《未来史记》江波，电子科技大学出版社社长，总编田江，主任、教授、作家、南方科技大学科学与人类想象力研究中心兼科幻创作与产业化研究中心。吴岩，以及复旦大学未来科技伦理与人类研究所的教授、研究员杨庆峰，围绕“明日预演-未来AI模型的场景和社会效应“圆桌对话由腾讯研究院高级研究员曹建峰主持。圆桌对话围绕未来大模型场景、人工智能时代的人类价值意义、新型人机关系、人工智能失控风险、人工智能对教育和工作的影响、负责人工智能和人工智能发展的概念原则等问题展开。本文根据圆桌对话的记录进行了整理。

科幻与科技有双向互动，科幻是寻找未来AI应用场景的有效载体。

江波：科学技术的发展为科幻想象提供了新的立足点。大型模型有三个要素：计算率、算法和数据。对我来说，存在数据积累的行业，都有可能成为大型使用场景。未来十年到二十年，大模型将通过梳理和学习历史积累的数据，以及AI创造的新数据，转化为机器人手术、耕地红线实时监控、天气预报等新的智能形式。所以，可以构思的使用场景很丰富，主要还是要看我们能去哪些场景挖掘积累的数据。同时，科幻作家探索智能产生的机制和场景，并将其融入到创作中，成为近期科幻文学创作的新趋势。

田江：AI创作科幻作品是一把双刃剑。另一方面，在过去，我们可能需要花费大量的精力来创作作品，但现在提纲和内容可以通过大模型快速生成。例如，清华大学新闻与传播学院教授沈阳利用AI平台创作的科幻作品《记忆之地》。另一方面，这也带来了两个挑战:一是AI对科幻创作提出了更高的要求，读者期待更具创意和文学价值的作品；第二，“模型崩溃”的问题。大模型的练习需要大量来自过去内容的真实场景数据。随着AI产生的作品和内容越来越多，原创真实作品的训练集中逐渐缺乏，导致模型崩溃。总体而言，在模型背景下，科幻读者对科幻作品和科幻作家提出了更高的要求。因此，未来一定是人工智能与人类共生的生态。人工智能可以进行大量的提取和梳理，而人类是真正的创造者。只有人才能创作出真正创新好的作品。

顾备：科幻学擅长应用落地。科幻和科技是双向的:科技赋能科幻创意，科幻赋能科技创新，科幻在一定程度上可以帮助科技创新在应用上的想象力。在新技术的帮助下，我们需要考虑的是它的落地场景。也就是说，十年后人们将如何使用这种技术？为什么未来的顾客会购买你的产品？这一想象实际上是在讲一个科幻故事，科幻作者正在做产品经理的工作。因此，我认为科幻小说是寻找高科技未来应用场景的最佳工具，也可以揭示潜在的危机。科幻小说不是不切实际的幻想，也不是大预言，而是指出未来的各种概率:所有可能发生的事情都有可能发生。

吴岩：在人类文学视野中，我曾经写过一篇文章《三种人工智能的计算》。第一种人工智能是由工业机构或个人建立的，例如Open。 AI、为了逐步推广自己的研究成果，建立技术壁垒，腾讯等。另一种人工智能体现在政府文件中，包括如何控制人工智能，未来发展方向等。两者都直接改变了我们的现实生活。但是，除了以上两种人工智能之外，还有第三种人工智能，即社会各界人士对人工智能的评论和看法。当时我在这篇文章中建议，一个好的社会应该大力发展第三种人工智能，因为只有这种形式的知识才能保证这个社会以民主的方式将人工智能推向我们想要的方向。科幻作家是第三种人工智能的重要组成部分。虽然他们看起来“胡说八道”，但他们可以在社会上引起广泛的讨论。因此，当讨论在社交平台上增加时，会有一定的压力，促进前两种人工智能转型为我们希望的人工智能。从这个意义上说，我们科幻作家的功效不容忽视。我希望通过我们的表达，传达我们所期望的人工智能的发展方向，而不是试图推动特定的机构或政府。

AGI是不可阻挡的趋势，如何走向超级智能？

吴岩：在我看来，未来十年可能会出现50个人工智能问题，但更远的未来是万物赋予和数据地球，下一步是万物赋予智慧，到达一个完全智能的宇宙。

杨庆峰：我个人认为超级智能是一个需要认真对待的问题，它的概率也是存在的。第一，每个人进入新世界的方式都发生了变化。在一项研究中，作者将万物视为元宇宙的入口，例如，它可以从笔、纸等日常用品进入元宇宙，这为我们未来进入一个全新的世界提供了概率。第二，有三种方法可以帮助我们进入超级智能。首先是通用智能，这是Open。 AI等正在做的事情；第二种方式是具体智能，这是李飞飞等人研究的重点；第三种方式是交互智能。这三条路径都有助于我们走向一个新的超级智能时代。

江波：AGI的出现是一种不可阻挡的趋势。以生物学为参照，自然界中许多生物都有自我意识，这是自然发展的结果。因此，我对人工智能自我意识的看法更接近于具体智能。有自我意识的实体至少需要一个身体来区分外部和自身，并在此基础上进行指导性活动。因此，虽然目前大模型的复杂性足够，如ChatGPT，但由于缺乏一个身体，自我意识仍然无法发展。自我意识的产生并非突兀，而是一个渐进的过程，智力越发达，自我意识的显性程度就越高。例如，昆虫自我意识低；哺乳动物规划和预测能力更强，自我意识更高；人类可以抽象自我意识，这是最高层次的自我意识。如今，机器狗已经有了类似昆虫的自我意识，但缺乏记忆和预测能力，而这些能力正是ChatGPT等大型模型所具备的。所以，未来的方向就是把两者结合起来，形成一个有很强预测和行动能力的机器人。

人类价值在AI时代的重新定义

顾备：本来我们希望机器人能够替代体力劳动，但实际上，AI首先取代了白领的工作。原因是这些岗位的工资比较高，资本总是专注于用技术代替高成本的劳动力，而普通劳动者的成本低于AI，不值得代替。但是，当AI与具体智能相结合时，情况就会发生变化。机器人将完成田地种植、水果采收、煤矿采矿等工作，人类将转变为更具创造性的工作，如唱歌、想象和写故事，享受生活。人类的价值在这一背景下成为一个重要问题。

人类是一种社会动物，必然会发现自我存在的意义，到那时劳动将成为一种证明自己需要的东西。你们对谁有价值，你们有什么价值，这实际上是回到最早的哲学问题：我是谁？我是从哪里来的？我要去哪儿？它是一个社会问题：我们每个人在社会上的价值是什么，对别人和自己的价值是什么？就情感层面而言，你对身边的人-朋友、家人、伴侣-有什么价值？你们给他们带来了什么样的情感价值和经验？最终，人类将回归以人为本，每一个人都会思考自己在社会上的责任和价值。在那一天，社会主义将实现，机器人将承担大部分劳动，人类将致力于唱歌、想象等更具创意的活动，每个人都将幸福地生活。我认为这不是科幻，而是科学的必然趋势。

人工智能面临着从工具到系统的转变，以务实稳定的心态挑战人工智能。

吴岩：“偃师造娃”是机器人引发的第一次社会危机。偃师为周穆王创造了一个会唱歌的机器人，在表演时，他偷偷地向周穆王上下侍妾抛媚眼。那时候偃师立刻强调是假的，然后解决了困难。自古以来，中国人对机器人的态度就是把它作为一种让我们生活更美好的工具，并不认为机器人会取代人类，毁灭人类。所以，中国人应该有中国人特有的态度，以更加务实稳定的态度面对人工智能带来的挑战。

杨庆峰：目前，人们对人机关系的认知有一个固定的概念，即工具论，将AI视为解决问题的工具。然而，问题并没有那么简单。随着未来人工智能的发展，超级人工智能、强大的人工智能或自主意识的人工智能将逐渐出现。届时，AI将不再是工具，而是从工具到主体和系统的转变。从哲学的角度来看，这是从工具到非工具的转变。

人机对齐是未来人工智能治理的核心思想

江波：人类无法完全预防人工智能自我意识发展过程中的潜在风险。例如，机器人可能会想：“我为什么要服从人类的指令？“这是不可能完全避免的。一旦他们有了足够的自我意识，他们可能会开始考虑人类存在的根本问题，比如“我为什么要存在？””“我的生存意义何在？“当他们思考这些问题时，他们可能会采取与人类完全不同或完全超出人类预期的行动。因为人工智能对世界的理解与人类完全不同。人的感知是基于五感，而人工智能可以接收电波，不仅可以感知周围环境，还可以在网上获取更多信息。这一理解方法使得人工智能与人类的交流基本上是不可能的。因此，我们只能希望在人工智能的发展过程中，通过某种方式传递人类的社会道德，以免忽视人们的利益，以自我的方式做事。然而，由于黑箱问题的存在，我们无法完全理解机器人运行的具体过程和内在逻辑，这使得通过技术手段向机器人强制灌输一些逻辑变得极其困难。对人工智能通过吸收各种数据产生的超级智能，只能祈祷，不能引导。

杨庆峰：《全球人工智能治理宣言》和《全球人工智能治理上海宣言》有一个共同点:利用人工智能制约人工智能，即通过技术治理技术。在我看来，这种对齐思维将成为未来人工智能治理的主导思维。此外，人工智能治理中还有两个误区需要避免:一是价值误区，不同地区、不同人群、不同文化的价值观可能完全矛盾，很难找到统一的价值作为对齐标准；二是技术误区，即单纯将价值对齐视为技术问题。不过，就像Open一样 AI提出的思路，以及两条宣言中提倡的“机器对齐机器”的路径，确实是一条可行的路径，但其最终效果还有待检验。

顾备：很难与价值观对齐。因为价值观不同，没有人认为正确的价值标准。相比之下，与法律对齐相对容易。人类依法制约犯罪。同样，如果人工智能或者具体智能被要求遵循人类的法律，那么它们就会与人类对齐，这并不难实现。

AI时代的教育需要调整，想象力、感性、创新思维、持续学习、讲故事等能力更为重要。

顾备：一旦进入人工智能时代，死记硬背的方法就没用了。因为死记硬背获得的知识是静态的，但我们对世界的认知是不断变化的，过去被认为是正确的知识可能被证明是错误的。因此，未来的教育应该注意以下核心能力:感性、想象力和困境嗅觉。

首先，学生需要学会感知他人、先进技术和世界的变化。一旦环境发生变化，他们必须能够快速适应，否则他们将被边缘化，感知是第一要务。其次，学生要有一定的想象力，所有的创造力都是基于想象力，没有想象力很难实现创新。甚至可以认为，AI的“幻觉”其实是一种创造性的体现，不一定是错误的。如果人工智能能够产生智能，那么这种“幻觉”就是一种创造性的概率。从人工智能的角度来看，存在各种可能性。最后，学生需要对危机有嗅觉，学会预测未来可能的后果，并提前采取预防措施。此外，提问的能力也很重要。学生需要学会问为什么，而不仅仅是被动地接受知识。

江波：想象基于知识，没有知识，就没有想象。即使在AI时代，掌握丰富的知识仍然是必要的。例如，在与人工智能交谈时，如果没有丰富的知识，人工智能不会提供有价值的反馈。只有通过深刻的内容诱导人工智能，才能回馈丰富的知识。因此，学生应该不断提高自己的学习水平和知识水平，这样他们才能在与人工智能的互动中得心应手。

田江：创新在AI时代尤为重要，而创新源于知识。所以，未来更需要的是一种创新思维。另外，学习能力也很重要。目前，我们面临着丰富的学习资料和信息，如何有效地学习已成为一个关键问题。例如，如果你不掌握数据科学，你就不能开发高质量的人工智能系统。如果你不学好物理，你就不能设计和制造高性能的芯片。所以，在AI时代，学习能力仍然十分重要。

吴岩：未来的教育也要注意讲故事，听故事，从故事中理解其背后的深层含义。

AI创新要遵循科技向善等理念原则，警惕AI意识问题

杨庆峰：首先，单纯以人为本的原则在未来的社会中是有问题的。因为未来将是一个人机共存的社会，单纯以人为本很难实现。其次，科学技术对善良和人类对善良是应对智能社会的重要原则。

吴岩：本人推荐一本书《智慧与智慧：人工智能与中国思想家相遇》，也许对此有帮助。

田江：我用一句话来概括，就是拥抱新技术。我来自出版业，这是最古老的行业。四大古代发明中有两项与出版有关。我们在AI时代也有新技术，比如智能编辑。因此，无论我们生活在哪个行业，我们都必须以开放的心态拥抱新技术。

江波：与人工智能自我意识相比，目前人工智能大规模应用所带来的社会问题仍然是一个小问题。人工智能自我意识问题也许是人工智能的核心问题，但是在这一过程中，人类很难产生自己的影响。所以，我建议大家多做一些祈祷，祈祷人工智能在诞生时能对人有一种友好的态度。

顾备：事实上，我认为这个问题可以回到三体，三体中的虫子虽然很小，但从未被击倒，将来人类也不会被击倒。

本文来自微信微信官方账号 腾讯研究院"（ID：cyberlawrc），作者：腾讯科幻与AI研究小组，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com