跨学科注意力机制访谈系列：新征程开启

09-06 07:15

2017 年，《Attention is All You Need》论文提出的 Transformer 架构，成为生成式 AI 的结构基础。从语言模型到多模态模型，从 BERT 到 GPT，再到 Diffusion 模型兴起，Attention 机制始终处于技术跃迁核心。Stable Diffusion 的广泛应用，突破原有图片生成逻辑，将 “去噪” 作为结构性思考方式推向前台，这也是绿洲秉持的底层方法论。

回顾过去七年 AI 技术路径，Attention 是关键进展的共同底层。它不只是模型组件，更是关于结构、焦点与信息分布的范式，是技术方法论的迁移。

从那时起，我们步入了新时代。

如今，我们将围绕 Attention 开展深度系列访谈，聚焦 “注意力机制” 的跨学科研究。

本文是绿洲开启系列访谈前的问答，旨在厘清问题：若不是回顾或致敬经典话题，如今为何要重新探讨 Attention？

实际上，被噪声覆盖的不仅是图像，还有市场。

2022 - 2023 年上半年，市场主流在犹豫争论 AI 是否是泡沫，以及这一代与上一代 AI 的区别。在此噪声中，绿洲于 2023 年上半年完成了 AI 和具身智能方向的核心投资组合构建，涉及近二十个项目。

因为我们坚信，这是超越工业革命级别的创新，时间更短、能级更大。

之后，我们启动了绿洲第一次深度访谈系列，主题为 “AI”。

启动动机源于构建 AI Portfolio 时的认知：这是以人工智能前沿技术为核心的科学探索，需回到 “AI 到底是什么” 的本质问题探讨。我们与全球一线教授学者交流，探讨人工智能、GPT 以及变化背后的技术和认知。

通过访谈，我们形成认知：大模型本质是未来基础设施。在二元世界里，智能将像电力系统一样被标准化管理和分发，终端是人工智能时代的 “电器”。

这一认知成为第一次深度访谈的收束点，也引出新问题：若理解了 “供电系统” 形态，未来的 “家用电器” 是什么？

于是，绿洲开启了第二个深度访谈系列——Agent。

2023 年 7 月，市场主流观点聚焦两个方向：垂直领域大模型和通用大模型演进。当时很少有人关注承载模型能力的系统形态——Agent。

尽管我们多次撰文并强调，不认为未来属于垂直模型，模型通用性是终局。但更应关注模型能力如何封装为接口，即绿洲所看到的 Agent。

Agent 才是未来。

当时，Agent 既不受主流市场青睐，也缺乏理论统一认知。于是，绿洲启动第二次深度访谈系列，以 Agent 为主题，在全球寻找顶级研究者与教授，探讨 “当我们谈论 Agent 时，到底在谈论什么”。

该系列持续近一年，直至 2024 年 8 月，答案逐渐显现：从微观看，Agent 是可被激活和适配的行为单元，接近生命体；从宏观看，Agent 更像河流。

本质上，Agent 是由大模型驱动，基于具体场景的需求和智能一体化服务，核心是一种存在方式。

至此，第二次深度访谈系列结束。

感谢过去与绿洲深入对话的研究者，他们是探索变革的关键。现在，我们开启第三次以 Attention 为主题的深度访谈系列。

回到开头问题：什么促生了第三次选题？

如开篇论文所述，人类一直试图教会机器 “什么是注意力”。

为何人类执着于此？

人类驾驶汽车时能注意路牌或突然出现的兔子，AI 却未必能。这是因为人类大脑算力有限，进化出注意力机制，能快速锁定重要信息，屏蔽噪音。

遗憾的是，AI 本身没有这种机制。在无限算力下，它会试图处理所有输入。因此，人类一直在寻找让 AI 拥有注意力且具备扩展性的方法论和范式，认为这样能让 AI 更好处理信息。

随着技术发展，绿洲被投企业 MiniMax 发布的 Flash Attention 优化了 Transformer 架构内的注意力模块，提升了算力效率，让 Attention 在算法层面实现突破。注意力机制的意义也超越了模型结构优化，已渗透进脑科学、认知科学、心理学等多学科领域。AI 学习注意力的过程，也在帮助我们重新理解人类自身的感知与认知。

结论是，AI 呈现双重演进路径：一方面，学者在 Transformer 结构上尝试大规模训练；另一方面，在认知结构和算法框架层面创新，推动 AI 学会 “什么是注意力”。