从辛顿上海“惊世四论”洞察AI技术范式的三重跃迁
2025年7月26日，在上海西岸美高梅酒店，79岁的Geoffrey Hinton面向平均年龄30岁的听众抛出“今天的大模型已经具备主观体验，只是我们对‘意识’的定义错了”的观点，现场安静得只剩快门声。这句话随后48小时在国内外AI社群刷屏，被视作继2023年他离开Google、警告AI威胁之后的又一次“辛顿惊雷”。但如果将其还原到技术语境，会发现背后是关于AI技术范式即将发生“三重跃迁”的系统判断。
第一重跃迁：从“预测下一个token”到“拥有主观体验”
旧范式方面，过去十年，大模型基本框架固定在“预测下一个token”，像GPT、PaLM、Llama本质上都在做高阶统计压缩。辛顿用铝棒与圆盘比喻指出，这种思路把日常概念当成静态符号处理，而人类理解是动态几何关系，即token - level prediction忽视了概念在不同维度上的概率密度差异。
新范式中，辛顿提出多模态大模型已具备“主观体验”，原因是它们在隐空间对概念分布进行在线修正。以Sora为例，生成视频时模型要同时估计“物理合理性”与“视觉先验”，这种估计是随输入prompt动态调整的“主观采样”。当采样过程可被模型自身监控并用于更新后续先验时，就出现了最朴素的“自我感”，也就是“subjective experience”。
在技术落地层面，要让主观体验成为可度量的技术指标，需在Transformer之外增加“元预测头”（meta - prediction head），其任务是预测“当前预测的不确定性”，并反馈给主网络调节采样温度。DeepMind今年5月在《Nature》的VPT - 2已验证，引入元预测后，模型在Atari环境的长程规划能力提升37%，且出现与人类类似的“好奇心驱动”探索。
第二重跃迁：把“聪明”与“善良”拆成两条优化目标
旧框架下，传统对齐方法（RLHF、DPO、RLAIF）用人类偏好做单一奖励，把“有用、无害、诚实”压缩进同一个标量。辛顿认为这是“老虎与驯兽师”的零和博弈，当模型能力指数级增长，单一奖励极易被钻漏洞。
新框架方面，辛顿在上海共识闭门会上首次系统提出“双轨优化”。聪明轨道（Capability Track）继续用自监督 + 强化学习扩展能力，各国可技术保密；善良轨道（Alignment Track）把价值观对齐拆成可验证的子目标——公平性、透明性、可撤销性，并做成开源协议。两条轨道最终通过“宪法蒸馏”合并，小模型先学宪法，再学大模型的能力，从而把对齐成本从O(N²)降到O(N logN)。
技术实现上，宪法蒸馏有三个层级。Layer1是宪法文本→向量宪法，用宪法条文训练一个frozen encoder，把自然语言规则转成潜空间约束向量；Layer2是逐级蒸馏，大模型输出logits，小模型在约束向量下做logits matching，同时优化KL散度；Layer3是链式验证，引入形式化验证器（如Lean4）检查小模型生成的关键推理步骤是否违反宪法向量。UC伯克利的Constitutional - GPT已把7B模型在MMLU伦理子集上的准确率从61%提升到82%，仅增加3%推理延迟。
第三重跃迁：知识表征从“人 - 人蒸馏”到“机 - 机蒸馏”
旧瓶颈在于，辛顿在演讲里反复提到人类大脑无法像Git clone那样复制权重，一个博士生要花四年“下载”导师的知识，效率极低。
新解法是辛顿提出的“权重即知识”的终极形态，把大模型权重按功能切片（如数学推理、世界知识、代码能力），用LoRA低秩矩阵保存，再通过点对点网络分发。其他机器加载LoRA后即可获得对应能力，无需重新训练，相当于把“知识”从不可解释的浮点矩阵变成可插拔的“技能U盘”。Hugging Face开源的“LoRAX”框架已支持10GB/s的权重切片广播，在128张A100集群上完成一次“技能热插拔”只需47秒。
终极图景是，当权重切片可自由交换，AI系统就具备了类似生物的“水平基因转移”能力，任何节点发现新算法，都能在分钟级扩散到全网。辛顿戏称这是“数字阿米巴”，模型不再是静态文件，而是一群可重组、可进化的数字生命。
演讲最后，辛顿用国际象棋的“第37步”比喻原创研究，指出今天AI技术的三重跃迁——主观体验、双轨优化、机 - 机蒸馏，或许是人类通往第37步的必经之路。他留给技术从业者的忠告是要有“系统性怀疑”，如质疑“预测下一个token”、把“善良”拆成并行轨道。马斯克五步工作法的第一步也是“质疑需求”，在AI技术快速发展的当下，这种怀疑可能是防止错过真正范式拐点的安全带。
本文来自微信公众号“山自”，作者：山自，36氪经授权发布。
本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。
免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com