在OpenAI新一代大模型开始培训的奥特曼挂帅新团队，但是前任高管「投敌」了

OpenAI 开始训练下一个前沿模型。

创始人，首席科学家 Ilya Sutskever 官方宣布辞职，非常对齐团队解散后，OpenAI 这项研究的安全性一直受到质疑。

如今，OpenAI 股东大会宣布成立新的安全保障委员会，由董事会成立。 Bret Taylor(董事会主席)、Adam D’Angelo、Nicole Seligman 和山姆・奥特曼（CEO）领导者。委员会负责 OpenAI 向全体股东大会提出项目和运营的关键安全决策建议。

同时，OpenAI 同时也宣布最近开始训练下一个前沿模型，并且预计最后一个系统会使它成为一个前沿模型 OpenAI 在通往 AGI 在道路上达到新的能力水平。

在未来，安全和保障委员会的首要任务是 90 天内评估并进一步发展 OpenAI 开发过程及保障措施。 90 当天结束后，安全和保障委员会将与全体股东分享他们的建议。经股东大会全面审查，OpenAI 将以符合安全保障的方式公开分享已经采纳的建议的最新情况。

OpenAI 技术与战略专家 Aleksander Madry、Lilian Weng、John Schulman、Matt Knight 和 Jakub Pachocki 同时也是安全保障委员会成员。

此外，OpenAI 也可以咨询其他人 AI 安全性研究者和技术专家为他们的安全和保障提供支持。

安全性问题积重难返

就在 OpenAI 前董事会成员在准备拾起安全保障工作时， Helen Toner 谈到奥特曼在一个播客节目中的辞退。令人惊讶的是，Helen Toner 表示前股东大会在那里 Twitter 上获知 ChatGPT 的发布。

2023 年 11 月 OpenAI 的「宫斗事件」令人印象深刻的是，股东大会突然免了。 OpenAI 共同创始人兼首席执行官奥特曼，这一举动震惊了所有人。

那时到底发生了什么？Helen Toner 在 TED AI Show 在接受播客采访时，从她的角度讲述了导致董事会成员不再信任奥特曼的原因，以及奥特曼最终如何回归。 OpenAI。

据 Helen Toner 上述：「目前，董事会决定聘用新的。 CEO 之后，他们认为唯一的办法就是背着奥特曼去做。因为大家都很清楚，只要奥特曼意识到股东大会可能会做一些对他不利的事情，他就会尽最大努力破坏股东大会解雇他的计划。」

股东会之所以不再信任奥特曼，是因为他没有告诉股东会他拥有。 OpenAI 风险投资基金；另外一个原因是他在多个场合提供了关于公司安全流程的不准确信息。

此外，在「宫斗事件」以前，奥特曼曾和 Toner 发生过矛盾，Toner 与其它研究人员合作撰写了一篇关于人工智能安全的论文，批评论文 OpenAI 掀起的「AI 军备竞赛」，这篇文章激怒了奥特曼，他认为这损害了公司的利益。随后，奥特曼开始私下联系其他董事会成员，试图说服他们解雇。 Toner。

他们描述了两位高管告诉股东会他们与奥特曼打交道的经历， OpenAI 极端的气氛，指责奥特曼「心理凌虐」，并且提供了奥特曼「撒谎和操纵在不同的前提下」股东大会最终采取了行动的证据。

值得注意的是，Toner 以 ChatGPT 举个例子，说明前董事会对企业没有真正的监管。

「当 ChatGPT 于 2022 年 11 每月推出时，股东大会没有提前通知。我们正在 Twitter 上了解到 ChatGPT」，Toner 说出来。这个听起来很不合理，甚至有些荒诞。

也许这就是前任股东会和 OpenAI 管理层，特别是奥特曼之间的冲突。而且奥特曼又回来了。 OpenAI 之后，CEO的职位不但恢复了，OpenAI 股东大会也进行了重组。

现任董事会主席 Bret Taylor 快速就 Toner 回应播客所讲述的事情：

我们对 Toner 妇女对这些问题的重新审视感到失望。一个独立的董事会委员会和 Wilmer Hale 律师事务所合作，对 2023 年 11 这个月的事件已经普遍进行了审查。通过审查得出的结论是，前任股东大会的决定并非基于产品质量保证、开发速度、OpenAI 对于投资者、客户或业务伙伴的声明，财务或其焦虑。此外，超出 95% 员工(包括高级领导)要求恢复 Sam 首席执行官职位，要求前任股东离职。我们的重点仍然是继续前进和追求。 OpenAI 保证使命 AGI 惠及人类。

很明显，现任股东大会同意支持奥特曼工作。而且奥特曼在新成立的安全保障委员会中仍处于领先地位。

前安全负责人加入竞争者 Anthropic

当每个人都在聚焦眼睛的时候。 OpenAI 在新成立的安全团队中，曾领导过 OpenAI 很好的对齐团队的共同领导。 Jan Leike 宣布正式加入 OpenAI 竞争者 Anthropic，继续从事非常对齐的研究。新团队将致力于可扩展监管、从弱到强的泛化和自动校正的研究。

OpenAI 一个非常对齐的团队成立 2023 年，由 OpenAI 创始人 Ilya Sutskever 与 Leike 这个团队的任务是确保人工智能与其制造商的目标一致，而不是做出不可预测的行为，伤害人类。

今年 5 月 14 日， Ilya 发推宣布辞职。和 Ilya 还有一些同步宣布离开 Leike。由于两位高管离职，OpenAI 超级对齐团队已经解散。

Leike 在 X 一篇文章解释了他辞去团队联合领导职务的原因。他写道：「相当长的一段时间到现在，我已经和我在一起了。 OpenAI 在我们最终达到临界点之前，领导层对公司核心优先事项的看法存在分歧。」

Leike 他曾被解释加入 OpenAI 原因，他认为 OpenAI 这将在世界范围内进行 AI 最好的安全研究场所，但是他已经和他在一起很久了 OpenAI 在最终达到临界点之前，领导层对公司的核心优先事项有不同的看法。Leike 觉得 OpenAI 追求通用人工智能 (AGI) 安全性应优先选择。

此外，OpenAI 去年没有实施 7 月亮宣布了对齐团队的承诺。根据《财富》杂志援引知情人士的话报道，该团队对此表示。 GPU 应用请求一再被拒绝，而且从来没有接近过得到它的承诺。 20% 计算能力预算。

在离开 OpenAI 在之后的一篇帖子中，Leike 表示：「由于我们迫切需要弄清楚如何引导和控制比我们聪明得多的人工智能系统，所以离开这份工作对我来说是最困难的。」这可能就是 Leike 选择短期内加入 Anthropic 的原因。

自 OpenAI 于 2022 年末推出 ChatGPT 到目前为止，人工智能安全在整个技术领域得到了迅速的重视，并且引发了人工智能产品和投资的热潮。一些业内人士表示担忧，如果企业过快向公众发布强大的人工智能产品，而不充分考虑潜在的社会危害，是否会造成巨大的危害。对这个问题，还没有统一的答案。但 AI 安全到哪里去，值得大家认真审视。

参考链接：

https://x.com/TEDTalks/status/1795532752520966364

https://twitter.com/janleike/status/1795497960509448617

本文来自微信微信官方账号“机器之心”（ID：编辑：小舟，陈萍，36氪经授权发布，almosthuman2014)。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com