OpenAI又一次吹哨辞职，拉响了安全警报，风险隐患太大。

在OpenAI离职潮中，另一名研究人员正式宣布辞职，并发出“警告”信息：

Ilya和Jan Leike的焦虑是我的担心，还有一些额外的问题。

我们应该做更多的事情来改进决策过程等基本事务，包括问责制、透明度、文件、战略执行、如何谨慎使用技术以及缓解不平等、权利和环境影响的措施。

主人公名叫Gretchen Krueger(简称格姐)，是OpenAI的AI策略研究员。

2019年，她加入了OpenAI，参与了GPT-4和DALLL。·E 22020年，OpenAI首个全公司范围内的“红队”检测仍然在2020年领先。

这次出走，除了提到OpenAI之外。决策透明度问题，她也隐约暗示：

一般来说，科技公司夺走那些寻求追究其责任的人的权力的方法之一，就是在那些提出担忧或挑战其权力的人之间制造分裂。我非常关心避免这种情况。

包括Ilya和Jan和 Leike，这个月，格姐已经是第三个从OpenAI离开的安全相关人员了——她是在Ilya和Jan 在Leike决定辞职之前。

OpenAI安全成员本月第三名离职。

首先简单回顾一下整个事情。

格姐是OpenAI的AI策略研究员，有网友在评论区帮助大家普及了这个职位的职责。

由于意识到OpenAI存在巨大的安全隐患，格姐于5月14日通知公司自己即将辞职。

此后，OpenAI首席科学家Ilya正式宣布，他将离开公司追寻“下一个计划”。

超级对齐负责人Jan负责人Jan，紧跟Ilya，训斥OpenAI“商品先于安全”。 Leike。

所以，到底是什么风险促使格姐早就想跑了？

综上所述，其实很简单，但也很关键:OpenAI在决定安全问题时的决策。不够透明且缺少对决策者的问责。

(AI透明等)问题对于每个人来说都是非常重要的，它们影响着未来如何规划，由谁来规划。

我认为，这些担忧不应被误解为狭隘、投机或脱节。事实并非如此。

另外，格姐还特别提到了OpenAI前员工Daniell，为了保留对OpenAI的批评权，放弃85%的家庭资产。 Kokotajio，表示感谢他的勇气，让她有机会说出自己想说的话。

在此之前，OpenAI被曝辞职需要签订封口协议，“不签字会影响股份”。

这个事件的最新进展是由格姐的另一位前同事Jacob Hilton曝光：

OpenAI在Vox深入调查发布后，已与前员工取得联系，并解除了之前签署的保密协议。

回到安全这个话题，格姐仍然为老东家保留了体面：

OpenAI仍然领导着这些重要的工作。同时，我也将继续关注和兴奋。

但格姐的离开，仍然引起了更多网友的好奇：

• OpenAI如何在Ilya等人还在的时候决定重大安全问题？
• 当一群重要的安全成员离开时，OpenAI目前如何决定安全问题？

OpenAI的安全路线是谁决定的？

让我们先来看看OpenAI的安全团队是什么，然后再关注谁有最终决定权。

根据官方网站发布的信息，OpenAI目前的安全团队主要分为三个部分。

• 非常对齐团队:拿出20%的最终力量，看看如何控制不存在的超级智能。
• Safety Systems团队：致力于减少当前模型和商品(如ChatGPT)的滥用。
• Preparedness团队：绘制前沿模型新兴风险

第一，Ilya和Jan是核心超级对齐团队。 Leike于2023年7月开始。

在不到一年的时间里，两个灵魂人物不断地离开，非常团队崩溃。

其次，Safety Systems成立于2020年，包括安全工程团队、风险管理团队、监控与响应团队和政策与合规团队在内的四个部门。

它负责评估GPT-3和GPT-4的安全性。

那时，Dario领导了它。 Amodei，离开OpenAI后，Anthropic成立。

而且Dario Amodei辞职的原因恰恰在于希望建立一个更可靠的模型。

最后，OpenAI于2023年10月宣布建立Preparedness团队。

该组由麻省理工部署机器学习中心主任Aleksander组成 Madry领导旨在“跟踪、预测和防范未来人工智能系统的危险”，包括从AI“说服和欺骗”人类的能力(如网络钓鱼攻击)到恶意程序生成的能力。

当前，该团队主要对模型能力进行评估、评估和内部红队(即对模型进行渗透测试的攻击者)。

说了这么多，但是——

不管OpenAI有多少安全团队，其风险评估的最终决策权仍然掌握在领导层手中。

OpenAI核心管理团队在宫斗事件前共有4名成员：CEO Sam Altman、Greg总裁 Brockman、Ilya，首席科学家 Sutskever、CTO Mira Murati。

尽管Ilya一开始启动了“宫变” Altman短暂地下台了，但是随后奥特曼“回宫”，Ilya却“消失”了6个月。

并且Sam回归后 基本上，Altman身边都是自己人，包括Jakub，最新的替代Ilya。

然而，关于安全问题的决策权，虽然领导层是决策者，但董事会有权推翻决策。

现在OpenAI的董事会成员包括SalesforceCEO。、Bret董事会主席 Taylor，经济学家Larry Summers、QuoraCEOAdam D’Angelo、前比尔和梅琳达·盖茨基金会CEO Sue Desmond-Hellmann、前索尼娱乐总裁Nicole Seligman、InstacartCEOFidji Simo和奥特曼本人。

参考链接

[1]https://x.com/GretchenMarina/status/1793403475260551517

[2]https://futurism.com/the-byte/openai-cryptic-warning

本文来自微信微信官方账号“量子位”（ID:QbitAI），作者：一水，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com