OpenAI又一次吹哨辞职,拉响了安全警报,风险隐患太大。
在OpenAI离职潮中,另一名研究人员正式宣布辞职,并发出“警告”信息:
Ilya和Jan Leike的焦虑是我的担心,还有一些额外的问题。
我们应该做更多的事情来改进决策过程等基本事务,包括问责制、透明度、文件、战略执行、如何谨慎使用技术以及缓解不平等、权利和环境影响的措施。
主人公名叫Gretchen Krueger(简称格姐),是OpenAI的AI策略研究员。
2019年,她加入了OpenAI,参与了GPT-4和DALLL。·E 22020年,OpenAI首个全公司范围内的“红队”检测仍然在2020年领先。
这次出走,除了提到OpenAI之外。决策透明度问题,她也隐约暗示:
一般来说,科技公司夺走那些寻求追究其责任的人的权力的方法之一,就是在那些提出担忧或挑战其权力的人之间制造分裂。我非常关心避免这种情况。
包括Ilya和Jan和 Leike,这个月,格姐已经是第三个从OpenAI离开的安全相关人员了——她是在Ilya和Jan 在Leike决定辞职之前。
OpenAI安全成员本月第三名离职。
首先简单回顾一下整个事情。
格姐是OpenAI的AI策略研究员,有网友在评论区帮助大家普及了这个职位的职责。
由于意识到OpenAI存在巨大的安全隐患,格姐于5月14日通知公司自己即将辞职。
此后,OpenAI首席科学家Ilya正式宣布,他将离开公司追寻“下一个计划”。
超级对齐负责人Jan负责人Jan,紧跟Ilya,训斥OpenAI“商品先于安全”。 Leike。
所以,到底是什么风险促使格姐早就想跑了?
综上所述,其实很简单,但也很关键:OpenAI在决定安全问题时的决策。不够透明且缺少对决策者的问责。
(AI透明等)问题对于每个人来说都是非常重要的,它们影响着未来如何规划,由谁来规划。
我认为,这些担忧不应被误解为狭隘、投机或脱节。事实并非如此。
另外,格姐还特别提到了OpenAI前员工Daniell,为了保留对OpenAI的批评权,放弃85%的家庭资产。 Kokotajio,表示感谢他的勇气,让她有机会说出自己想说的话。
在此之前,OpenAI被曝辞职需要签订封口协议,“不签字会影响股份”。
这个事件的最新进展是由格姐的另一位前同事Jacob Hilton曝光:
OpenAI在Vox深入调查发布后,已与前员工取得联系,并解除了之前签署的保密协议。
回到安全这个话题,格姐仍然为老东家保留了体面:
OpenAI仍然领导着这些重要的工作。同时,我也将继续关注和兴奋。
但格姐的离开,仍然引起了更多网友的好奇:
- OpenAI如何在Ilya等人还在的时候决定重大安全问题?
- 当一群重要的安全成员离开时,OpenAI目前如何决定安全问题?
OpenAI的安全路线是谁决定的?
让我们先来看看OpenAI的安全团队是什么,然后再关注谁有最终决定权。
根据官方网站发布的信息,OpenAI目前的安全团队主要分为三个部分。
- 非常对齐团队:拿出20%的最终力量,看看如何控制不存在的超级智能。
- Safety Systems团队:致力于减少当前模型和商品(如ChatGPT)的滥用。
- Preparedness团队:绘制前沿模型新兴风险
第一,Ilya和Jan是核心超级对齐团队。 Leike于2023年7月开始。
在不到一年的时间里,两个灵魂人物不断地离开,非常团队崩溃。
其次,Safety Systems成立于2020年,包括安全工程团队、风险管理团队、监控与响应团队和政策与合规团队在内的四个部门。
它负责评估GPT-3和GPT-4的安全性。
那时,Dario领导了它。 Amodei,离开OpenAI后,Anthropic成立。
而且Dario Amodei辞职的原因恰恰在于希望建立一个更可靠的模型。
最后,OpenAI于2023年10月宣布建立Preparedness团队。
该组由麻省理工部署机器学习中心主任Aleksander组成 Madry领导旨在“跟踪、预测和防范未来人工智能系统的危险”,包括从AI“说服和欺骗”人类的能力(如网络钓鱼攻击)到恶意程序生成的能力。
当前,该团队主要对模型能力进行评估、评估和内部红队(即对模型进行渗透测试的攻击者)。
说了这么多,但是——
不管OpenAI有多少安全团队,其风险评估的最终决策权仍然掌握在领导层手中。
OpenAI核心管理团队在宫斗事件前共有4名成员:CEO Sam Altman、Greg总裁 Brockman、Ilya,首席科学家 Sutskever、CTO Mira Murati。
尽管Ilya一开始启动了“宫变” Altman短暂地下台了,但是随后奥特曼“回宫”,Ilya却“消失”了6个月。
并且Sam回归后 基本上,Altman身边都是自己人,包括Jakub,最新的替代Ilya。
然而,关于安全问题的决策权,虽然领导层是决策者,但董事会有权推翻决策。
现在OpenAI的董事会成员包括SalesforceCEO。、Bret董事会主席 Taylor,经济学家Larry Summers、QuoraCEOAdam D’Angelo、前比尔和梅琳达·盖茨基金会CEO Sue Desmond-Hellmann、前索尼娱乐总裁Nicole Seligman、InstacartCEOFidji Simo和奥特曼本人。
参考链接
[1]https://x.com/GretchenMarina/status/1793403475260551517
[2]https://futurism.com/the-byte/openai-cryptic-warning
本文来自微信微信官方账号“量子位”(ID:QbitAI),作者:一水,36氪经授权发布。
本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。
免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com