资讯 · 2024年5月29日

OpenAI 的新安全团队成立

在解散负责保护人类免受人工智能生存威胁的团队不到两周后,OpenAI成立了一个新的安全与保障委员会。负责 OpenAI 安全护栏的最新小组将包括两名董事会成员和首席执行官 Sam Altman,这引发了人们的疑问:在与合作伙伴微软争夺利润和主导地位的激烈竞争中,此举是否只是自我监督的戏剧性举动。

OpenAI 董事会成立的安全与保障委员会将由董事会成员 Bret Taylor(主席)、Nicole Seligman、Adam D’Angelo 和 Sam Altman(首席执行官)领导。新团队是在联合创始人 Ilya Sutskever 和 Jan Leike 高调辞职之后成立的,这引起了不少人的关注。他们之前的“超级协调团队”是去年 7 月才成立的。

辞职后,雷克于 5 月 17 日在 X(Twitter)帖子中写道,尽管他相信公司的核心使命,但他离开的原因是两方面(产品和安全)“已经到了临界点”。雷克补充说,随着人工智能变得越来越智能,他“担心我们还没有走上正确轨道”,无法充分解决与安全相关的问题。他发帖称,Superalignment 团队最近在公司内部“逆风而行”,“安全文化和流程已经让位于闪亮的产品。”

一种愤世嫉俗的看法是,一家主要关注“闪亮产品”的公司——同时试图抵御高调安全负责人离职带来的公关打击——可能会组建一支新的安全团队,由那些致力于开发这些闪亮产品的人领导。

本月早些时候的安全离职并不是该公司最近唯一令人担忧的消息。该公司还推出了(并迅速撤下)一种新的语音模型,听起来非常像两届奥斯卡提名演员斯嘉丽约翰逊。这位《乔乔的异想世界》的演员随后透露,OpenAI 的 Sam Altman 曾征求她的同意,使用她的声音来训练人工智能模型,但她拒绝了。

约翰逊的团队向 Engadget 发表声明,称 OpenAI 在征得约翰逊授权后,竟然启用了一位“听起来与她极为相似”的配音演员,约翰逊对此感到震惊。声明还补充道,约翰逊“最亲密的朋友和新闻媒体都分辨不出两者的区别”。

OpenAI 还撤回了之前要求离职高管签署的不贬低协议,改口称不会强制执行。在此之前,该公司强迫离职员工在可以发表反对公司的言论和保留他们应得的既得股权之间做出选择。

安全与保障委员会计划在未来 90 天内“评估并进一步制定”公司的流程和保障措施。此后,该小组将与整个董事会分享其建议。在整个领导团队审查其结论后,它将“以符合安全和保障的方式公开分享已采纳建议的最新消息。”

OpenAI 在宣布成立新安全委员会的博客文章中证实,该公司目前正在训练其下一个模型,该模型将接替GPT-4。该公司写道:“虽然我们很自豪能够构建和发布在功能和安全性方面均处于行业领先地位的模型,但我们欢迎在这个重要时刻进行激烈的辩论。”