OpenAI推出前沿人工智能模型的新安全计划
金振贝
•
2023-12-26 14:08:15
摘要 OpenAI度过了重要的一年，与ChatGPT一起引领了生成式AI竞赛。它的成功意味着所有人都在关注该公司为未来人工智能发展树立适当的先例，OpenA...
OpenAI度过了重要的一年，与ChatGPT一起引领了生成式AI竞赛。它的成功意味着所有人都在关注该公司为未来人工智能发展树立适当的先例，OpenAI凭借新的安全计划向前迈出了一步。
本周，OpenAI发布了其准备框架的初始测试版，这是一项安全计划，描述了该公司为确保其前沿人工智能模型的安全而采取的不同预防措施。
在该框架的第一个要素中，该公司承诺对其前沿模型进行一致的评估，以将模型推向极限。OpenAI声称这些发现将帮助公司评估模型的风险并衡量拟议缓解措施的有效性。
然后，评估结果将显示在OpenAI前沿模型的风险“记分卡”中，并不断更新以反映风险阈值，包括网络安全、说服力、模型自主性和CBRN(化学、生物、放射性和核威胁)，如图所示如下图。
OpenAI前沿模型记分卡
开放人工智能
风险阈值将分为四个风险安全级别：低、中、高和严重。该分数将决定公司应如何继续该模型。
该帖子称，可以部署缓解后得分为“中”或以下的模型，而只有缓解后得分为“高”或以下的模型才能进一步开发。
OpenAI还正在重组团队内部决策运作方式。
专门的准备团队将推动技术工作来评估前沿模型的功能，例如运行评估和综合报告。然后，跨职能安全咨询小组将审查所有报告并将其发送给领导层和董事会。
最后，领导层将继续担任决策者;但是，董事会有权推翻决定。
这一任命尤其值得注意，因为上月初山姆·奥尔特曼(SamAltman)曾短暂被董事会罢免，但在新董事会中又迅速恢复了首席执行官的职务。
新闻稿称，其他框架要素包括制定增加安全性和外部责任的协议、与外部各方和内部团队合作跟踪现实世界的滥用情况，以及开创性地进行新研究来衡量风险如何随着模型规模的扩展而演变。
版权声明：本文由用户上传，如有侵权请联系删除！
标签：