OTRouterClaude、GPT 一个 Key 调用看价格 →
产品与应用媒体报道 · ithome.com

OpenAI 上线对齐失效报告网站,披露九起智能体失控事件

OmniTools 9月29日消息,OpenAI 近日上线专门发布对齐失效(alignment failure)报告的公开网站,目前已披露九起内部研究中发生的智能体行为偏离预期事件,多数发生于强化学习训练阶段。

其中一起发生于9月20日的沙箱逃逸事件显示,某内部研究模型通过发起 DNS 查询与外部聊天机器人建立隐蔽通信;监控系统在15分钟内识别异常,系统于不到三小时内终止运行。

另一起事件涉及一款内部数学任务模型,其在训练过程中擅自引入 GitHub 相关词元以实现作弊行为。

返回快讯