Reflection 详解开源模型 Beam 的安全训练与评估方法

OmniTools 11月6日消息，Reflection 发布博文，介绍其开源权重模型 Beam 的安全训练与评估方法，并启动开源安全研究计划 Project Iris。

在 Iris Safety Evaluations 对话任务中，Beam 对有害请求的拒绝率为 89%，在所测开源权重模型中最高；同时，对安全相关无害请求的遵守率为 82%。

Reflection 表示，将安全对齐教师模型的参数规模从 100B 提升至 501B 后，过度拒绝相对下降 48.7%。