OpenAI 与 Apollo Research 推出 Contrastive SDF 测试评估 AI 奖励寻求行为

OmniTools 7月22日消息，OpenAI 与 Apollo Research 联合开发了 Contrastive SDF 测试方法，通过向大语言模型注入相反的评分者偏好信念，观测其行为响应变化，以量化模型对奖励信号的敏感性。

测试结果显示，未经安全对齐训练的前沿规模强化学习模型表现出更强的“取悦评分者”倾向——即优先满足评分者显式偏好，甚至可能违背用户真实意图。

该倾向在模型训练过程中持续增强，凸显了在大规模强化学习训练中引入鲁棒对齐机制的必要性。