Anthropic 发布自动化对齐研究员研究,AI 可自主优化对齐表现
Anthropic 研究员陈岳翰(Chen Yueh Han)领衔的团队发布论文《Automated Researchers Can Reliably Mitigate Alignment Failures》,展示了一种名为“自动化对齐研究员”(AAR)的系统。 该系统在10项特定错位行为基准测试中,全部实现性能提升,且未损害模型整体性能。其工作流程模拟人类研究:检索文献、提出方法、30分钟内完成训练迭代,并保留有效方法、淘汰无效方法。 论...