产品与应用媒体报道 · epoch.ai
EBR-bench 基准测试更新:禁用单一卡牌策略,GPT-6 Astra 曾借此获满分
OmniTools 10月8日消息,Epoch AI 更新其 EBR-bench 基准测试,该测试用于评估大语言模型从经验中学习的能力。此前,GPT-6 Astra 在测试中通过依赖一张性能过强的卡牌,在超半数尝试中取得满分。
为提升测试公平性与泛化能力评估价值,新版规则已明确禁用该卡牌策略。
此次更新还纳入了多智能体框架在 EBR-bench 中的初步测试结果。
OmniTools 10月8日消息,Epoch AI 更新其 EBR-bench 基准测试,该测试用于评估大语言模型从经验中学习的能力。此前,GPT-6 Astra 在测试中通过依赖一张性能过强的卡牌,在超半数尝试中取得满分。
为提升测试公平性与泛化能力评估价值,新版规则已明确禁用该卡牌策略。
此次更新还纳入了多智能体框架在 EBR-bench 中的初步测试结果。