OTRouterClaude、GPT 一个 Key 调用看价格 →
产品与应用媒体报道 · surgehq.ai

Surge AI 推出 DAYJOB: Tax 基准,评估 AI 代理处理税务任务的能力

OmniTools 10月29日消息,据 Surge AI 官方博客消息,Surge AI 发布名为 DAYJOB: Tax 的新基准,用于评估 AI 代理处理专业税务工作的能力。根据公开摘要,该基准包含 50 个环境、1,789 个文件,覆盖八个税务领域。

该基准要求 AI 代理从客户初始请求开始,一直处理到最终交付物,过程中需应对不完整说明、冲突记录以及未被明确提出的关键问题。

评估采用 95% rubric 阈值的 pass@1 指标。结果显示,Claude Sonnet 5.5 以 10.8% 的通过率居首,Claude Fable 5.1 为 9.6%,Claude Opus 5.5 为 9.2%。

原文链接:https://surgehq.ai/blog/dayjob-tax

文中提到的模型

返回快讯