Surge AI 推出 DAYJOB: Tax 基准,评估 AI 代理处理税务任务的能力
据 Surge AI 官方博客消息,Surge AI 发布名为 DAYJOB: Tax 的新基准,用于评估 AI 代理处理专业税务工作的能力。根据公开摘要,该基准包含 50 个环境、1,789 个文件,覆盖八个税务领域。 该基准要求 AI 代理从客户初始请求开始,一直处理到最终交付物,过程中需应对不完整说明、冲突记录以及未被明确提出的关键问题。 评估采用 95% rubric 阈值的 pass@1 指标。结果显示,Claude Sonne...