IBM 对比实验：同一模型换用不同 Agent Harness，AppWorld 任务完成率从 30% 升至 81%

OmniTools 11月3日消息，IBM Research 团队在 Hugging Face 博客公布一组受控实验结果：在模型保持不变的前提下，仅更换 Agent Harness，任务完成率出现显著差异。研究使用同一开源模型 GLM-5.3-flash，分别搭配 IBM 的 CUGA、Nous Research 的 Hermes 和 LangChain 的 Deep Agents，在 AppWorld 基准的 30 个场景、90 项任务上各运行一次，覆盖邮件、支付、文件存储等 9 个应用与 457 个 API，全部运行基于 Harbor 评估框架，配置已公开在 harbor-eval。

结果显示，CUGA 通过 81.1%（73/90）的任务，20 个场景全部变体通过（66.7%）；Hermes 为 46.7%（42/90）和 26.7%（8/30）；Deep Agents 为 30.0%（27/90）和 6.7%（2/30）。作者同时给出三点限制：样本仅为单基准上的 90 项任务，三种 Harness 的配置并不完全相同，且运行未启用策略，因此未测量策略执行效果。文章强调该结果并非对 Hermes 与 Deep Agents 的评判，二者分别面向常驻个人助手和长链路多步任务，并非为多应用 API 类工作设计。文中还提到，另一项分析中同一 GLM-5.2 模型仅更换 Harness，在 SWE-bench Pro 上从 23% 提升至 52%。

CUGA 是 IBM 开源的 Harness，采用 Apache 2.0 许可，兼容任意 OpenAI 接口端点，可本地、私有云、Kubernetes 或气隙环境部署，并提供 OIDC 登录与聊天、管理分权角色。其策略层在用户意图、Agent 引导、工具执行和最终输出四个环节介入，包含 Intent Guard、Playbook、Tool Approval、ToolGuard 与 Output Formatter，其中审批与工具守卫由运行时强制执行。作者给出的选型建议是：终端编码任务可选 opencode、Codex 或 Claude Code，常驻个人助手可选 OpenClaw 或 Hermes，需要空白图谱框架则直接用 LangGraph。