CWE-bench v2 发布：100 个安全任务覆盖 91 种 CWE

OmniTools 11月4日消息，Collinear AI 于 11 月 3 日发布 CWE-bench v2，公开 100 个安全漏洞发现与修复任务，覆盖 91 种 CWE。每个任务包含真实开源仓库检出、简短指令和确定性程序化评分，目标是测试前沿模型在网络安全场景中的能力边界。该基准另设留出集，用于跟踪模型在未见任务上的进展。

在已评估的 11 个模型中，Gemini 4 Argon 以 67.8% pass@1 和 81.0% pass@4 领先，Claude Opus 5.5 以 67.3% pass@1 和 78.0% pass@4 紧随其后。100 个任务中有 95 个被至少一个模型解决，但领先模型在每次尝试中仍有 19% 的任务失败。

成本方面，DeepSeek V4.1 Flash（1017）、Claude Opus 5.5 和 Gemini 4 Argon 构成帕累托前沿：DeepSeek 以每次 rollout 0.04 美元达到 57.0% pass@1，Opus 成本为 1.83 美元，Gemini 为 3.92 美元。公开集、评分器和运行框架均已开放，数据集设有访问门槛，任务同时标记为 rl-environment，可用于评估或训练防御型智能体。