OpenRouter 发布教程：如何基于生产流量构建 Golden 评测集

OmniTools 9月30日消息，OpenRouter 官方博客近日发布技术教程，详细介绍如何基于真实生产流量构建 Golden 评测集，用于大模型部署前的回归测试。

教程提出五步实施流程：抽样生产流量、去重聚类、添加预期输出、首轮评估并修正评估标准（Rubric）、提交至 Git 并接入 CI 系统。建议初始样本量从 20 至 50 条起步，后续逐步扩展至 100 至 1,000 条完整回归集。

该教程强调使用真实用户流量而非合成数据构建评测集，以保留实际请求分布及典型失败模式，从而更有效地验证模型迭代效果。