OTRouterClaude、GPT 一个 Key 调用看价格 →
产品与应用媒体报道 · github.com

开源工具 Wayfinder Router 发布:实现本地与托管 LLM 的确定性查询路由

OmniTools 6月29日消息,开源项目 Wayfinder Router 近日发布,旨在实现本地与托管大语言模型之间的确定性查询路由。该工具通过分析提示词的结构特征(如长度、标题、列表、代码)进行微秒级路由决策,全程离线运行,无需调用额外模型。

默认仅启用结构分析,词汇线索(如“证明”“数学”“硬约束”等)因盲测中泛化能力不足而默认关闭。相比依赖模型调用的路由方案(如 RouteLLM、NotDiamond),Wayfinder Router 可有效规避延迟、成本及输出随机性问题。

项目支持所有 OpenAI 兼容 API,包括 Ollama、Anthropic、Groq 和 vLLM 等,支持自托管;提供终端与网页演示(--dry-run 模式无需 API 密钥),并附带基准测试数据与 FAQ 文档。项目源码已开源至 GitHub。

返回快讯