Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生推理引擎

OmniTools 10月20日消息，Google 开发者博客发布公告称，已推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎，两款引擎分别与 Inferact、RadixArk 合作开发。

据公告摘要，这些引擎让开发者能够使用熟悉的 PyTorch 工具在 TPU 上部署模型，从而降低在 TPU 上进行模型推理部署的适配成本。

目前公开信息为公告摘要，具体性能数据与可用范围尚未披露。