模型发布官方发布 · huggingface.co
IBM发布Granite Switch 4.1系列模型,支持单端点无缝切换对话、决策与语音任务
OmniTools 10月16日消息,IBM近日在Hugging Face平台正式发布Granite Switch 4.1系列模型,包含8B与30B两个参数版本。该架构通过模块化设计,在同一推理端点内整合了通用决策aLoRA、安全导向的Guardian aLoRA以及OpenASR榜单领先的语音识别模型Granite-Speech-5.0-Turbo-CTC,可高效切换自然语言对话、结构化决策与语音转写任务。
官方技术文档指出,所有适配器共享基础模型的KV缓存,显存占用与纯基础模型基本一致;结合vLLM推理优化与共置ASR编码器,模型在多任务切换时保持极低延迟。基准测试显示,Granite-Switch-4.1-30B在5步RAG工作流中的执行速度显著优于Jev-27B。
伴随模型发布,Granite Libraries同步更新,提供可自由组合的专用决策适配器。开发者可基于开源库自定义Granite Switch模型,或接入第三方适配器。IBM计划后续推出Adapter SDK,以支持在Mellea框架下进行适配器训练与生态扩展。