LiquidAI 发布 LFM3 系列：一个骨干衍生六款 2B 级多模态模型

OmniTools 10月28日消息，据 Hugging Face 博客消息，LiquidAI 发布新一代 Liquid Foundation Models（LFM3）。该系列将文本、视觉、音频、omni 与决策模型统一到同一骨干上，全部处于 2B 参数级别，用户可按输入模态选择模型、在单张 GPU 上用自有数据微调，并部署在应用所在设备上。

LiquidAI 称，LFM3 相较上一代 LFM2 有四项主要变化：新的三混合架构和训练方案让 LFM3-1.7B 在参数减少 35% 的情况下超过 LFM2.5-2.6B；六款 2B 级模型均从 LFM3-1.7B-Base 分支而来，其中包含首个 omni 模型以及视觉模型的视频输入能力；面向边缘设备，文本模型 4bit 精度下约占用 1GB，上下文窗口达 256K；所有模型均可在单卡上完成微调。

架构层面，LFM3-1.7B-Base 共 24 层，包括 13 层门控短卷积、5 层 256 token 窗口的滑动注意力与 6 层全局注意力，并引入逐头门控注意力、部分 RoPE 和 sandwich norm。该模型在 22T token 上预训练，最后 3.5T token 的中训练阶段提高了 agentic 轨迹与工具调用数据占比，并将上下文扩展至 256K；官方称在 8K token 上下文下，其同参数效率下的速度比 LFM2-1.2B 快约 25%。

具体型号包括 LFM3-1.7B、LFM3-VL-2B、LFM3-Audio-2B、LFM3-Omni-2B、d1-2B 与 d1-omni-2B。LiquidAI 表示，新的 164M 参数视觉编码器算力消耗比此前的 SigLIP2 编码器少 3 倍，精度与 Qwen3.5-2B 视觉编码器相当而 FLOPs 少 2.2 倍；音频编码器为全因果结构，首 token 延迟最低约 50ms；音频分词器 LiquidCodec 在 Apple M4 Max 单 CPU 线程上约达 87 倍实时。性能方面，官方数据称 LFM3-VL-2B 在 62 项视觉基准上的平均分从 LFM2.5-VL-3B 的 57.6 提升至 71.4；LFM3-1.7B 在 WebArena-Verified 上得分为 38.42，前代为 3.02。上述模型均可在 transformers 中运行。