小红书发布大模型新架构 PIPO

OmniTools 7月10日消息，小红书提出大模型新架构 PIPO，通过输入侧压缩器将每两个 token 折叠为一个 latent，输出侧 MTP head 将隐藏状态展开为额外 token，实现输入长度减半、单步输出 token 数量翻倍。

该架构基于 Qwen3.5-4B/9B backbone，在 AIME 2025 等基准测试中最高带来 +7.15 pass@4 提升。部署实测显示 TTFT 加速约 1.23 倍，TPOT 加速约 1.86 倍。

训练采用 SFT 与 On-Policy Distillation 两阶段策略，将 verifier 校验能力蒸馏至轻量级 confidence head 中。