产品与应用社区讨论 · 待核实 · x.com
Unsloth 发布 MiniMax-M3.1-Flash 量化 GGUF,2-bit 版可在 150GB 内存本地运行
OmniTools 10月26日消息,Unsloth 发布了 MiniMax-M3.1-Flash 的量化 GGUF 版本。其中,2-bit 版在体积缩小 45% 的同时保留了 91.5% 的 top-1 精度,可在 150GB 内存上本地运行。
不同量化版本的精度表现有所差异:1-bit 版约为 89.9%,4-bit UD-Q4_K_XL 版达到 98.0%。发布方称该模型是同尺寸最强开源模型之一。
Unsloth 同时提供了 Hugging Face 权重链接和本地运行指南。