本地跑大模型这件事,又被往前推了一格。Unsloth 把 MiniMax-M3.1-Flash 压成了 GGUF(一种本地推理常用的模型权重格式),2-bit 量化(把权重精度压到极低档、体积骤缩)那版体积缩了 45%,还留着 91.5% 的 top1 精度。
这背后的意思很直白:150GB 内存的一台普通服务器,就能把同尺寸里数一数二的开源模型跑起来。4-bit 版精度冲到 98%,门槛也没高到哪去。
对受数据主权约束的场景——比如大型工程项目的现场、对出网有硬要求的内部系统——「既用前沿模型,又不让数据出门」从奢望变成了可排期的活儿。
我不太会被单点数字冲昏头。量化保的是平均精度,边角能力会掉,真要上生产还得按任务实测。但方向没疑问:推理从云端往设备里塞,这一年明显在加速。
顺带,Unsloth 把权重和本地运行指南都甩出来了。开源生态的打法就是这样——不跟你谈合作,直接把能跑的东西丢桌上。