91% 的准确率,还在 1-bit。
Unsloth 把 Mistral Large 4(圈内叫 Le Chonk,1 万亿参数的混合专家模型,只激活其中一小部分干活)压成了 Dynamic 1-bit GGUF。最激进的档位约 233GB 磁盘,一张 Mac Studio 就能跑。原始 FP8 要 1.1TB,这一下小了 80%。
数字本身不重要。重要的是它证明的事:万亿参数级别的前沿能力,正在从「只有大厂机房跑得起」滑向「发烧友工作台可拥有」。
1-bit 量化(把模型权重从高精度数字压到极低位宽,代价是精度损失)过去被当成玩具。现在 Unsloth 说保住 91% 的 top-1 准确率——对很多真实任务,这点损失根本察觉不到。
我判断云厂商心里要有数了。当「自己家里跑一个准前沿模型」变成周末工程,订阅闭源 API 的默认理由就少了一条。
当然,256–270GB 内存不是小数目。这是给有硬件的人准备的。但门槛每年在降,趋势不骗人。
真正的拐点不是今天这台机器,而是「本地跑前沿」从传闻变成可复现的教程——这天已经到了。