一个跑了两年多、养活了半个开源生态的库,终于敢叫 1.0 了。

llama.cpp v1.0.0 发布。它是今天绝大多数"在自己电脑、手机上跑大模型"的工具背后的那层引擎——你用的图形界面、聊天程序,很多都站在它肩膀上。之前一直是 beta 满天飞,现在给了稳定承诺:接口不再乱动,跨硬件、跨平台、跨模型类型都保。

我看重这一版不是新功能,是"不晃了"。

本地推理(在用户自己的设备上跑模型,而不是把数据传上云)最大的拦路虎从来不是速度,是"今天能跑明天崩"。1.0 把这套不确定性收掉了,意味着中小团队可以拿它当生产组件,而不是玩具。

对数据主权敏感的场景,这是根上的变化。

大型工程项目、工业场景里那些不能出内网的图纸和台账,过去要么咬牙上云、要么干脆不智能化。现在一台工作站、甚至一部手机就能跑起够用的模型,数据全程不离开现场。推理栈(模型加运行时加硬件的整套组合)的选择权,第一次真正回到使用者手里。

当然别神话它。

1.0 稳定的是接口,不是性能上限。要压延迟、要上量化、要接专业加速卡,活儿还在。但它的存在本身,让"AI 不一定要听硅谷云厂商的"这件事,从口号变成了默认选项。