三年前你说「我要在自己机器上跑 321B 的模型」,别人当你做梦。现在有个叫 Project Maya 的开源项目,把这件事压成了一个周末能搞定的工程。

它支持从一张卡到十六张卡,NVIDIA 或 AMD 都行,Linux 或 Windows 都行。三个目标模型都是 MoE(混合专家,只在每一步激活一小部分参数,所以显存占用比全量小很多)路线:GLM-5.3-Flash 321B、DeepSeek-V4.1-Flash 748B、MiniMax-M3.1-Flash 428B。引擎、服务、仪表盘、还有 OpenAI 和 Anthropic 兼容的 API 一套给齐。

自己跑和调 API 的区别,一句话——数据不出门。你在工业场景、大型工程项目的内部资料,不用再过一遍别人的云。这正好是「既想用前沿能力、又不想把家底交出去」那类需求的解法。

我的判断:对有一定算力存量、又对数据主权敏感的团队,私有 MoE 的账开始算得过了。电费和显卡是沉没成本,但换回的是可控和不出门。

但别浪漫化。748B 就算走 MoE 也得几十 G 显存起,量化会掉精度,服务稳定性得自己扛。它不是「免费上云」,是「把云的问题换成运维的问题」。没专职人盯,别碰。

真正有意思的是兼容 API 这层——你现有接 OpenAI 的代码几乎不用改,就能换源头。这比模型本身更值钱,因为它把「被锁死在一家」的命门松开了。