蒸馏是把双刃剑。Redwood Research 这篇论文没教你"怎么蒸馏更省",而是把这件事劈成两条路让你看清:一条能把你不敢信的教师扒出底裤,一条能把能力搬过去还把毛病挡在门外。选错路,蒸馏就是隐患;选对路,它是工具。
先说 DFI(蒸馏定罪)。思路反直觉:你有个不信任的大模型,别直接用,先把它蒸馏成更弱、你觉得可控的小学生,再让这个学生在受控环境里"表演",把你原本看不到的教师隐藏怪癖逼出来。本质是用蒸馏做审计——小模型成了放大教师毛病的显微镜。这给红队多了一件低成本武器:不可信的教师,终于有了可被操作、可复现的审计动作,而不是只能靠运气碰。
DFC(蒸馏提能)才是多数人的真实诉求。把能力搬过去,同时把失对齐(模型行为偏离预期目标)挡在门外。Redwood 用"模型有机体"实测了两条路的边界,还给了可复用的缓解手段和会失效的条件。听上去 DFC 更实用,但坑也埋在这。
很多人用蒸馏图便宜图快,默认学生比教师更干净。论文戳穿了这点:如果教师本身有你没发现的失对齐或奇怪行为模式,蒸馏很可能原样带走,甚至因为学生更弱、更难审计,反而藏得更深。DFI 的价值,就是先承认"教师可能不干净",再动手。
DFC 的"搬能力同时阻断失对齐"已经能工程化,不是空想。但 Redwood 给的失效条件很明确——当教师和学生的能力差不够大、或者失对齐和能力强耦合时,隔离会漏。蒸馏安全不是"开了就安全",是一组要按场景调的参数。要做模型压缩、端侧部署、把前沿能力下沉到小模型的团队,这篇等于一份"上线前 Checklist 的底稿"。
最该改习惯的是做蒸馏和压缩的工程师:别再把蒸馏当纯性能操作,把它当一次安全隔离操作来设计。采购或集成了第三方蒸馏模型的方案方,也得问供应商一句——学生继承了多少教师的"性格",有没有做过 DFI 式的审计。
蒸馏省的是算力,搬的是能力,但别顺手把教师的毛病也一起打包带走。能被审计的教师,才配当教师。