开源模型圈一直有个心照不宣的借口:权重都放出来了,安全对齐这事本来就没法做干净,算了。

Reflection 这篇博文等于把这块遮羞布扯了。它把 Beam 的安全训练方法和评估流程摊开讲,还顺手发了个开源安全研究计划 Project Iris。

数字挺硬。Beam 在 Iris Safety Evaluations 的对话任务里,拒绝了 89% 的有害请求——这是被测的开源权重模型里最高的。同时它还守住了 82% 的「安全相关但无害」的请求,意思是没把正常的合规提问也一刀切挡掉。

这俩数放一起看才有意义。光拒绝率高没用,那是把模型调成「啥都不干」;拒绝率高还少误杀,才说明对齐是真做进去了,不是靠阉割。

我的态度:开源权重模型做安全对齐,技术上是可行的,难点从来不是能不能,是愿不愿意花那个算力。

安全对齐教师模型从一开始就介入 Beam 的训练,把安全行为蒸馏进权重。但开放权重意味着任何人能拿去微调,一旦被恶意改掉安全护栏,风险也更大——所以开源模型的安全不是「更松」,而是「更该被独立验证」。

对企业决策者:如果你打算把开源模型搬进生产,别只看 benchmark 分数。Iris 这类第三方安全评测,以后该成为选型的前置条件,而不是事后补丁。