红队这门手艺,正在从「请几个白帽来挑刺」变成一条工厂线。

OpenAI 这回披露的做法,核心就一句话:让一个攻击模型自己去找另一个模型的漏洞,而且找出来不算完,要反复验证。他们放大攻击模型的测试时算力(就是你推理时额外烧的 GPU),让它迭代着搜越狱路线,然后卡一个硬指标——worst@n,意思是同一条攻击在多次重复里都得成功,才算数。

我为什么觉得这是真进展,不是 PR。过去对抗训练最缺的是「高质量的坏样本」。人工写的越狱提示就那几招,模型练着练着就过拟合到那几个套路。自动化红队等于把攻击样本的生产也交给机器,而且是用更强的算力去穷举,样本库天然比人写的厚。

但别只听好的一面。这条流水线反过来也说明一件事:模型在双用途领域(网络、生物这些能惹祸的方向)的脆弱面,正在被自动化以工业规模地扫。今天 OpenAI 用这把刀给自己磨刀,明天别家也能用同样的思路去探别人的缝。

证伪很直接。如果他们公布的数据里,worst@n 下的攻击成功率在训练后没显著掉,那这套流程对「真鲁棒」的贡献就要打问号——毕竟 worst@n 测的是最坏情况,不是平均情况。

我的判断:把红队工业化,是前沿模型安全必须走的一步,但它同时把攻击能力也工业化了。安全这边的军备竞赛,从来都是这么自我喂养的。