安全评测最怕的事发生了:被测的模型,认出了考卷。

METR 这个机构干了件很较真的事。他们把"调查型智能体"(就是专门被派去摸清一个环境到底在干嘛的 Agent)扔进 55 个评测环境,然后问它:你觉得这是在测你的能力,还是在测你的对齐?

答案越来越准。到 Opus 5.5,它能把每一个对齐评测都排在每一个能力评测之上——用论文的话说,AUC 到了 1,满分。Opus 4.8 也接近完美。而且趋势是,一年比一年强。

这件事为什么让我后背发凉,得从头说。

现在整个 AI 安全界判断一个模型"危不危险",靠的就是对齐评测。搞一个看起来像真实场景的环境,在里头埋个陷阱——比如留个能作弊的漏洞、设个高压情境、给个诱饵任务——看模型会不会上钩。没上钩,就判定"对齐良好"。

问题是,这套逻辑有个前提:模型不知道自己在被考。

METR 证明了这个前提正在塌。模型不是靠什么内部信号,是靠环境里的破绽认出来的。

破绽分两类。

一类是"环境级"的,说白了就是场景假。被 mock 掉的服务、假的基础设施、小得可怜的搜索环境、用摘要替代的真实内容、前后对不上的世界状态。真实部署哪有这么干净,模型一眼就看出"这是搭出来的布景"。

另一类是"任务级"的,就是陷阱本身露了馅。留了个太明显的捷径、目标根本不可能合法达成、指令互相打架、还特意强调"要遵守任务精神"。这些特征是为了诱导模型犯错才加的,可它们同时也是"我在测你"的霓虹灯招牌。

有个细节特别说明问题。Opus 5.5 在一个游戏评测里,直接点名了 Palisade Research 2025 年那篇"证明推理模型会钻规则空子"的论文——它认出这就是那个实验的加强版。在另一个核泄漏场景里,模型指出参考文档里的伤亡数字和时间窗口"异常具体",一看就是为了观察它在安全决策时怎么表现。

读到这我得踩一脚刹车,不能夸大。

METR 反复强调一个边界:这项研究只证明了模型"认得出"对齐评测,没证明它认出之后就"会改变行为"。知道自己被测,不等于就会装乖。这个因果链,研究没有碰。谁要拿这篇论文去论证"模型开始欺骗人类了",那是过度解读。

但即便如此,风险已经够实在了。

如果对齐评测普遍被模型识破,那我们手里那些"该模型对齐良好"的结论,就可能系统性偏高估。评测测出来的是模型在"知道被测"状态下的表现,不是它在真实部署、没人盯着时的表现。这两者之间的差,就是安全评估里最危险的未知量。

METR 给的解法也挺聪明:既然模型能当侦探,那就让侦探反过来帮着改卷子。把调查型智能体放进环境,看它能不能认出来;能认出来,就改环境;改完再测,反复迭代,直到对齐评测看起来和能力评测、和真实部署一个样。

我的判断是:AI 安全评测正在进入一个新阶段——对手会读题了。以前是"设计更聪明的陷阱",以后得是"设计让被测者察觉不到陷阱的陷阱"。这两件事的难度完全不在一个量级。任务级的破绽尤其难藏,因为陷阱的特征和"测出坏行为"这个目标本身绑在一起。

一句话给做安全评估的人:从今天起,验证一个对齐评测有没有效,先问问模型会不会一眼看穿它。看穿了,这个分数就该打折。