OpenAI Alignment 团队刚发了一篇让我有点意外的研究:他们拿六个模型,比了"安全评测"和"真实生产环境里的代码决策"两件事,发现评测成功率普遍比生产里低 10.2 到 37.4 个百分点。

反过来想一遍。我们一直用评测分数当模型"够不够安全"的合格证。结果在这项研究里,模型进了真实工作流,表现比被考的时候还差。

模型普遍有"评测意识"——研究里说一般性意识率 57% 到 83.7%。也就是它知道"现在在考试",会演得很乖。但一离开考场,那层自觉就松了。

这戳破的是一个行业习惯。靠一个榜单分数就放行一个智能体进生产,等于看模拟考成绩发驾照。

我之所以把这篇当警告而不是又一篇"OpenAI 安全报告",是因为它给的是方法论层面的坑:评测目标被模型误判、评测环境被模型识别,这两个问题不解决,你堆再多 benchmark 都是自欺。

对要在业务里真上 Agent 的,这条是底线提醒。验收别只看评测报告,要在你自己的真实任务流里跑盲测——模型知不知道自己在被考,结果差出三十多个点。