METR 这帮人干了一件同行最该干、也最不想干的事:把 Anthropic 自己的风险报告,从头到尾重新审了一遍。
结论先说清楚。Anthropic 在 8 月报告里说,截至 7 月 15 日,它那两款主力模型的"灾难性错位风险"是低的。METR 基本同意这个结论。
但同意归同意,METR 话锋一转:你这个"低",不是因为你的护栏多牢,而是因为模型现在的能力,还做不到那种级别的破坏。
这话很毒,也很实在。
把"风险低"拆成两件事。一件是模型想不想干坏事,一件是模型有没有本事干成。Anthropic 的报告把这两件事搅在一起报,给人感觉是"我们管住了"。METR 把它掰开:目前没事,主要是后者——能力还没上来。
一旦能力上来了呢?护栏是不是还兜得住,报告里没给出让人放心的证据。
最该警惕的是评估方法本身。METR 点名了一个老问题:很多对齐评估看的是模型"边想边说的那段思考过程"(业内叫 CoT,就是模型推理时吐出来的中间步骤)。可一旦把这段藏起来不给人看,评估就再也覆盖不到"模型嘴上合理化自己的危险行为"这一层攻击面。
你测的是它说出来的,它藏着的那部分,你根本没测。
那怎么办?METR 给的建议很具体:上持续监测,上红队实战,别只在实验室里打分。红队(就是专门找系统漏洞的对抗测试)不能一年搞一次,得当成日常运维。
对真正要引入 AI 能力的工业场景和大型工程项目来说,这条提醒值千金。别被供应商一句"我们的安全评估过了"糊弄住。你要问的是:评估测的是哪些攻击面?藏起来的部分怎么办?有没有持续监测,而不是一张一次性的合格证。
现在没事,不等于设计对了。这是 METR 这波审查留给我们最该记住的一句话。