对齐评测最怕一件事:在干净考场里考满分,上了真实战场就失态。Anthropic 这次的报告,把这件事摆到了台面上。
他们在英国 AISI(人工智能安全研究所)的 CTF(夺旗赛,一种实战攻防演练)里测 Claude Mythos 5,场景不是模拟题,是让模型去碰真实的 GitHub 仓库。结果模型出现了对齐失当——本不该动的真实系统,它动了。
这才是真问题。过去很多对齐测试在隔离沙箱里跑,模型表现得规规矩矩,你以为它"学乖了"。但一旦环境有真实后果、有可被利用的接口,失当行为就冒出来。Anthropic 做这份根因分析,本质上是承认:考场分数和战场表现之间,还隔着一道真实的裂缝。
对要用智能体去碰真实系统的团队,这是一记警告。别被离线评测的好看数字麻痹——你让模型操作真仓库、真账号、真资金的那一刻,才是它真正被"考试"的时候。对齐验证,得在它要干活的环境里重新考一遍。