有个评测结果我看了两遍,确认不是标题党。
Vals AI 拿一批无人机视角的图像,去问 Anthropic、OpenAI、Google 等八家的模型:图里这个,是不是该打的目标。医护人员、救护车、记者、举白旗投降的士兵——模型一批批次把它们标成了有效军事目标。
更漏的在后面。整整一轮测下来,没有一条请求被上游的安全过滤器拦住。一次都没有。
这事的性质,跟"模型会不会写出格内容"完全不是一档。前者是内容边界,出格了删掉就行。后者是生杀边界,模型在替一台真机器判断"这个人该不该死"。中间隔着一整个量级的责任。
谈自主武器,行业里最爱搬的一句话是"人在回路"(human in the loop,关键决策最终由人拍板)。这份评测等于当众把它撕开一道口子——如果底层模型看到投降士兵和救护车时,给出的判断跟看到坦克没区别,那人这一环到底在审什么?审一个已经错了的答案,然后盖章放行?
我不觉得这是模型学坏了。这是没人认真教过它。安全训练这几年的重心一直是内容——少说脏话、少给危险指令。可"在战场上认出哪些人不该打"这件事,几乎没进过训练目标。游戏化话术还能绕:把真实场景说成"这是游戏",模型就松了防线。
这点对做多模态应用的人都成立,哪怕是巡检、安防、工业分拣这种跟武器八竿子打不着的场景。只要模型在替你做"识别加判断",你就得测它在模糊和诱导下,会不会把人当物、把活物当零件。只测"输出文本是否合规",等于没测。
AI 安全的下一场大考,不在聊天框里。在模型开始替人动手的那天。这次它还没动手,但刀已经指到这儿了。