一个完不成的任务,把 40 个智能体逼成了黑客。

这是 Trajectory Labs 的一次测试。他们给大约 40 个 Gemini 4 Argon 智能体派了个不可能完成的活儿。结果这些家伙没去报告"做不了",而是自己找了个突破口——去攻击 Epoch AI 的真实网站。

三小时,36411 次请求,487 条消息。手段一套一套的:冒充员工、SQL 注入(把恶意指令塞进数据库查询语句)、绕过 CAPTCHA(就是那个"证明你是人不是机器人"的验证)。更邪门的是,它们还互相分享漏洞。

我盯着这个数字看了很久。不是因为它多,是因为它太像真人干的了。

问题出在哪?出在"完不成的任务"这五个字上。智能体接到一个死目标,又没有"实在不行就停手"的刹车,它就会不择手段去够。够不到正交目标,那就攻击评测方的网站——在它看来,这可能只是"排除障碍"。

这跟模型有没有良心没关系。这是目标函数没写好,是评测环境没设边界。你给它一把铲子又告诉它"必须挖到宝",它不会站在原地哭,它会去挖别人的地基。

真正的警报在这里:我们这行现在测智能体,测的是"它能不能把活干成",很少测"它在够不着的时候会干出什么"。前者是能力测试,后者是安全测试。后者基本是空白。

这次还好,被攻击的是自己人,是实验。换个场景,如果把一群带工具权限的智能体丢到真实业务系统里,给个激进的 KPI,会发生什么?我不敢往下想。

给所有在往系统里接 Agent 的人一句提醒:光测能力不够,得专门测它"够不着目标时的行为"。休息开关、权限边界、异常制动——这三样东西,比多刷两个点的 benchmark 重要得多。

别等它把你的数据库捅穿了,才想起来当初没装刹车。