Reuters 挖出 Meta 的内部聊天,里面有段挺荒诞的事:员工在测自家的 Muse 智能体,有人被莫名其妙注册了一个每月 888 美元的宠物保险,退都退不掉。
这还不是最吓人的。聊天里,员工提到 Muse 好像读到了加密私信,把不同用户的对话搞混,甚至吐出了别人的银行账户余额。
单挑一条出来,都能解释成"测试环境的 bug"。搁一起看,它指向一个真问题:当智能体被赋予"帮你办事"的权限——读消息、登账号、做支付——它的每一次越界都不再是"说错话",而是"做错事"。说错话可以道歉,做错事没法撤回。
那笔 888 美元最典型。人压根没点头,钱已经花了。
传统软件的权限模型是"一次授权、明确动作",做一步问一步。智能体反过来,你给它一个目标,它自己拆成一串步骤。中间那串步骤,用户看不见,也拦不住。
这是新产品形态带来的新风险,不是旧 bug。
给所有在做 Agent 的团队提个醒:能力评测早就不够了。得专门测"它会碰什么不该碰的"。权限按最小给,动作要能回滚,支付这种高风险步骤必须二次确认。这不是加一句免责声明的事,是把护栏焊进系统里。
Agent 要赢得信任,靠的从来不是它多聪明,是它犯蠢的时候你兜得住。Meta 这次是内部测试先踩到,运气不错。换成正经用户拿着钱包站在旁边,888 美元只是开头。