有个新研究 OpenVLHarness,在 22 个基准上做了受控实验,结论挺扫兴:给多模态模型(能同时看图和推理的模型)单纯加大推理预算,性能只涨了一点点。
很多人默认"多想想就能做对"。这篇 paper 说,想多了没用,它缺的不是算力,是"接地气"的能力。
很多视觉任务要的是真实世界的证据——去查个数据库、量个尺寸、读个说明书——而不是在脑子里空转。论文提出的方案,是给 Agent 配上多模态记忆和外部工具,让它真去"看"和"查",而不是凭印象答。
这对做智能体产品的人是句大白话:别指望堆 token 就能让 Agent 变聪明。要的是把"查得到、量得准、记得住"的外挂接上。
视觉 Agent 离真正进工厂、进现场还有距离,但方向已经很清楚——下一步拼的不是模型多大,是它能不能老老实实去用工具。
这篇值得做 Agent 产品的团队记一笔:预算加在"让模型会调用工具"上,比加在"让模型多想一会儿"上划算得多。