大模型公司一水儿在比谁更聪明。但真正决定 agent 好不好用的,常常是那种没人写 headline 的脏活。
Anthropic 这次端出来的是 message threads(消息线程)。机制朴素得有点无聊:长会话里,智能体每一轮只发"新增的那几条消息",而不是把整段几百万字的对话历史再从头传一遍。
数字不朴素。在 50 万到 100 万 token 的请求里,首 token 延迟(TTFT,用户发出请求到看到第一个字的时间)中位数掉了大概 35%。
别小看这三成。一个百万字上下文的 agent,每次回话都要把前面全部重读一遍,感觉上就是"它在思考它刚才思考了什么"。延迟砍下来,它才像活物,不像在喘。
这事儿给所有做平台的人提了个醒:模型能力的军备竞赛已经卷到边际递减,真正的体验差距正在往基础设施的接缝处塌。谁能把 token 的来回路费省下来,谁的 agent 就多一口气。
flashy 的发布会换来转发。但这种 plumbing 上的毫米级优化,才决定用户明天还开不开得动你的产品。