智能体推理到底卡在哪儿?不是模型不够聪明,是让它真去写代码、跑长任务时,单张卡的吞吐和能效先顶不住。
Artificial Analysis 刚放出 Vera Rubin NVL72 的首批 AA-AgentPerf 结果。这是英伟达下一代机柜级系统,专门测智能体编码工作负载下的服务效率,直接对比上一代 GB300 NVL72(机柜级 GPU 服务器,把几十张卡当一台机器用)。
看点不在峰值 FLOPS(浮点算力,衡量芯片蛮力的指标),在每瓦能跑多少 token。智能体干活是长链路、多轮、高并发,电费和散热才是隐形成本。新硬件把这块的账重新算了一遍。
对做 Agent 服务的团队,这是个硬信号:同样的模型,换一代机柜,单位推理成本可能直接换一档。你纠结"上哪个模型"之前,也许更该问"跑在哪台机器上"。
但别只盯着纸面数字。实测是 Artificial Analysis 的口径,真实生产里的长上下文、工具调用、并发抖动,和基准环境不是一回事。硬件红利要落到账单上,还得看你的推理框架和调度能不能吃满它。
我的判断:Vera Rubin 这类机柜级评测的出现,说明行业注意力从"谁的模型强"悄悄挪到了"谁的推理栈更省"。算力不是稀缺品了,省着用算力才是真本事。
当推理进入长任务时代,电费比榜单更诚实。