选模型这事儿,看榜单越来越像看广告。

分数谁高谁低,跟你真实业务里"谁写得对、谁跑得快、谁烧钱少"经常对不上。同一个编码任务,三家模型表现可能天差地别,可你手里没有一把能同时跑、还能对账的尺子。

llm-compare 就是这把尺子。它是个 Node/Express 写的小应用,把同一个智能体编码、商业、游戏任务同时丢给最多三个模型并发跑,correctness(正确性)、speed(速度)、tokens(token 数)、cost(成本)四项指标当场量给你看,token 一个一个流式吐出来。

它可信,是因为每个数字都是实时从供应商 API 量出来的,没有写死的结果。编码任务跑隐藏的边界测试用例(专门坑 naive 解法的那种),商业和游戏这类开放任务交给一个"盲评"LLM 裁判按加权 rubric 打分。价格锁在服务端,浏览器改不了——所以便宜的模型在成本轴赢,是凭本事赢。

部署也轻。本地一条命令起,或者一键推到 Google Cloud Run,支持 Google SSO 登录、自带密钥(bring-your-own-keys,你用自己的 API key、不落地到服务器)。17 个内置任务横跨商业 6、编码 6、游戏 3、通用 2,想加就往 prompts/ 里丢个 Markdown。

说白了,这是给"要真掏钱买 token"的人用的比武场,不是给刷榜用的。当模型选择从玄学变成可测量的采购决策,这类工具的价值才刚显出来。