你有没有算过,把一家大模型换成另一家,要改多少处代码?
litellm 的答案:一行。它是个 AI 网关(gateway,横在应用和各家模型之间的统一出入口),Rust 写内核,Python 调 SDK,上面接 100 多个 LLM API——OpenAI、Anthropic、Bedrock、Azure、Vertex,全用一套 OpenAI 格式说话。
意义不在「又能调一家」。在于你把供应商锁定从架构里抽掉了。
成本追踪、限流、负载均衡、调用日志,全在网关这层收口。哪天某家涨价、限流、或者干脆下线,你换的是配置文件,不是业务代码。对有合规和行业客户的项目,这点意味着审计能说清每一分钱花在哪、每一次调用走的哪条路。
当然,网关不是银弹。它解决的是「接入和切换」,不解决「哪家模型在某个任务上真的更强」。后者还是得靠你自己的评测。
但光是让「换模型」从惊动全组的工程变更,变成运维改个 YAML,就值回票价了。