Google 和 Meta 把 TorchTPU 开源了。一句话概括它的价值:你原来写的 .to('cuda'),现在改成 .to('tpu') 就能跑在 Google 的 TPU 上。
这事为什么值得产业侧的人看一眼?TPU 一直是 Google 自家的"私房硬件",在 PyTorch 生态里要用它,得绕一层 XLA 编译,坑多、文档散、调试痛苦。TorchTPU 给了原生后端,等于把 TPU 的门槛从"要懂分布式编译"降到"会改设备名"。
XLA(Google 的深度学习编译器,负责把模型图优化成能在 TPU 上跑的指令)——以前绕开它基本不可能,现在 TorchTPU 把它包了一层。
对跑大规模推理和训练的企业来说,这意味着多了一个不算贵的算力选项。TPU 在长序列、大批次场景的性价比一直有口碑,之前卡就卡在"迁移太麻烦"。
但别高兴太早。PyTorch 原生支持 TPU,不等于你的整个训练栈、数据管道、分布式策略都能无痛平移。精度策略、通信后端、算子覆盖,这些才是真正决定"能不能用"的地方。
这东西真正的信号,是算力供给在多元化。云厂商不想让 NVIDIA 一家通吃,TPU、Trainium 这种"第二选项"正在从玩具变成生产级。
做基础设施选型的人,今年真该把"多后端"写进评估项了。哪天 NVIDIA 涨价或者断供,你手里能立刻切换的那套方案,就是你的底气。