QbitAI2026年9月26日 12:0512 天前

谷歌 TPU vs 英伟达 GPU:跑 Kimi 实测快 57%

AI 摘要

  • Inferact 团队称在谷歌 TPU 上跑 Kimi K3 达到 700 TPS,比英伟达 GPU 快 57%
  • 优化沿用了 vLLM 的思路并复用 DeepSeek 推理框架,成果回馈给上游开源社区
  • 双方目标是让 TPU 成为 vLLM 的一流支持对象,首个公开成果是 tpu-megakernels 代码仓库

为什么重要

推理成本已是模型落地的主战场,算力选择不再只有英伟达一条路。

  • 优化沿用了 vLLM 的思路并复用 DeepSeek 推理框架,成果回馈给上游开源社区
  • 双方目标是让 TPU 成为 vLLM 的一流支持对象,首个公开成果是 tpu-megakernels 代码仓库

AI Pulse 编辑解读

开源框架配上非 GPU 硬件,这类组合接下来只会越来越多。

风险与不确定性

单点基准不能代表通用负载,迁移 TPU 仍需评估适配成本与生态成熟度。

影响对象

开发者企业投资人

来源与透明度

本文由 AI Pulse 编辑部基于公开来源整理,摘要可能使用 AI 辅助生成,并经过人工检查标题、来源和关键信息一致性。

原始来源:QbitAI。发布时间:2026年9月26日 12:05。如果你发现事实错误或来源失效,欢迎通过联系页面提交纠错。

相关推荐