第八代 TPU · Inference · 2026
用更大的 HBM 与片上 VMEM，加上 Boardfly 拓扑，专门优化大模型推理的访存与扩展效率。
Memory thesis
8i 的核心不是追求最高训练 FLOPS，而是通过更大 HBM、VMEM 和专用 collective 机制提高实际 token 吞吐。
Memory hierarchy
沿着数据离计算核心越来越远的方向阅读。真实带宽不只取决于介质，也取决于布局、复用和互联。
由 XLA 与内核调度管理中间数据，降低重复访问主存。
384 MB SRAM，为推理中的热权重、激活和查表数据提供高复用层。
288 GB、8,601 GB/s，容量和带宽均针对长上下文 serving。
面向大规模 collective 与 MoE token 交换，系统上限可达 1,152 颗物理芯片；官方同时描述 1,024 active chips，不能把物理规模直接当作可用规模。
Architecture note
TPU 8i 是 Google 第八代 TPU 中面向推理与 reasoning 的版本。相比训练型 8t，它用 288 GB HBM 与 384 MB 片上 VMEM换取更大的模型和 KV Cache 驻留空间。
Boardfly 互联和 Collectives Acceleration Engine（CAE）面向集合通信优化；官方对照表把 LLM Decoder Engine 列在 TPU 8t，而非 TPU 8i。
主要存储瓶颈
推理瓶颈从单芯片 HBM 带宽延伸到大规模 collective、KV Cache 容量与多租户调度。
Evidence
