Google · 第八代 TPU · Inference
TPU 8i
用更大的 HBM 与片上 VMEM,加上 Boardfly 拓扑,专门优化大模型推理的访存与扩展效率。
- 存储
- 288 GB HBM + 384 MB VMEM
- 带宽
- 8.6 TB/s HBM
26
芯片条目
4
Memory 专题
41
官方来源
100%
官方来源覆盖
Latest silicon
Google · 第八代 TPU · Inference
用更大的 HBM 与片上 VMEM,加上 Boardfly 拓扑,专门优化大模型推理的访存与扩展效率。
Google · 第八代 TPU · Training
以 9,600 芯片 Superpod 和 3D Torus 扩展域服务下一代基础模型训练。
AMD · MI400 · CDNA 5
12 栈 HBM4 与 3D 混合键合计算裸片把 MI400 推向 72-GPU Helios 机架级系统。
AMD · MI400 · Sovereign AI / HPC
在 MI400 封装基础上强化硬件 FP64,面向国家级 AI 与科学计算基础设施。
Xiaomi · XRING · AI Accelerator
把 AI 专用内存垂直堆叠在计算层附近,以 1.22 TB/s 带宽突破端侧 DRAM 墙。
Xiaomi · XRING · Intelligent Driving
以大容量统一内存承载 200B+ 车端模型,把智驾计算从固定算子推向大模型域控。
Memory technologies
从 HBM4 的超宽 DRAM,到 HBF 的高密度 Flash,理解下一轮系统设计空间。
High Bandwidth Memory
用超宽接口把 DRAM 搬到计算封装旁边
HBM 通过 TSV 垂直堆叠 DRAM,并借助硅中介层或先进封装与加速器并排连接。HBM4 把接口宽度翻倍到 2048-bit 级,并开始让逻辑基底承担更多定制功能。
HBM4 36 GB 12H 量产 · 48 GB 16H 送样(Micron)
Low Power Double Data Rate DRAM
以能效和容量密度承接端侧 AI,也开始进入服务器
LPDDR 原本服务移动设备,随着边缘模型和推理服务器追求每瓦容量,它正扩展到 AI PC、汽车与大容量服务器。LPDDR6 通过更多、更窄的子通道提高并发,并加强动态电压频率管理。
LPDDR5X 广泛量产 · LPDDR6 初期导入
Double Data Rate Main Memory
容量、可维护性与成本主导的主机内存层
DDR5 是 CPU 主存与大容量内存池的基础。MRDIMM 通过多路复用 rank 和缓冲逻辑提升有效数据率,使主机侧带宽更适合数据预处理、Embedding、KV Cache 卸载与 disaggregated serving。
DDR5 主流 · MRDIMM 加速导入
High Bandwidth Flash
把 NAND 做成封装内高带宽容量层,瞄准权重与 KV 的冷/温数据
HBF 试图在 HBM 与 SSD 之间建立新层级:使用堆叠 NAND、宽 package-local 接口和面向只读/低写入 AI 数据的控制方式,以 TB 级容量和接近 HBM 的顺序读取带宽降低每 bit 成本。
2026 首版开放规格 · 工程导入期
保留芯片、板卡、系统与稠密/稀疏口径,不把不同边界的数字压成一个分数。
每个正式芯片条目至少链接一份厂商文档、官方技术博客或学术会议资料。
独立文章用于理解与质疑,不替代官方参数;推断会和已公开事实分开标注。
可持续更新的数据层
官方源增量监测已配置;当前由 Codex 运行,接入 GitHub 后每日自动执行。