Maia 300

以八堆 HBM4、芯粒级 NUMA 与软件定义数据流，减少长上下文推理的数据搬移。

2 个官方来源可信度高核验 2026-10-15

Memory thesis

软件管理片上 SRAM + 8 堆栈 HBM4 + 芯粒级 NUMA

Maia 300 把单加速器 HBM 带宽提升约 2.5 倍至 18 TB/s，并以 NUMA、软件管理 SRAM 和统一网络减少无效搬移；实际 token/瓦优势仍需具体工作负载与独立测试验证。

工艺 / 封装: 多 Chiplet · 计算裸片 TSMC N2P

存储: 288 GB HBM4 / 加速器 · 8 堆栈

存储带宽: 18 TB/s HBM / 加速器

峰值计算: 13.8 POPS FP4 · 6.9 POPS FP8 峰值

功耗: 950 W SoC TDP

互联: 3.2 TB/s 双向 scale-up / 加速器

Memory hierarchy

存储层次

沿着数据离计算核心越来越远的方向阅读。真实带宽不只取决于介质，也取决于布局、复用和互联。

Local SRAM / Vector Engine

算子局部复用与格式转换

片上 SRAM 由软件管理为 scratchpad；向量引擎针对 softmax、低精度转换等推理 kernel 优化。Maia 300 的 SRAM 容量未披露，不能沿用 Maia 200 的 272 MB。

NUMA + DMA / NoC

芯粒内外数据放置与搬移

SDLA 显式协调本地存储、DMA、HBM 和片上网络；跨芯粒访问不再视为等距离，数据布局会影响时延和每瓦效率。

HBM4

模型权重与 KV Cache 主存

单加速器 8 堆栈、288 GB、18 TB/s 峰值带宽；相对 Maia 200，容量增加 33%、带宽约 2.5 倍。

Ethernet Scale-up

跨加速器扩展域

单加速器双向 scale-up 峰值 3.2 TB/s；机架内电连接、跨机架光互联，共用定制 AI transport。特定带宽分配条件下可向 superpod 内其他节点发送最高 750 GB/s，不代表同时对每个节点保证该带宽。

Architecture note

如何理解这颗芯片

Maia 300 是微软 2026 年 10 月公布的第三代 Azure Maia 推理加速器，计划从 2027 年开始生产部署。官方规格图列出单加速器 288 GB HBM4、18 TB/s 峰值带宽、13.8 POPS FP4 / 6.9 POPS FP8 峰值计算，以及 950 W SoC TDP；这些数字不是端到端 token 吞吐。

计算、内存控制器和 I/O 分置于不同裸片，计算裸片采用台积电 N2P。延续 Maia 200 的软件定义局部访问数据流（SDLA），Maia 300 将原先较统一的访存组织改为跨芯粒 NUMA：软件显式安排 SRAM、DMA、HBM 和片上网络的数据位置与搬移，尽量让数据靠近使用它的计算区域。片上 SRAM 容量及非计算裸片的制程尚未披露。

面向长上下文和 decode-heavy 负载，Maia 300 加入增强 MXFP4、低于 3 bit 的存储格式、硬件数据类型转换，以及针对 softmax 等推理 kernel 的向量指令优化。更窄的表示可减少权重与 KV Cache 的容量、带宽压力，但实际模型质量与有效吞吐需按具体负载验证。

机架配置为 96 颗加速器、167 kW 功率边界，合计约 27.6 TB HBM 和 1.7 PB/s HBM 带宽；最多 128 个机架可组成 12,288 加速器 superpod。微软宣称满配机架 token 吞吐最高为 Maia 200 的 7 倍，并预计每兆瓦 token 数较领先 GPU 系统高 40%；这两项都是厂商的系统级、负载相关比较，并非单芯片通用性能或第三方实测。

主要存储瓶颈

18 TB/s 是 HBM 理论峰值；长上下文 decode、KV Cache 交换和跨芯粒访问仍受数据局部性、有效带宽、网络拓扑与 950 W 功率边界约束。

Evidence

资料入口

官方资料 · 必选

官方 · Microsoft Azure · 2026-10-12Deep dive into Azure Maia 300 architecture官方架构分析与规格图：单加速器算力、HBM、TDP、scale-up；芯粒级 NUMA 和机架、superpod 边界。官方 · Microsoft Official Blog · 2026-10-12Microsoft to expand Azure Maia system to multi-gigawatt deploymentsMaia 300 预计 2027 年生产部署；96 加速器机架、167 kW 及厂商声明的系统级比较。