Architecture note
如何理解这颗芯片
Maia 200 是面向推理的云端 ASIC,官方把内存系统而非峰值 FLOPS 放在核心位置:216 GB HBM3e、272 MB SRAM、专用 DMA 与 NoC 协同工作。
系统层采用两级 scale-up 网络,单加速器暴露 2.8 TB/s 双向带宽,并在托盘内以四颗芯片直连,减少交换跳数。
微软 2026 年 10 月确认 Maia 200 已运行 Microsoft Copilot 等生产负载;同期发布的 Maia 300 官方对照图将其单加速器峰值列为 10.1 POPS FP4、5.1 POPS FP8,HBM 带宽为 7.1 TB/s。
主要存储瓶颈
prefill 与 decode 的算术强度不同;固定硬件需依靠 DMA、NoC 和软件映射在两个阶段间保持高利用率。