Architecture note
如何理解这颗芯片
Gaudi 3 由两个对称裸片组成，包含 Matrix Math Engine、Tensor Processing Core 与共享 SRAM。它没有专用 NVLink 类交换域，而是把 24 个 200GbE RoCE 端口直接集成到芯片。
这种设计让内存层次和网络层次连成一体：96 MB SRAM 负责片上热点，128 GB HBM2e 承载模型，标准以太网处理 scale-up 与 scale-out。
主要存储瓶颈
HBM2e 容量和带宽落后于 HBM3e 新平台；优势更多取决于 SRAM 利用与以太网集群成本。