FAMAFlagship AI Accelerator Memory ArchitecturesFAMA

Double Data Rate Main Memory

DDR5 / MRDIMM

容量、可维护性与成本主导的主机内存层

DDR5 是 CPU 主存与大容量内存池的基础。MRDIMM 通过多路复用 rank 和缓冲逻辑提升有效数据率,使主机侧带宽更适合数据预处理、Embedding、KV Cache 卸载与 disaggregated serving。

DDR5 主流 · MRDIMM 加速导入核验 2026-09-04
DDR5 基础
双 32-bit 子通道 / DIMM
MRDIMM 路线
Gen2 目标 12,800 MT/s
优势
高容量、可插拔、低成本/bit
AI 角色
Host / KV / Embedding / offload

怎么工作

  • 01DIMM 在 CPU 内存通道上并行工作。
  • 02DDR5 把传统 64-bit 通道拆成两个 32-bit 子通道。
  • 03MRDIMM 以寄存器和多路复用缓冲器聚合多个 rank 的数据。

在 AI 系统中的角色

  • 01支撑 CPU 预处理、数据加载与检查点。
  • 02作为 HBM 之外的 KV Cache 或模型卸载层。
  • 03CXL 可进一步把 DDR5 组织为共享或分层内存池。

关键取舍

  • 01带宽密度与能效远低于封装内 HBM。
  • 02NUMA、通道人口和 rank 组织强烈影响性能。
  • 03MRDIMM 增加缓冲延迟、功耗和平台依赖。

阅读提示

带宽峰值是物理接口上限,不等于应用有效带宽。评价任何 Memory 技术时,都要同时检查访问粒度、随机性、复用、控制器开销、热设计与软件可见性。

Further reading

继续阅读