Architecture note
如何理解这颗芯片
Dragonfly AI200 把 Qualcomm 的 NPU 能效路线带入数据中心。单卡 768 GB LPDDR5X，56 卡机架合计约 43 TB 内存，适合容量密集型 LLM serving。
它使用 PCIe 6 做 scale-up、Ethernet/RoCE 做 scale-out。官方给出整柜聚合带宽，但尚未披露单芯峰值算力和单卡带宽，分析时不能直接与 HBM GPU 的单卡 TB/s 对比。
主要存储瓶颈
LPDDR 高容量路线要求软件充分利用批处理、量化和分片，否则低于 HBM 的单卡带宽会限制 token 速率。