Gen 1 Intelligence Processor · 2026
围绕 prefill、decode 与 KV Cache 局部性设计的 OpenAI 首款 LLM 推理芯片。
Memory thesis
Jalapeño 最值得跟踪的是“模型驱动硬件”和 KV Cache 局部放置；在硬规格披露前应把未知明确保留为空。
Memory hierarchy
沿着数据离计算核心越来越远的方向阅读。真实带宽不只取决于介质，也取决于布局、复用和互联。
编程模型显式描述数据位置、通信与同步。
设计目标是尽量保持本地，减少跨资源搬移。
网络被视为体系结构的一部分，而非外围 I/O。
以大连接域降低通信延迟，具体容量与带宽尚未公开。
Architecture note
Jalapeño 是 OpenAI 与 Broadcom 联合开发的首代推理加速器。公开材料强调“芯片—内存—网络—软件—机架”的全栈设计，而没有公布 HBM 容量或峰值 FLOPS。
其核心思想是让模型状态和 KV Cache 显式放置并尽量保持局部，在 prefill 与 decode 之间激活合适的计算、内存和网络资源。公开性能结果采用整系统延迟与每瓦吞吐，而非单芯片峰值。
主要存储瓶颈
目前缺少容量、带宽、缓存层次和工艺等硬规格，不能与 GPU 做逐字段公平比较。
Evidence
