Jalapeño

六堆 HBM4 提供 216 GiB 和 15.4 TB/s，配合局部数据放置服务低时延推理。

3 个官方来源可信度高核验 2026-10-09

Memory thesis

6-stack HBM4 + 核心局部 L1 + 分层网络

216 GiB 和 15.4 TB/s 是单颗 ASIC 的 HBM4 规格；2,048 颗系统的 432 TiB 和 32 PB/s 是汇总容量与带宽。端到端效率需结合模型、并行方式及负载测试解读。

工艺 / 封装: B0 计算裸片：TSMC N3P；I/O 芯粒：N3E（SemiAnalysis）

存储: 216 GiB HBM4 / ASIC · 6 stacks

存储带宽: 15.4 TB/s HBM4 / ASIC

峰值计算: MXFP8×MXFP8 3.4 · MXFP8×MXFP4 6.7 · MXFP4×MXFP4 13.4 PFLOP/s

功耗: 700 W / ASIC 额定；测试负载持续 ≤550 W

互联: 本地域 128 ASIC @ 600 GB/s；全局 2,048 ASIC @ 200 GB/s

Memory hierarchy

存储层次

沿着数据离计算核心越来越远的方向阅读。真实带宽不只取决于介质，也取决于布局、复用和互联。

Core L1 / Local Tensors

核心内热数据复用

每个物理核心的 tensor、SIMD、scalar 引擎共享 L1 与快速局部内存视图；L1 容量未披露。

HBM4

模型状态与 KV Cache 主存

单颗 ASIC 封装内 6 堆 HBM4，合计 216 GiB、15.4 TB/s；与每核心的局部 HBM 视图配合，尽量减少远距离搬移。

On-chip Network

片上集合通信

专用 collective 网络服务常见归约与交换；通用 NoC 提供更灵活的全局访问。

Scale-up Domain

跨 ASIC 扩展

演讲稿列本地域 128 ASIC @ 600 GB/s、全局 2,048 ASIC @ 200 GB/s；2,048 颗系统的 432 TiB、32 PB/s 是汇总值，不是单颗规格。

Architecture note

如何理解这颗芯片

Jalapeño 是 OpenAI 与 Broadcom 联合开发的首代推理加速器。OpenAI 的 Hot Chips 2026 演讲稿第 32 页给出单颗 ASIC 的 216 GiB HBM4、15.4 TB/s 带宽，以及分别对应 MXFP8×MXFP8、MXFP8×MXFP4、MXFP4×MXFP4 的 3.4、6.7、13.4 PFLOP/s 矩阵计算峰值；这些不是端到端模型吞吐。

模型状态与 KV Cache 可显式放置并保持局部，prefill 与 decode 按需激活计算、内存和网络。OpenAI 报告芯片额定功耗 700 W，所测工作负载的持续功耗不超过 550 W；其 InferenceX 结果衡量完整请求的延迟和每瓦吞吐，不能与矩阵峰值混为一谈。

SemiAnalysis 在 OpenAI 实验室测试了 A0 工程样片，并报道 B0 版计算裸片采用台积电 N3P、I/O 芯粒采用 N3E。OpenAI 的公开资料未单独确认这些工艺节点，因此不将 B0 的 N3P 直接套用于 A0。

主要存储瓶颈

虽然 HBM4 的理论带宽为 15.4 TB/s，但 OpenAI 的演讲稿强调原始带宽无法直接换算为可达 token 速率；局部数据放置、片上/跨芯片通信与调度仍会限制有效利用率。

Evidence

资料入口

官方资料 · 必选

官方 · OpenAI · 2026-06-24OpenAI and Broadcom unveil LLM-optimized inference chip首发公告与系统合作边界。官方 · OpenAI · 2026-08-25Jalapeño’s first results700 W 额定与测试负载持续不超过 550 W；InferenceX 端到端测试与数据局部性。官方 · OpenAI / Hot Chips · 2026-08-25OpenAI Jalapeño at Hot Chips 2026 (public slide mirror)OpenAI 署名演讲稿的第三方公开镜像；第 32 页区分单颗 ASIC 与 2,048 颗系统的计算、HBM4 和互联规格。

第三方深度阅读 · 辅助理解

第三方 · SemiAnalysis / InferenceX · 2026-08-25OpenAI Jalapeño: Better Than Nvidia Blackwell在 OpenAI 实验室测试 A0；报道 B0 计算裸片采用 TSMC N3P，I/O 芯粒采用 N3E。工艺信息并非 OpenAI 公开确认。第三方 · TechInsights · 2026-09-04Inside OpenAI Jalapeño’s Inference Chip Architecture基于 Hot Chips 资料的独立架构解读。