Architecture note
如何理解这颗芯片
HC1 是 Taalas 的技术演示芯片,运行固化的 Llama 3.1 8B,提供聊天演示与 Beta API。据 EE Times 对公司负责人的采访,模型及固定权重由基于掩膜 ROM(Mask ROM)的结构保存,配合可编程 SRAM;其设计以单个模型为中心。
官方产品页报告单用户 17,000 tokens/s,测试模型为 Llama 3.1 8B,图注序列条件为 1k/1k,由 Taalas 实验室测试;该指标不能等同于系统总吞吐或跨精度公平比较。
主要存储瓶颈
Mask ROM 让固定权重留在片上;上下文、KV Cache 和适配器仍需要可编程存储。动态状态的容量与并发扩展尚缺公开数据。