云天励飞:正在研发的推理芯片引入 3D 堆叠存储架构
5 月 11 日,云天励飞在投资者关系活动记录表中披露,公司正在研发的推理芯片,采用 GPNPU 架构为核心技术路线,主要技术亮点包括四个方面,一是 GPGPU 级通用编程能力:面向国内芯片“易用性”痛点,GPNPU 架构强调对主流 CUDA 等生态的兼容与迁移支持,以降低客户模型部署与迁移门槛;二是极致能效的 NPU 内核:围绕推理效率与能效比进行深度优化,提升推理侧性价比;三是引入 3D 堆叠存储架构:采用 3D 堆叠存储架构,以获得更高带宽与更低访问时延,突破“内存墙”,提升推理效率;四是算力积木架构:公司延续过去五年在国产工艺上的探索,以“算力积木”架构利用下一代芯片构建机架级 Scale-up 超节点,以满足万亿级乃至十万亿级 MoE 架构大模型的推理需求。公司通过该技术路线目标是指数级降低 Token 成本,加速大模型应用的规模化、普惠化落地。
5 月 11 日,云天励飞在投资者关系活动记录表中披露,公司正在研发的推理芯片,采用 GPNPU 架构为核心技术路线,主要技术亮点包括四个方面,一是 GPGPU 级通用编程能力:面向国内芯片“易用性”痛点,GPNPU 架构强调对主流 CUDA 等生态的兼容与迁移支持,以降低客户模型部署与迁移门槛;二是极致能效的 NPU 内核:围绕推理效率与能效比进行深度优化,提升推理侧性价比;三是引入 3D 堆叠存储架构:采用 3D 堆叠存储架构,以获得更高带宽与更低访问时延,突破“内存墙”,提升推理效率;四是算力积木架构:公司延续过去五年在国产工艺上的探索,以“算力积木”架构利用下一代芯片构建机架级 Scale-up 超节点,以满足万亿级乃至十万亿级 MoE 架构大模型的推理需求。公司通过该技术路线目标是指数级降低 Token 成本,加速大模型应用的规模化、普惠化落地。