ISSCC2025 | 用于大型语言模型的高效能张量收缩处理器

hdy

引言

随着大型语言模型（LLM）规模和复杂度不断增长，对能够高效处理这些模型且同时最小化功耗的专用硬件加速器的需求也随之增加。传统的AI加速器通常将张量收缩映射到矩阵乘法单元上，这往往无法充分利用张量运算中固有的并行性和数据局部性。由FuriosaAI开发的RNGD处理器采取了不同的方法，使用张量收缩作为原始计算单元，而非矩阵乘法。这种创新的5nm芯片专为提供高内存带宽和密集计算能力而设计，同时保持LLM推理过程中的功率效率[1]。

架构概述

RNGD采用独特的架构方法，将大型粗粒度处理元件（PE）分割成称为"slice"的更小计算单元。这种设计启用了大规模并行性和类似于向量处理器的时间轴流水线。根据连接这些slice的获取网络的配置，这些slice可以作为一个大型处理元件或多个独立计算单元运行。

图1展示了张量收缩处理器的处理元件结构，包含四个slice、多上下文操作示例及芯片规格概要。

RNGD由两个PE集群组成，每个集群包含四个PE和路由器。每个集群的片上网络(NoC)以1GHz的频率运行，提供高达1TB/s的内存带宽，最大限度地减少多个PE同时访问高带宽内存(HBM)时的瓶颈。单个PE可以独立运行，或与最多三个其他PE组合形成更大的PE。

图2说明了芯片的框图、处理元件平面图和设计中采用的时钟布线策略。

每个PE包括一个CPU核心、一个带有32MB SRAM的张量单元(TU)和用于张量传输的张量DMA(TDMA)引擎。TU能够提供64 TOPS（万亿次运算每秒）的计算能力，持续从SRAM获取输入张量，处理这些张量，并将结果存回SRAM。对于超出单个芯片容量的大型模型，RNGD支持PCIe点对点(P2P)通信进行芯片间协调，测得的吞吐量分别为不带PCIe交换机时32GB/s和带PCIe交换机时52GB/s。

处理元件设计

RNGD的处理元件是其架构的核心。每个PE包含65个slice，其中一个保留作为备用以提高芯片良率。虽然这些slice在功能上相同，但由于PE内位置不同导致的I/O位置变化，存在8种不同的物理形状。

这些slice通过TU片上网络(NoC)互连，该网络由65个路由器节点组成，排列成双向环形拓扑。从每个slice的SRAM中获取的数据通过获取网络顺序传递到操作单元，包括收缩引擎(CE)、向量引擎(VE)和转置引擎(TE)。

CE包含8个点积引擎(DPE)，执行逐元素乘法并通过深度可配置的归约树产生可变数量的输出。VE处理非线性函数、逐元素操作、归约和类型转换，而TE则将张量的最后一个轴与其他轴转置（例如，将b × l × e转换为b × e × l）。

TU控制器(TUC)通过访问TU控制和状态寄存器来管理和监控这些slice。CPU核心可以通过直接写入这些寄存器或通过TUC的命令队列发送命令来配置张量操作。这种设计实现了异步张量操作和数据移动，使CPU核心能够与张量计算并行执行其他任务。

内存系统与集成

RNGD配备两个HBM3堆栈，提供高达1.5TB/s的内存带宽。内存NoC通过地址哈希交织有效地将流量从PE分配到32个HBM通道。

图3展示了HBM集成方法以及为确保可靠运行而进行的信号/电源完整性分析。

设计师使用硅中介层的3D全波电磁建模进行HBM信号完整性(SI)和电源完整性(PI)分析。考虑了各种HBM切换模式以激发片上和片外共振，确保电源分配网络(PDN)阻抗在数据频谱中得到抑制。通过广泛的系统电源瞬态模拟和PDN优化，团队在0.4V VDDQL时实现了3.65%的Vpp，在0.75V VDD时实现了7.48%的Vpp。

硅中介层上HBM PHY和DRAM之间的高速互连经过精心设计，以最小化串扰和电容负载。互连通过S参数和瞬态模拟进行分析，显示在RX I/O焊盘处的眼图优于0.76UI。

电源管理与可靠性

RNGD实施了复杂的电源管理技术来平衡温度和性能。动态电压和频率调节(DVFS)有效控制总板功率，在运行期间保持在150W以下。

图4展示了带有片上监视器、时序裕度图、DVFS图和定制散热器设计的芯片热模型。

温度传感器分布在整个芯片上，并在运行期间定期监测。为管理高峰值电流，设计包括各种去耦电容，如片上、金属-绝缘体-金属(MiM)和中介层深沟电容(DTC)。每个集群的DTC量为24.5μF。全数字宽带电压下降检测器监控局部快速供电电压下降，如果电压低于预定义阈值则触发中断。

时序裕度在不同的芯片位置持续监测，同时也监测长期老化，这对数据中心可靠性非常重要。芯片支持加密进行安全启动，确保系统完整性。数据内存和SPM的控制逻辑以及HBM控制器支持单错误纠正和双错误检测。单比特错误被计入统计数据，双比特错误则触发中断。

为提高先进5nm工艺节点和653mm²大芯片面积的芯片良率，分级过程允许用备用slice替换有故障的slice。在晶圆测试期间，所有slice都经过测试，状态记录在片上保险丝中。在启动期间，读取这些值，PE内单个有故障的slice可以用备用slice替换。但是，如果PE中有两个或更多slice失效，整个PE被视为失效PE。如果集群中任何一个PE失效，整个PE集群被视为失效。

性能分析

RNGD采用的张量收缩方法最大化了并行性和数据重用，这对LLM推理特别有益。

图5展示了张量收缩如何最大化并行性和数据重用，同时显示处理过程中如何隐藏计算或传输时间。

该图说明了一个注意力头的查询(Q[0:256][0:128])和键(K[0:256][0:128])矩阵的乘法，以及矩阵Q在16个slice上的分布。还显示了预填充阶段编码器块的TU和TDMA活动跟踪，展示了短序列长度下计算时间如何隐藏在权重传输之后，以及长序列长度下计算占主导地位时权重传输时间如何隐藏在计算之后。

与其他加速器相比，RNGD显示出令人印象深刻的效率。

图6提供了RNGD与其他加速器在延迟和大型语言模型性能方面的比较。

RNGD的峰值内存带宽比NVIDIA L40s GPU高1.7倍，吞吐量快1.76倍，而热设计功率(TDP)低57%。虽然NVIDIA H100的速度快1.72倍，内存带宽高2.2倍，但其TDP比RNGD高4.7倍。这种比较凸显了RNGD相对于其功耗的卓越吞吐效率，这归功于其有利的内存带宽与TDP比率。测量的GPT-J 6B每瓦性能在99%准确率下比L40s高53%。

图7展示了RNGD处理器的芯片显微照片，说明设计的物理实现。

结论

RNGD处理器代表了大型语言模型硬件加速的重要进步。通过使用张量收缩而非矩阵乘法作为原始操作，实现了高计算效率和功率性能。其创新架构，具有灵活的处理元件和slice，实现了大规模并行和高效数据重用。结合高内存带宽和复杂的电源管理技术，RNGD为LLM推理提供了令人印象深刻的性能，同时与传统GPU加速器相比保持较低的功耗。随着LLM规模和重要性的持续增长，像RNGD这样的专用硬件加速器将在使这些模型更易于使用和更加节能方面发挥关键作用。