存储技术使能未来计算系统

hdy

下是美光科技公司（Micron）的存储器专家Paolo Fantini论述“存储技术使能未来计算系统”的文章，旨在探讨实现更高效未来计算系统的发展方向，主要包括：（a）存储器技术发展路线图；（b）存储与逻辑器件之间的创新互连系统；（c）突破冯·诺依曼计算范式的限制。

1. 引言

“数据是新的石油”这一说法最早由数学家Clive Humby在2006年凯洛格学院（美国西北大学）举办的ANA高级营销人员峰会上提出，伴随着大数据时代的到来，成为一种用来传达大数据巨大价值的口头禅。这一口号确实体现了更广泛的观点：“数据固然有价值，但如果不加以提炼，就无法真正被利用。正如原油需被转化为汽油、塑料、化学品等，才能成为推动盈利活动的价值实体，数据也需经过分解、分析，才能实现其真正价值。”

图1显示，在过去15年中，全球每年所产生的数据量呈指数级增长，到2025年达到200 ZB。这一增长趋势在经济层面同样得到印证：图2从更长的时间维度表明，通过DRAM和NAND这两大主流半导体存储器的年销售比特量，可以清晰地观察到这一持续增长趋势。

图1 全球数据圈的发展趋势，以及穿插展示的各年代技术演进

图2 2016年至2023年间DRAM与NAND出货比特数的增长情况

图1展示了过去55年间主要技术变革的全景式概览，这些变革与全球数据圈的发展趋势交织在一起。具体而言，20世纪70年代是个人计算机的兴起年代；20世纪80至90年代则见证了计算机通过互联网实现互联；21世纪初的00年代是移动设备迅猛发展的时期；10年代进入了大数据时代；而当前则迈入了人工智能（AI）主导的时代。

这种交织关系表明，数据的生成与存储和技术演进之间存在密切的相关性：生成、处理与存档数据的能力推动了技术创新，技术又反过来促进数据生成。归根结底，信息即文化。

图1和图2中的曲线清晰地表明，技术创新是数据经济时代的关键使能者和核心驱动力。事实上，这些增长趋势的背后，正是CMOS与存储器技术的持续微缩——若没有这一技术演进，如此显著的数据增长便不可能实现。

如今无处不在的AI技术，也正是建立在过去数十年间半导体存储技术飞速发展的基础之上。实际上，早在20世纪80至90年代，AI算法的基本框架就已被提出，但直到近年，AI才真正成为现实。这得益于先进半导体技术的支持，使我们能够应对AI所需的海量数据与复杂计算需求。

这一需求正在深刻重塑计算系统的基本范式——从传统的以处理器为中心逐步演变为以数据为中心的架构体系，其核心挑战在于实现海量数据的高速访问能力。在传统计算架构中，中央处理器（CPU）长期占据核心地位，始终是系统优化的主要焦点；而主存等数据存储单元则被简单视为被动执行部件，这种架构失衡最终导致了显著的效率瓶颈。

如今，随着存储系统在计算架构中的核心地位日益凸显，Wulf和McKee于1995年首次提出的“存储墙”瓶颈问题被进一步放大。这一系统性瓶颈表现在三个方面：容量限制（“容量墙”）、传输带宽约束（“带宽墙”）以及受限于存储介质物理特性的访问延迟（“延迟墙”，其受限于基本物理规律而最具挑战性）。数据驱动计算范式的发展，迫切要求我们重构计算基础架构，对处于计算核心的存储层次进行根本性优化。

图3展示了基于Petterson经典存储墙问题图的更新版本，直观呈现了这一关键瓶颈。该图对比了不同代际互连技术与存储器带宽的演进趋势，以及峰值浮点运算能力（FLOPs）的提升轨迹。数据显示，过去20年间数据传输速率与计算性能的发展存在显著失衡：服务器峰值FLOPs保持每两年3.0倍的指数增长，而同期DRAM带宽和互连带宽的增速仅为每两年1.6倍和1.4倍，差距持续扩大。

图3 不同代际互连技术与存储器带宽的演进趋势，以及峰值浮点运算能力（FLOPs）的增长趋势

由此可见，存储器技术正在从数据经济的关键驱动力，逐渐转变为制约其发展的瓶颈。存储器领域的研发人员必须积极应对这一挑战。本文旨在探讨：面对指数级膨胀的数据洪流，我们可以如何应对？具体而言，本文将系统分析存储技术厂商重点布局的三大创新方向：即（a）存储器（包括外存和内存）技术的发展路线图；（b）存储器与逻辑器件之间互连系统的创新；（c）冯·诺依曼计算架构的突破。

2. 产业界应对存储器问题的策略

A. 培育创新路径以克服微缩挑战

自确立为半导体存储器主流技术以来，DRAM和NAND不断突破曾被视作物理极限的工艺微缩瓶颈。如前述分析所示，这种持续的技术微缩构成了支撑数据经济及其衍生创新的核心驱动力。在半导体产业分类中，NAND和DRAM分别对应外存（storage）与内存（memory）两大技术路线，这一术语区分源于其本质的数据访问特性差异：DRAM支持快速的字节寻址，而NAND则采用较慢的基于数据块的访问模式，每次操作涉及数千字节的数据块，这也是固态硬盘（SSD）架构设计的底层逻辑。

图4(a)直观地展示了NAND技术在过去十年中的演进路径，表明技术已从平面NAND（Planar NAND）发展至垂直三维NAND（V-3D NAND）技术。三维NAND最初以24层堆叠结构和多级单元（Multi-Level Cell, MLC）技术投入量产，其物理微缩主要通过垂直方向堆叠层数实现。值得注意的是，完整的微缩策略涵盖XYZ三维协同优化，其中XY平面微缩用于减小存储单元的特征尺寸，Z轴的微缩则致力于在增加堆叠层数的同时，通过器件结构创新（如阶梯式刻蚀技术）和新型介电材料控制芯片总厚度。目前行业已实现230层三维NAND的量产，并通过架构、工艺及新材料的创新，有望突破1000层堆叠的技术限制。

图4(b)则显示，除了物理密度的突破外，三维NAND也在积极推动逻辑密度（即每个单元存储更多比特）的提升。三维NAND最初采用MLC技术，随后因其出色的单元特性与可靠性迅速过渡至三级单元（Triple-Level Cell, TLC）技术。近年来，四级单元（Quad-Level Cell, QLC）技术也已进入量产阶段。目前，TLC是高性能、高耐久性应用的主流选择，而QLC正逐渐成为高密度、低成本应用的主流。五级单元（Penta-Level Cell, PLC）技术及更高比特密度技术也已被提出并验证，作为进一步提升逻辑密度的下一方向。

图4 （a）通过增加堆叠层数实现的垂直三维NAND阵列微缩；（b）三维NAND中逻辑比特密度的微缩概念，从单级单元（SLC）、多级单元（MLC）、三级单元（TLC）到四级单元（QLC）

在存储密度取得进展的同时，性能提升也在持续推进。写入带宽方面，通过采用CuA结构（CMOS under Array，即阵列下CMOS），将CMOS电路置于三维NAND阵列下方，实现了带宽的显著提升。传统CoA设计（CMOS outside Array，即阵列外CMOS）将CMOS电路布置在三维NAND阵列侧面，CMOS面积的增大会导致芯片尺寸相应增加。相比之下，CuA技术使CMOS电路能够集成在三维NAND阵列下方，这不仅实现了存储阵列的平面化布局，提高了并行度，还能在控制芯片面积的同时大幅提升带宽。实际上，包括页缓冲电路在内的众多CMOS模块都被集成到了阵列下方。此外，提升NAND性能的另一策略是采用更先进的晶圆键合技术，如“晶圆对晶圆”（Wafer-on-Wafer，WoW）技术。在该架构中，CMOS电路与存储阵列分别在专用晶圆上制造，使得CMOS器件和互连的工艺流程可以独立优化，从而实现了更高速、更低功耗的输入输出数据路径电路。展望未来，通过工艺、结构和材料方面的持续创新，垂直三维NAND技术有望实现超过1000层的堆叠。

与此同时，DRAM单元仍沿用Robert Dennard于1966年提出的基本结构，即由单个存储电容和存取晶体管构成。DRAM技术的微缩需要同步优化阵列中的所有关键组件，包括存储电容、存取晶体管、金属互连的电阻电容特性，以及周边CMOS电路的性能。值得注意的是，将这些组件高效集成至单一阵列中本身就是DRAM技术的重要突破：除了依赖光刻和图形化技术推动最小特征尺寸λ的演进外，DRAM单元版图设计也实现了显著优化——单元面积从1990年代初的20λ²缩减至现今的6λ²，并有望通过垂直晶体管通道（Vertical Transistor Channel，VTC）技术进一步缩小至4λ²。

图5(a)总结了过去15年中DRAM单元的圆柱形电容器的结构演变历程。数据显示，其直径已由150 nm缩小至20 nm，而高宽比（高度与直径的比值）则从10增长至35。这一演变不仅对光刻技术提出严峻挑战，同时也对刻蚀、清洗、金属与介质薄膜沉积以及机械稳定性等关键工艺技术和制程控制提出了更高要求。电容器尺寸的激进微缩导致电容值（Cs）下降，进而影响感测裕度和数据保持时间等关键参数。为解决这一问题，产业界采用了新型高介电常数材料，成功实现了1×nm级DRAM技术节点。如图5(b)右侧所示，该图同时呈现了高宽比的演进轨迹。

图5 （a）DRAM电容器的结构演进；（b）DRAM电容器在不同技术节点下的材料创新与高宽比演进

与NAND技术发展路径相似，DRAM技术的微缩不仅着重提升比特密度，同时也持续优化性能指标，具体体现在功耗降低和带宽提升两方面。数据显示，过去30年间，通过结构设计、材料创新和电路优化，DRAM的工作电压已从5V显著下降至约1V。面向下一代DRAM的关键技术创新方向包括：1）采用具有本征低漏电特性的新型晶体管沟道材料（如非晶氧化物半导体）；2）借鉴NAND技术的WoW方案，将外围电路集成于存储单元阵列下方；3）开发创新的多层单元结构——通过水平堆叠多个存储电容器，构建类似三维NAND的立体架构。

B. 提升存储器与主机之间的互连性能

20世纪40年代，约翰·冯·诺依曼提出的计算架构确立了CPU与主存之间的分离关系，其中主存存储着程序执行所需的“工作集”（指程序运行过程中访问的数据集合）。虽然现代系统通过在CPU和主存之间引入多级缓存机制，在一定程度上缓解了这种分离带来的性能问题，但当今的数据密集型计算系统仍然基于传统的冯·诺依曼（von Neumann，简称vN）架构构建。在这种架构下，约60%的能量消耗都发生在数据传输过程中。因此，必须重点优化CPU与存储器之间的互连结构。这既包括物理连接层的改进，也涉及更高效通信协议的开发和应用。

近存计算（Near-memory computing, NMC）的核心思想是将计算任务迁移至靠近数据存储单元的位置执行。芯粒（Chiplet）架构作为新兴技术方案，通过将复杂芯片解构为多个模块化子单元（即芯粒）来重构半导体设计与制造流程。这种异构集成策略能够构建性能媲美甚至超越传统单芯片系统（SoC）的模块化架构，如图6(a)所示。在垂直维度上，采用混合键合（hybrid-bonding）技术和硅通孔（TSV）互连的三维集成方案，实现了芯粒组件的高密度立体堆叠。该技术不仅提供超高互连密度，还能有效抑制寄生效应，从而显著降低传输延迟和功耗。这种三维集成技术被视为实现"近数据处理"目标的核心技术路径。如图6(b)所示，AMD公司已成功开发出基于混合键合的三维垂直末级缓存（Last Level Cache, LLC），显著提升了处理器计算性能。

图6 （a）芯粒（Chiplet）概念；（b）通过芯粒技术实现的AMD Instinct™ MI300X加速器，展示了异构封装中的各个组成部分

高带宽存储器（High Bandwidth Memory, HBM）技术是另一种Chiplet技术，推动了“近存计算/处理”阶段的发展，为即将到来的“存内计算/处理”（In-Memory Computing/Process）时代奠定基础。这种以数据为中心的计算范式将计算单元紧邻数据存储单元部署，以最大程度减少昂贵的数据搬移。HBM的基本结构由底部的逻辑芯片（logic die）和堆叠的核心DRAM芯片组成，这些芯片通过TSVs相互连接，如图7所示。这种将逻辑与存储组件集成堆叠的结构，能够显著降低存储器访问延迟和功耗，并大幅提高带宽。实际上，在功耗固定的前提下，可以通过降低每比特能耗（Energy Per Bit, EPB）来提升带宽（BW），两者之间的关系可表示为：P∼EPB⋅BW。得益于先进的三维互连堆叠技术，多个DRAM芯片可通过基板（例如硅中介层）连接到 GPU 或 CPU 上的内存控制器，最新一代HBM产品能够实现超过1 TB/s的传输速度。

图7 采用堆叠式DRAM存储芯片的HBM和HMC架构示意图

另一项旨在提升CPU性能的技术是计算快速链接（Compute Express Link, CXL）协议。CXL是一项由工业界支持的开放标准互连技术，面向处理器、存储器扩展和加速器。其核心优势在于：CXL技术能够在CPU对应的主存与外接设备上的存储器之间维持存储一致性，从而实现资源共享（或资源池化），提高系统性能，简化软件栈的复杂性，并整体降低总拥有成本（Total Cost of Ownership, TCO）。通过缓存一致性的CXL互连机制实现的资源共享/池化，也有助于缓解当前系统面临的存储墙问题。此外，CXL 与底层存储器技术无关，因此可以通过 CXL 混合系统 (CXL-H) 异构融合多种内存和外存技术，以满足数据中心对大容量工作负载的需求。最后，如图8所示，CXL为构建更细粒度的存储层次结构提供了可能，通过部署分级存储子系统，在单位成本（$/GB）更低的前提下实现更高的存储容量。

图8 通过CXL实现的存储层级扩展

C. 通过存内计算（IMC）结构融合计算与存储

早在数据中心时代到来之前，著名计算机体系结构专家Rich Sites就意识到了对更智能存储器的需求，并于 1996 年发表了一篇论文，标题颇具“挑衅性”，即“问题在于存储器，笨蛋”。在文中，他指出，当时他所设计的Alpha芯片是最快的芯片之一，平均每4个CPU时钟周期完成一条指令，可其中有3个周期都花在了等待存储器响应上。由于这种时间浪费是不可接受的，他写道，对于未来几十年的计算机体系结构而言，“唯一重要的设计问题” 仅是扩大 25% 峰值带宽的使用率——因为其余大部分时间都浪费在等待存储器上。

事实上，冯·诺依曼计算机体系结构带来了三个主要弊端：其一，该架构本质上为高度串行架构，这导致了显著的时间损失和延迟；其二，数据在存储系统与CPU之间频繁传输，带来了显著的能耗问题；其三，受上述能耗问题影响，系统运行过程中的碳排放也随之增加。

正是受到这些问题的推动，高性能计算系统的设计正逐步从传统的以计算为中心的模式，转向以数据为中心的方法。在这一背景下，与冯·诺依曼方法中存储与逻辑的分离相比，一种更好的方法出现了：在存储中进行计算。

因此，存储器技术与系统发展的新前沿正体现在构建新型计算型存储（computational memory）范式，其中部分计算任务可通过利用存储器件的物理特性与状态动力学，在存储单元内部直接完成。传统的计算通常依赖于CPU中的逻辑单元，通过一系列基本布尔逻辑操作对比特位执行复杂运算。最近的研究表明，一些属于忆阻器（Memristive Devices）类别的新兴存储器件，能够模拟逻辑门，从而实现这些计算功能。

此外，数字计算机在求解矩阵方程等问题时，通常需要大量的计算步骤。非易失性存储器（Non-Volatile Memory, NVM）的交叉阵列结构，因其本身的构造特性，天然适用于执行矩阵-向量乘法（Matrix–Vector Multiplication, MVM）运算，因此成为解决这类矩阵问题的理想框架。近年来，一些研究已展示了通过利用交叉阵列执行MVM计算来实现一步求解矩阵方程的可行性。图9展示了一种用于求解线性方程组的交叉阵列电路，依据矩阵公式Ax=b进行计算，其中矩阵A的元素被映射到阵列上，b是已知向量（例如输入电流），而x是所需求解的未知向量。

图9 （a）用于求解线性系统或正定矩阵求逆的交叉阵列电路；（b）利用欧姆定律计算标量乘积I=G⋅V的电路，以及利用跨阻放大器计算标量除法V=−I/G的电路

此外，大脑的一个令人惊叹的特性在于其认知功能，而这一能力正是得益于神经系统中学习与记忆过程。在神经科学中，大脑学习的基础被发现与调节两个神经元之间突触连接强度的过程有关，该连接强度被称为突触权重（synaptic weight）。特别地，脉冲时序依赖可塑性（Spike-Time-Dependent Plasticity, STDP）是一种突触可塑性形式，它根据前突触神经元和后突触神经元发放脉冲的相对时间来更新突触权重：如果前突触神经元先发放脉冲，而后突触神经元随后发放脉冲，则发生长期增强（Long-Term Potentiation, LTP）；反之，如果顺序相反，则会发生长期抑制（Long-Term Depression, LTD）。因此，要构建一个人工电子突触，必须具备实现STDP的能力，以模拟突触的功能特性。已有研究表明，许多新兴的存储器件确实能够重现突触可塑性，表现出与生物突触行为一致的行为特性。图10展示了其中一个例子：利用相变存储器（PCM）单元实现STDP机制。在这一研究方向上，IBM正积极推进基于相变存储器的研究，该器件具备多项优势，包括良好的可扩展性、可靠性、耐久性以及多个可编程电阻态，使其成为实现大规模突触系统的理想选择。此外，神经形态神经网络（Neuromorphic Neural Networks）已被广泛证明可与多种新型存储技术结合实现，例如阻变存储器（RRAM）、铁电场效应晶体管（FeFETs）、磁存储器以及传统的NAND闪存等。

图10 （a）生物学中的突触连接结构和PCM突触仿生结构示意图；（b）通过PCM单元实现的STDP曲线

总而言之，采用新兴存储器件构建的高密度交叉阵列为模拟非冯·诺依曼的人脑计算范式提供了机遇。这种范式具备高度连接性（单个神经元可接受多达一万个来自其他神经元的输入）并依赖可调节的元件（即突触）实现。这种结构使人脑所展现的大规模并行性与能效优势成为可能。将非易失性存储器（Non-Volatile Memory, NVM）交叉阵列扩展至数纳米尺度，是构建可突破所谓“冯·诺依曼瓶颈”的计算系统的一条极具前景的路径。

上述内容仅涉及AI多种变体中的少数几个实例，如神经网络加速器、深度学习、矩阵-向量乘法、采用脉冲传递和存储信息的类脑神经网络、存内逻辑、联想记忆以及存储等。在我们看来，考虑到AI本身具备棱镜般的多样形态，若能使用同一类技术来支持多样化的AI应用将是极具价值的，因为为每一种AI应用单独进行专用技术的重新开发是极其困难的。因此，能够满足多种IMC应用的能力，正是计算型存储器技术的一项重要价值所在。

3. 结论

总结来说，自人类在数千年前的“罗塞塔石碑”时代发明最早的记忆载体以来，信息的生成、存储与共享能力在千百年的历史进程中持续大幅提升，并最终在当今时代演化为全球数据圈中数据量每年呈指数级增长的趋势。值得一提的是，“Google”这一术语的诞生实际上源自数学术语“Googol”的拼写错误，后者用以表示一个极其庞大的数值10100，大致相当于宇宙中所有粒子的总数。顺应这一趋势，作为数据增长的推动者和支撑者，存储技术制造商正致力于在多个层面提升处理海量数据的能力（目前约为 200 ZB/年，未来几年将更多）：（a）继续推进存储器技术的发展蓝图，正如已经说明的那样；（b）创新存储器与逻辑器件之间的互连系统，以大幅缓解数据传输瓶颈所带来的性能限制；（c）最终，突破“蛮力堆算”的旧范式，重新思考AI硬件设计与训练模型的方法，以更高效、更智能的方式完成目前仍显繁复的任务。