AI GPU高速互联：超节点到底是什么？要做什么？

hdy

在《AI GPU高速互联技术》详细介绍了AI GPU单机多卡、多级多卡的连接使用的高速互联协议。并且前文已经介绍PCIe、NVLink/NVLink Switch、CXL等协议。

  本文就介绍下图中提到的超节点。超节点到底是什么？要做什么？

超节点是什么？

  超节点，英文名叫SuperPod，是英伟达公司最先提出的概念。就个人理解：超节点（SuperPod）是一种通过高速互连技术将更多GPU计算单元整合为统一计算资源池的新型架构，目的是解决大模型训练中的算力瓶颈和通信效率问题。

   处于同一个HBD（High Bandwidth Domain，超带宽域）。英伟达将这种以超大带宽互联16卡以上GPU-GPU的Scale Up系统，称为超节点。

  众所周知，GPU作为核心算力硬件，为AIGC大模型的训练与推理提供了关键支撑。随着大模型参数规模呈指数级增长，对 GPU 集群的规模需求也同步攀升——从早期的千卡级逐步跨越至万卡级、十万卡级，未来甚至可能向更庞大的规模演进。

  面对这一趋势，构建超大规模GPU集群的核心路径可归结为两种策略：Scale Up（向上扩展）与Scale Out（向外扩展）。

Scale Up和Scale Out Scale Up（纵向扩展）：  通过增强单节点资源密度提升算力。在单个服务器节点内集成更多GPU硬件。  例如，将单台服务器的GPU配置从4卡扩展至8卡、12卡甚至更高，使单一节点具备更强的并行计算能力。优势在于架构相对简单，无需复杂的跨节点协同，适合对单机算力密度要求高的场景，如中小规模模型的高效训练。     通过Scale UP这么多块GPU，需要考虑服务器的内部通信能力是否能够支持。如果GPU互连存在瓶颈，那么就达不到Scale Up的预期效果  之前计算机内部主要基于PCIe协议，数据传输速率慢，时延高，根本无法满足要求。  近年来，英伟达为了解决这个问题，专门推出自NVLink总线协议和NVLink Switch交换机，速度远高于PCIe，时延也低得多。NVLink Switch协同NVLink释放数据传输能力。NVLink Switch通过连接多个 NVLink，实现机架内和机架间全速度的GPU通信，达到1.8TB/ 双向直接GPU到GPU互联速率。  更多关于NVLink和NVLink Switch参考文章《NVLink与NVLink Switch的技术演进》

---

Scale Out（横向扩展）：

  通过增加节点数量构建分布式算力网络。通过高速网络（如IB、RoCe）将多台服务器节点互联，形成集群级算力池。

  例如，将数千台搭载GPU的服务器通过网络协议协同工作，实现算力的线性扩展。核心优势在于突破单机硬件限制，可支撑超大规模模型的分布式训练，但需要解决跨节点通信延迟、负载均衡、数据同步等复杂技术挑战。

Scale Out采用IB和RoCEv2，仅能提供Tbps级别的带宽。

超节点的优势
  在AI训练过程中，包括多种并行计算方式，例如TP（张量并行）、EP（专家并行）、PP（流水线并行）和DP（数据并行）   PP与DP通信量相对较小（通常在百MB至GB级别/迭代），对带宽和时延要求较低，适合通过 Scale Out（横向扩展，即通过高速以太网/InfiniBand连接多个独立服务器节点）的网络架构来处理。

  TP与EP通信量极大（可达数百GB级别/迭代），且对带宽（数百GB/s至TB/s级）和时延（百纳秒级） 要求极高。这种密集型通信若置于Scale Out网络中，会成为严重的性能瓶颈。

  超节点（如NVIDIA DGX Pod、华为CloudMatrix）作为Scale Up（纵向扩展）的先进形态，通过板级高速互连技术（如NVLink, HiLink）将多个GPU（数十至数百块）紧密集成在一个高带宽域（HBD）内，是解决TP/EP高通信需求的最优解。

（1）超节点的HBD（超带宽域）提供TB/s级聚合带宽与百纳秒级超低时延，远超传统网络（通常仅Tbps带宽、微秒级时延）。

（2）可能支持内存语义（如GPU Direct RDMA），允许GPU直接读取彼此显存，实现近乎零拷贝的数据交换，Scale Out架构难以企及。

（3）从组网和运维的角度来看，超节点也有明显优势。

  降低全局组网复杂度，HBD规模越大（即单超节点内GPU越多），构建万卡级集群所需的物理互联节点数量越少，网络拓扑大幅简化。

  加速部署与简化运维，超节点是预集成、预验证的计算模组，内部高速总线已预先连接，极大降低网络部署难度，缩短部署周期（可缩短50%）。标准化设计也简化日常维护流程。

  超节点的本质优势在于：通过构建局部超高带宽域（HBD），以远低于全局提升Scale Out网络带宽的成本，高效解决TP/EP等关键并行任务的高密度通信瓶颈，从而获得显著的性能提升和总拥有成本（TCO）优化。并根据目标模型特性（如TP需求）和成本效益进行精准测算。

---

超节点方案

（1）英伟达的NV72

  2024年3月，英伟达发布GB200 NVL72，是面向万亿参数级大模型训练与推理的机柜级超节点解决方案，核心创新在于通过 NVLink 5.0高速互连和液冷集成设计，将36颗Grace CPU与72颗Blackwell GPU整合为统一计算单元，实现性能与能效的突破性提升，为万亿参数的大型语言模型推理提供30倍实时速度提升。

（2）华为方案

  2025年5月25日，在昇腾AI开发者峰会上，华为正式推出昇腾超节点技术，由12个计算柜和4个总线柜构成，实现业界最大规模的384卡高速总线互联，是目前业界规模最大的超节点。

  华为CloudMatrix384以384张昇腾算力卡组成一个超节点，在目前已商用的超节点中单体规模最大，可提供高达300 PFLOPs的密集BF16算力，接近达到英伟达GB200 NVL72系统的两倍。

  华为公布的数据显示，CloudMatrix 384实现算力规模达300PFlops，相比英伟达NVL72的180PFlops提升67%。
（3）开放标准  在超节点开放标准中，其中比较有代表性的，是由开放数据中心委员会（ODCC）主导、中国信通院与腾讯牵头设计的ETH-X开放超节点项目。ETH-X基于以太网技术构建大带宽、弹性可扩展的HBD，具备高算力密度、高互联带宽、高功率密度和高能效等特点。  根据腾讯在开放数据中心大会提供的数据，基于ETH-X超节点，在训练场景下，LLama-70B稠密型模型在64K集群下的性能/成本进行对比，采用256卡的Scale Up，比8卡的Scale Up低了38%的训练成本。在推理场景下，LLama-70B在FP4精度128卡实例推理性能/成本对比中，256卡的Scale Up比8卡的Scale Up增加了40.48%的推理收益。

总结

  随着AI浪潮发展，业界对超节点需求愈发强烈。超节点凭借性能跃升、成本优化、架构简化三大优势，成为AI算力基建主流之选。