什么是人工智能中的网络？
其实“网络”这个概念，对人类来说并不陌生。它既古老，又新鲜。人类第一次真正注意到网络的存在，可能不是因为互联网的普及，也不是因为无线 Wi-Fi 的便利，而是因为一只蜘蛛——在清晨露水尚在的篱笆角落，悄悄织出的一张网。一张网，从中心向外生长，线与线之间交错相连，每一个节点都和其他节点保持着联系。它精巧、对称、充满秩序感。更重要的是，它不是为了美观而存在，而是为了生存。正因为有这张网，猎物才会被感知、被捕获、被转化为生命的延续。人类从自然中学会了织网，然后发明了更多“网”：有供电的电网，连接城市与乡村；有交通网，让人类在地球上迅速移动；有电话通信网，让遥远的声音清晰可达；最终我们构建了互联网，把世界上所有设备、服务器、数据库和人类本身，都连成了一张宏大的、动态演化的超级结构。而现在，在人工智能的时代，科学家们又织出了一张新的网。这张网不再连接电流、道路或信号，而是连接计算、连接思维、连接智能。这就是 AI 网络的故事。起点：从大脑出发的灵感说到人工智能，人脑始终是科学家最痴迷的参照对象。人脑中拥有大约 860 亿个神经元，每个神经元可以和上万个突触连接。你可以想象这是一张密度惊人的超级网，每一个想法、情绪、感知，都像电流一样在这张神经网络中跳跃传递。如果我们能模拟这样一个系统，是否也能“创造出思考”？科学家给出的答案是神经网络（Neural Network）。我们无法复制每一个神经元，但我们可以构造一个等价的抽象结构。于是像 GPT-3 这样的语言模型诞生了，它包含 1750 亿个参数，每一个参数像是一个人造神经元，它们按照特定规则连接，形成了一张巨大的计算图谱。这是一种逻辑上的网络：谁依赖谁？哪一步输出是下一步的输入？中间过程要不要缓存？是否可以并行计算？这一切关系，都被构造成了一张图，就像一幅思维电路图，在神经网络框架中被解释、被调度、被优化。这是 AI 网络的第一层，一个看不见的图谱网络，一张关于“如何思考”的逻辑网。不过，光有一张“思维图谱”是不够的。要让它“活”起来，需要有执行这些操作的实体，这就是 GPU 的职责。现代人工智能的每一次训练，几乎都离不开它。拿 NVIDIA 的 A100 为例：这张卡片的表面只有几厘米，却塞进了 540 亿个晶体管，它们像城市中成千上万的建筑，排列成街区。这张卡片上拥有 6912 个 CUDA 核心，每一个核心都是一个微型工厂，在不停地执行张量操作、矩阵乘法、反向传播、归一化等工作。这些核心并不是孤立工作的，它们之间通过总线、片上缓存、高速数据交换通道相互连接，协同完成一项又一项计算任务。你可以把它理解成一张微型城市的地图：车流（数据）在高速路（互联通道）上流动，控制中心（调度器）管理路况（任务分发），每一个街区（SM）都在奋力工作。在 GPU 中，这种结构被称为片上互联网络（on-chip interconnect）。它不是一张逻辑图谱，而是一张真实存在、由金属布线构成的电气网络，它的效率决定了这张卡片是否能“跑满”。如果说神经网络是人工智能的思维模型，那么 GPU 内部的互联网络，就是它的肌肉系统——真正让思维变为行动的硬件支撑。当模型越来越大时，问题随之而来。GPT-4 的规模远远超出了单张 GPU 的能力。单块 GPU 容量再大，也难以承载完整的模型参数。于是工程师开始把多张 GPU 连接起来，像把多个城市通过高铁、公路和数据中心连接起来一样，组成一个超级计算网络。这时，我们需要新的“道路”：PCIe、NVLink、InfiniBand、RoCE……每一种互联技术，都像是一种不同等级的交通基础设施。有的带宽高、但路线复杂；有的延迟低、但连接受限；有的支持点对点，有的支持全互联；有的速度如城市公交，有的快如高铁直通。这些技术共同织出了 AI 网络的第三层结构：多 GPU 通信网。它承担着同步参数、合并梯度、广播激活的任务，是多卡训练成功与否的关键。这时，每张 GPU 是一座独立的“计算城市”，而网络，是它们之间传输“语言”“思想”“资源”的桥梁。每一个神经网络的训练过程，就像是城市之间的巨大协作计划，任何一个通信环节延迟了、失败了，整个系统就可能陷入瘫痪。故事讲到这里，似乎已经足够复杂了。但 AI 网络的旅程并未结束。因为当模型训练完成后，它并不是放在那里供研究人员欣赏的，而是要被部署到真正的用户面前。于是模型被上传到云平台，在服务器中运行，人们通过网页、API 或 App 与它对话。你的问题从手机出发，经过基站、光缆、防火墙、负载均衡，穿越半个地球，到达某个数据中心中的 GPU 集群，被喂给模型处理，生成答案后再原路返回。听起来像科幻小说，但这正是今天 ChatGPT 与你互动时发生的一切。所以我们突然发现，这张 AI 网络其实回到了我们最初的“互联网”上。那只蜘蛛网般的通信结构，现在重新成为这场智能计算旅程的“入口”和“出口”。这就是人工智能中的网络 —— 它不是一个层级，也不是一个定义，而是一个完整的、多层结构的生命体系。
[*]从大脑中灵感而来的神经网络，是 AI 的“思想网”；
[*]在 GPU 中铺展开来的片上互联，是 AI 的“电路网”；
[*]在多 GPU 之间高速流转的数据，是 AI 的“交通网”；
[*]而连接用户与模型的那根网线，则是 AI 的“服务网”。
网络，在 AI 世界里，不只是连接，更是协调，是构造，是规模，是速度。它既存在于抽象的思维图谱中，也藏在硅片深处的晶体管之间。它穿越数据中心与城市之间的距离，也流转于我们手机与模型之间的那一次点击。所以，下一次你和 AI 说话，不妨想想：你的话，其实是穿越了多层网络，才被理解、被回应、被记住。这就是 AI 网络的真实模样——一场跨越人类、机器与世界的连接之旅。那么，读到这里，你或许已经知晓了”什么是网络“。But .... 那到底什么是网络呢？我们真的理解了什么是网络么？为什么GPU要用网络连接CUDA计算核心呢？为什么人工智能要采用网络方式呢？或者，为什么他们都要叫”网络“呢？难道是没有词了么？英伟达是一个30年的“老”公司了，而GPU也是一个30年的科技产品了。其实还有一个更加深刻的问题:为什么英伟达的GPU适应了人工智能的计算需求呢？难道就是因为他们都有“网络”？回答这几个问题的时候，我就得从计算的本质说起，从人工智能的的本质说起，而恰巧，这两者的本质的汇合，其实是一种计算范式的转变。而英伟达却正好站在了适当的节点，干了适当的创新！
页:
[1]
