GDS：GPUDirect Storage产品生态图谱（二）
如前所述，GDS一共支持3种存储装置：（1）GPU服务器内接的NVMe SSD，（2）经由NVMe-oF挂载的外部区块存储设备，（3）经由RDMA网路连接的外部高速文件存储。而传输架构分为两大类：
[*]直接透过RDMA网路连接（InfiniBand或RoCE以太网）
[*]透过NFS over RDMA协议（NFSoRDMA）
HPEHPE是存大厂支持GDS架构最积极的一家，推出3个支持GDS的存储平台，包括Ezmeral Data Fabric（5.5版本以后）、Cray ClusterStor（4.2版本以后）、GreenLake File Storage（3.0版本以后）。它们其实都不是HPE原始开发的产品。例如：Ezmeral Data Fabric来自2019年HPE并购MapR取得的MapR Data Platform，一开始改称HPE Data Fabric，2021年后名称才换成现在的Ezmeral Data Fabric，具有远程直接内存访问 (RDMA) 功能的Data Fabric NFS 支持 NVIDIA GPU 直接存储 (GDS)。https://docs.ezmeral.hpe.com/datafabric-customer-managed/710/Performance/df_support_ngds.htmlClusterStor是HPE于2019年并购Cray取得的产品线，核心其实就是Cray修改版的Lustre并行文件系统，经由InfiniBand支持GDS；https://buy.hpe.com/hk/en/enterprise-solutions/storage-solutions/cray-clusterstor-storage-systems/c/1012904756GreenLake File Storage是由Alletra MP硬体执行的VAST数据分布式文件系统，通过NFS over RDMA支持GDS。WekaWEKA数据平台的架构专为可扩展性而设计，使其能够高效处理不断增长的数据量和工作负载，且性能丝毫不受影响。WEKA 的大规模并行架构支持跨多个存储节点同时访问数据，从而提高数据访问速度并降低延迟。这些高速数据访问能力加速了数据处理任务，为AI 和机器学习工作负载提供更快的分析、模型训练和推理能力。WEKA是2020 年首批实施、认证并使用 NVIDIA GPUDirect® Storage (GDS) 的公司之一。GPUDirect Storage 与 WEKA 的结合可提升系统性能、可扩展性、资源利用率和数据处理效率，尤其适用于数据密集型应用程序和 AI 工作负载。https://www.weka.io/learn/glossary/gpu/what-is-gpudirect-storage/测试人员使用一台 NVIDIA DGX-2 服务器*，通过 Mellanox InfiniBand 交换机连接到WekaFS集群。
https://www.weka.io/blog/gpu/microsoft-performance-gpudirect/
VAST数据VAST Data也第一波支持GDS的存储厂商，其通用存储平台在4.1版本以后，支持以NFS over RDMA建立GDS连接。VAST Data是一种现代全闪存NVMe架构，打破了性能、规模和成本之间的平衡。通过在无缓存架构中结合使用NVMeoF、存储级内存 (SCM)和QLC NAND 技术，实现了创纪录的性能、超线性可扩展性，并且成本接近基于硬盘的系统的经济性。VAST集群通过行业标准协议（NFS、NFS over RDMA、 SMB和 S3）向客户端系统呈现，并支持容器驱动环境中的 Kubernetes CSI。2020年年中，基于NVIDIADGX A100平台，配合VAST系统，实现最高162GiB/s的读取吞吐量。https://www.vastdata.com/blog/nvidia-gpu-direct-for-storage-gds-the-vast-data-storyHitachi Vantara身为老牌大厂之一的Hitachi Vantara，目前是通过Hitachi Content Software for File（HCSF）-原子Weka的分布式文件存储产品，为GDS提供支持。Hitachi Vantara在2021年中，以OEM形式引进Weka的WekaFS并行文件系统，配合自身的服务器硬件，组成新的HCSF产品线，因而也跟Weka本家一样，具备支持GDS的能力。除了以独立产品线销售外，Hitachi Vantara在7月正式推出的 BasePOD 整合套件 Hitachi iQ 中，还搭配 HCSF 作为套件中的存储单元。Pure StoragePure Storage是从2023年10月开始支持GDS，适用于FlashBlade家族中的关键型号FlashBlade//S，需要搭配4.3.4版本以后的Purity//FB作业系统（目前最新版本是4.5.x版本），采用的连接架构是基于以太网的NFS over RDMA。https://www.purestorage.com/company/newsroom/press-releases/pure-delivers-all-flash-for-every-storage-need.html
HammerspaceHammerspace软件现已通过NVIDIA GPUDirect Storage（GDS）认证。此举使开发团队能够利用Hammerspace全局数据环境的统一全局视图和并行性能优势，实现：（1）全存储兼容性：将任意存储设备（包括本地、云端及混合架构）无缝接入GDS技术生态，支持GPU直接访问存储数据；（2）应用加速：通过RDMA和NVMe-oF协议优化数据路径，在AI训练（如LLM多节点并行）场景中实现高达 5.6倍I/O吞吐提升；（3）GPU资源增效：结合Hammerspace的元数据智能编排，减少GPU因数据等待导致的闲置，硬件利用率提升30%以上。https://hammerspace.com/category/technical-brief/PEAK:AIO英伟达的全球合作伙伴 PNY，一直以来与 PEAK:AIO 携手，全力为 AI 工作负载开发全新解决方案，并针对英伟达 DGX 系列 AI 设备进行优化。已更低的成本，实现超低延迟与超大带宽，让更多资金能够投入到 GPU 资源中，减少在昂贵且低速的存储上的花费。同时具备NFS文件访问与NVMe/区块TCP访问支持能力，也能跨越NFS与NVMe/TCP这两种方式支持GDS架构PNY AI 优化存储打造了一个超低延迟的 NVMe 中央资源池，这资源池可在一台或多台 DGX 服务器间共享。它为每台 DGX 提供恰到好处的资源，只需通过与英伟达兼容的 InfiniBand（无限带宽）/ 以太网简单连接，独特的 RDMA（远程直接内存访问）协议就能确保 NVMe 资源被视为 DGX 的内部资源，并且性能表现也如同内部资源一样。
国内厂商由于英伟达中高端GPU禁止出售中国大陆、或者主要存储大厂被列出美国贸易黑名单，因此大陆主要存储厂商基本没有进行GDS测试认证，也不会主动宣传“适配GDS认证”，但是主要存储大厂基本已经适配GDS。华为：2023年8月发布OceanStor A310存储阵列的GDS已适配，并展示了他们的GFS（Global File System）平行文件系统具备支持GDS的能力，但华为方面说明GFS采用了刚性传输架构支持GDS。没有看到测试数据。曙光：曙光旗下存储产品具备XDS特性的产品均可以支持英伟达GDS架构。
其他厂商基本也有此类功能，可以咨询其官方客服。总结目前，已有非常多的第三方存储平台支持GDS，但是各种平台达到GDS传输效率，存在很大的差距，而且其中还存在一些共同的相互关系。目前各种不同平台支持GDS时，所采用的传输架构，可以分为3个群体——基于NVMe-oF，基于InfiniBand RDMA，以及基于NFS over RDMA架构。但是根据性能数据来说，NVMe-oF与InfiniBand RDMA具备一定的适应优势。
页:
[1]
