NVIDIA DGX B300

发表时间: 2025-01

作者/机构: NVIDIA Corporation

速读

一句话结论 本文推出了专为 AI 推理时代设计的 NVIDIA DGX B300 系统，通过集成八颗 NVIDIA Blackwell Ultra GPU 与 NVIDIA Mission Control 软件，在提供 144 PFLOPS 稀疏推理算力的同时实现自动化运维，相比上一代将密集 FP4 性能提升了 1.5 倍。

要解决什么问题 随着大模型技术演进，行业进入需要模型执行复杂多步思考的 AI 推理时代，数据中心也必须向大规模制造智能的 AI 工厂转型，这在硬件和运营层面暴露出严重卡点。硬件上，复杂推理对计算密度、显存容量及带宽提出极高要求，传统集群易遭遇显存墙和通信瓶颈。运营上，构建和管理新型 AI 工厂的复杂性急剧上升，多数企业缺乏高效调度复杂 AI 生态的专业团队与工具。这种系统集成、专业知识和能源成本控制上的差距，直接导致昂贵的集群停机时间和低下的硬件利用率。当基础设施无法保持高正常运行时间时，开发人员的等待时间被迫拉长，严重拖累了生成式 AI 的投资回报率。因此，如何将超大规模计算性能封装进标准企业级尺寸，并用软件抹平运维门槛，是当前的核心阻碍。

怎么做的 为绕开算力密度与运维复杂度的卡点，NVIDIA DGX B300 采用全栈集成设计，将硬件计算引擎与自动化运营平台深度绑定。核心计算部件由八颗 NVIDIA Blackwell Ultra SXM GPU 构成，配合 Intel Xeon 6776P 处理器，提供 2.1 TB 总 GPU 内存及 64 TB/s 的 HBM3e 带宽，保障了复杂推理的数据吞吐量。节点内互联配备两个 NVIDIA NVLink 交换系统，提供 14.4 TB/s 聚合带宽打破通信瓶颈。跨节点网络集成了八个 OSFP 端口服务八张 NVIDIA ConnectX-8 VPI 网卡，最高支持 800 Gb/s 传输，辅以两张双端口 QSFP112 NVIDIA BlueField-3 DPU 提供最高 400 Gb/s 网络卸载。物理部署上，系统采用兼容 NVIDIA MGX 架构的风冷机箱，尺寸控制在 10U。该设计符合开放计算项目标准，首次实现兼容机箱与传统交流电源部署的灵活性，功耗控制在 14.5 kW 到 15.1 kW 之间。在运营层面，系统引入基于 NVIDIA Run:ai 技术的 NVIDIA Mission Control 软件作为核心调度部件。它充当虚拟运营团队，自动化执行从集群裸机启动到日常工作负载调度的全部任务，通过软件定义提供基础设施弹性，最大化正常运行时间，使 2 TB 至 4 TB 系统内存及 NVMe 内部存储阵列得到高效利用。系统还预装 NVIDIA AI Enterprise 和 NVIDIA DGX OS，构成开箱即用的 AI 工厂蓝图。

效果如何 系统性能验证基于完整的 10U 物理整机配置进行。对比基线明确选择了上一代系统 DGX B200，代表前一代数据中心算力架构的性能基准。量化测试表明，DGX B300 相比 DGX B200 实现了显著跨越：密集 FP4 性能提升了 1.5 倍，Attention 算子性能提升了 2 倍。绝对算力规格上，系统在 FP4 Tensor Core 精度下能输出 144 PFLOPS 稀疏推理性能与 108 PFLOPS 稠密推理性能；在 FP8 或 FP6 Tensor Core 精度下，带稀疏性的训练性能达 72 PFLOPS，对应稠密性能为 36 PFLOPS。在代价与局限性方面，系统运行环境受严格物理条件制约，官方指出其 10°C 至 35°C 的运行温度范围带有条件限制，企业实际部署时需对数据中心散热设施进行严格评估。

A1 主要贡献

本文档介绍了 NVIDIA DGX B300 系统，旨在为企业应对 AI 推理时代和数据中心向 AI 工厂演进的双重变革。

  • 核心问题: 随着 AI 模型进入能够执行复杂、多步思考的“AI 推理”时代，以及数据中心演变为大规模制造智能的“AI 工厂”，企业面临着严峻挑战。这些挑战包括：对计算、内存和带宽的巨大需求；构建和运营 AI 工厂的复杂性；以及在专业知识、系统集成和能源成本方面的关键差距。许多企业缺乏高效、弹性地运行这一复杂新生态系统所需的专业团队和工具。

  • 研究目标: 本文介绍的 DGX B300 旨在成为 AI 时代的基础构建模块，赋能企业先驱构建自己的 AI 工厂，以应对 AI 推理的严苛要求。其目标是提供一个全栈解决方案，简化 AI 运营的复杂性，帮助企业掌握生成式 AI，并释放其投资回报。

  • 创新点:

    1. 卓越的性能: DGX B300 基于 NVIDIA Blackwell Ultra 架构，是一个专为 AI 设计的计算引擎。与 DGX B200 相比，它提供了 1.5 倍的密集 FP4 性能和 2 倍的 Attention 性能。
    2. 企业级尺寸的超大规模性能: DGX B300 将超大规模的性能集成在一个企业级尺寸的机箱内，使各种规模的 AI 创新者都能大规模地制造智能。
    3. 灵活的物理集成: 系统采用了重新设计的、兼容 NVIDIA MGX™ 的风冷机箱，符合开放计算项目（OCP）标准，可以无缝集成到现代数据中心中。
    4. 简化的运营管理: 配合 NVIDIA Mission Control 软件，DGX B300 能够自动化从集群启动到日常工作负载管理的复杂任务，将 AI 基础设施的运营简化，实现超大规模级别的效率。
    5. 全栈集成系统: DGX B300 是一个完全集成的系统，整合了 NVIDIA Blackwell Ultra GPU、NVIDIA® ConnectX®-8 网络和 NVIDIA Mission Control 软件，提供卓越的训练性能和领先的实时推理能力。

A3 设计原则

为现代数据中心设计的蓝图。DGX B300 旨在成为现代 AI 工厂的蓝图。其设计起点是一个经过重新设计的、符合开放计算项目（OCP）标准的机箱，这一设计将超大规模数据中心的设计原则带到了任何类型的数据中心。DGX B300 首次实现了可以采用兼容 NVIDIA MGX 的机箱或更传统的交流电源设计进行部署，从而确保了它可以在任何基础设施环境中使用。通过将这种前沿设计与实用的可维护性相结合，DGX B300 使得企业能够以前所未有的效率和选择，按照自己的方式构建 AI 工厂。

A2 方法细节

AI 工厂的基础构建模块。DGX B300 被精心设计为 AI 工厂的基础构建模块。它使得各种规模的 AI 创新者能够大规模地生产智能，并利用那些以往仅为全球性 AI 组织所保留的生成式 AI 能力。

NVIDIA DGX B300 产品图
NVIDIA DGX B300 产品图

全集成系统与性能。作为一个由 NVIDIA Blackwell Ultra GPU、NVIDIA® ConnectX®-8 网络和 NVIDIA Mission Control 软件驱动的全集成系统，DGX B300 提供了前所未有的性能和超大规模级别的效率。

兼顾训练与推理。通过将卓越的训练性能与领先的实时推理能力相结合，DGX B300 使每个组织都能为 AI 推理时代构建可扩展的基础设施。

关键特性

  • 核心硬件: 内置 8 颗 NVIDIA Blackwell Ultra SXM GPU。
  • GPU 内存: 提供 2.1 TB 的 GPU 内存空间。
  • 训练性能: 达到 72 petaFLOPS 的训练性能。
  • 推理性能: 达到 144 petaFLOPS 的推理性能。
  • 网络: 采用 NVIDIA 网络技术。
  • 处理器: 配备 Intel Xeon 6776P 处理器。
  • 扩展基础: 作为 NVIDIA DGX BasePOD™ 和 NVIDIA DGX SuperPOD™ 的基础。
  • 软件生态: 利用 NVIDIA AI Enterprise 和 NVIDIA Mission Control™ 软件。

A7 补充细节：通过 NVIDIA Mission Control 运行模型并自动化核心任务

AI 工厂的运营挑战。部署一个 AI 工厂不仅仅是一次基础设施采购，更是一种运营上的承诺。许多开始进行 AI 转型的企业面临着显著的复杂性，这可能导致昂贵的停机时间和较低的利用率，从而直接影响其投资回报（ROI）。NVIDIA Mission Control 正是为了解决这一挑战而设计的。

NVIDIA Mission Control 的解决方案。Mission Control 扮演着一个软件定义的运营团队的角色，通过软件提供了世界级 AI 工厂操作员的技能，以确保企业能够从其投资中获得最大的收益。它自动化了从初始集群启动到日常工作负载管理的全部复杂任务，使得 IT 团队能够以超大规模级别的效率来运行 AI 基础设施。为了保护硬件投资，Mission Control 提供了关键的基础设施弹性，并最大化 AI 工厂的生产力和正常运行时间，从而让开发人员能够减少等待时间，将更多的时间投入到创新工作中。

NVIDIA Mission Control 功能架构图
NVIDIA Mission Control 功能架构图

A4 实验环境

以下是 NVIDIA DGX B300 系统的详细硬件和软件配置：

硬件配置

  • GPU: 8x NVIDIA Blackwell Ultra SXM
  • 总 GPU 内存: 2.1 TB 总量，64 TB/s HBM3e 带宽
  • 系统内存: 2 TB，可配置至 4 TB
  • NVIDIA NVLink™ 交换系统: 2x
  • NVIDIA NVLink 带宽: 14.4 TB/s 聚合带宽
  • 系统功耗: 14.5 kW (Busbar)，15.1 kW (PSU)
  • CPU: Intel Xeon 6776P 处理器

  • 网络:

    • 8x OSFP 端口，服务于 8x NVIDIA ConnectX-8 VPI，最高支持 800 Gb/s 的 NVIDIA InfiniBand/以太网
    • 2x 双端口 QSFP112 NVIDIA BlueField®-3 DPU，最高支持 400 Gb/s 的 NVIDIA InfiniBand/以太网

  • 管理网络: 1GbE 板载网卡 (NIC) 带 RJ45 接口；1GbE RJ45 主机基板管理控制器 (BMC)

  • 存储:

    • 操作系统: 2x 1.9 TB NVMe M.2
    • 内部存储: 8x 3.84 TB NVMe E1.S

  • 机架单元: 10U

  • 运行温度: 10°C–35°C* (带星号表示有条件限制)
  • 支持: 三年商业标准硬件和软件支持

软件配置

  • AI 软件: NVIDIA AI Enterprise (优化的 AI 软件)
  • 管理与编排: NVIDIA Mission Control (AI 数据中心运营和编排，采用 NVIDIA Run:ai 技术)
  • 操作系统: NVIDIA DGX OS，支持 Red Hat Enterprise Linux / Rocky / Ubuntu

A4 实验结果

DGX B300 在性能上实现了显著提升，具体指标如下：

  • 相对性能提升 (与 DGX B200 比较):

    • 密集 FP4 性能: 提升 1.5 倍。
    • Attention 性能: 提升 2 倍。

  • 绝对性能指标 (源自规格表):

    • FP4 Tensor Core*: 144 PFLOPS (稀疏) | 108 PFLOPS (稠密)
    • FP8/FP6 Tensor Core**: 72 PFLOPS (带稀疏性)

注：规格表中的具体说明如下：

  • * 规格显示为 稀疏 | 稠密。
  • ** 显示为带稀疏性。稠密性能为所示稀疏规格的一半。
DGX B300 详细规格表
DGX B300 详细规格表

A5 结论

NVIDIA DGX B300 是专为 AI 推理时代设计的实时 AI 计算引擎，旨在成为企业构建 AI 工厂的核心基础模块。通过深度集成 NVIDIA Blackwell Ultra GPU、高速网络技术和 NVIDIA Mission Control 自动化运营软件，DGX B300 为企业提供了前所未有的性能、能效和简化的管理体验。其设计遵循 OCP 和 NVIDIA MGX 标准，具备高度的灵活性，使企业能够在现有的数据中心环境中轻松部署超大规模的 AI 能力。这最终将帮助企业加速生成式 AI 的应用落地，并最大化其技术投资的回报。