Co-Fabric: Breaking Host-Domain Boundaries for Unified xPU Interconnection

发表时间: 2026-09 · arXiv:2609.25560

原文: https://arxiv.org/abs/2609.25560

Zhen Peng 等, IEIT SYSTEMS Co., Ltd.

主要贡献

随着大模型参数量的不断增长，单一xPU的容量已无法满足需求，模型参数必须分散在跨越不同主机域的多个xPU上。在这种规模下，xPU到xPU的通信成为决定系统整体效率的主导因素。现有的Scale-up（向上扩展）互连方案仍存在明显不足：基于以太网构建的网络型解决方案（如RoCE）引入了特定的消息语义和协议栈特征，并依赖于碎片化的每主机寻址；而传统的基于主机的Fabric互连则被限制在单一主机域内，缺乏跨主机的统一寻址能力。

为了解决上述问题，本文提出了一种名为Co-Fabric的总线型互连架构。与传统的总线设计不同，Co-Fabric打破了主机域的边界，为Scale-up超节点（Superpods）提供了统一的xPU互连。本文的核心创新点和贡献包括：

1. 精简的四层协议栈：提出了一种以互连为中心的架构和协议，将计算、存储、网络和管理资源统一到一个互连域中。其精简的四层协议栈实现了纳秒级的处理延迟，并具备原生可靠性（基于信用的流量控制和链路级重传）。
2. 跨域扩展与P2P机制：设计了一种跨域扩展和点对点（P2P）通信机制，通过嵌入在数据包头中的端口标识符进行路由。该机制完全在交换机硬件中实现，实现了原生的跨域寻址，将路由开销限制在纳秒级。
3. 全局统一地址空间：引入了基于影子设备（Shadow-device）自动枚举的统一地址空间机制。每个主机通过扁平的统一地址空间，将超节点中的所有xPU发现为本地连接的设备。

实验结果表明，在64个xPU的3DMesh系统上，Co-Fabric将节点间通信延迟降低了$50\%$以上，带宽比RoCE提高了$2 - 5$倍，使DeepSeek R1推理速度提升了$30\% - 80\%$。此外，由于其精简的协议栈和更高的数据通信效率降低了协议和处理开销，Co-Fabric将互连本身的成本和功耗分别降低了高达$80\%$和$5\%$。这些结果充分证明了Co-Fabric在AI计算中心中的巨大优势。

背景知识与设计原则

AI加速器的系统性失衡与内存墙：现代AI加速器表现出一种系统性的失衡：在历代xPU中，计算能力的增长始终快于内存带宽的增长。虽然单芯片浮点吞吐量呈数量级增长，但内存带宽的提升却相对缓慢。这种不断扩大的计算带宽比意味着xPU很少能维持峰值利用率，它们将越来越多的时间耗费在停滞上，等待数据从内存中到达。这种被称为“内存墙”的现象已成为大规模AI系统的主要性能限制因素。

超节点级别的系统性瓶颈：这个问题不仅限于单个xPU的内存。在超节点级别，相对于存储和数据访问能力，整个系统的计算能力同样是过度配置的。模型参数、优化器状态、激活检查点和KV缓存必须从主机内存或存储设备暂存到xPU HBM中，然后才能进行计算。当跨越持久存储、主机DRAM和xPU HBM的数据供应链无法跟上计算需求时，内存墙就会在系统级别显现。

分布式执行带来的通信需求加剧：分布式执行的通信需求进一步加剧了这一瓶颈。大型语言模型的训练和推理依赖于多种并行策略（数据并行、张量并行、流水线并行和专家并行），每种策略都需要频繁的xPU间数据交换。如果xPU间通信缓慢，xPU就会停滞等待位于对等端或远程主机上的数据，这实际上降低了它们访问内存的速率。低效的通信不仅增加了延迟，还通过限制每个xPU的有效数据供应，直接加剧了内存墙问题。

数据移动效率的核心地位：上述分析得出一个核心观察结论：超节点系统的性能不受原始计算能力的控制，而是受数据移动效率的控制，即数据在从存储到主机内存、再到xPU HBM以及在xPU之间传输的完整路径上的传输速率。数据移动效率反过来又由互连架构决定。只有通过优化互连设计，才能缓解内存访问瓶颈并提高整体系统性能。

总线型互连的局限性：业界在Scale-up互连设计上追求了两条截然不同的路线。第一条路线是构建专用的计算域总线互连（以NVIDIA的NVLink为代表）。通过在GPU之间提供高带宽、低延迟的链路，NVLink实现了快速的点对点数据传输。这种基于总线的设计提供了计算密集型工作负载所需的低延迟、内存语义通信。然而，NVLink针对的是以GPU为中心的互连域，必须跨越xPU Fabric和系统其余部分边界的数据仍会产生主机中介传输和协议转换的开销。

网络型互连的局限性：第二条路线是使用RoCE（RDMA over Converged Ethernet）等协议构建基于网络的互连【11，RoCE network design for diverse ai workloads+2025+ICC 2025+无】。与传统以太网相比，RoCE提供了内核旁路、零拷贝数据传输和硬件卸载传输等优势。尽管如此，RoCE从根本上仍然是一种基于网络的架构，其通信模型依赖于消息语义，远程内存访问需要显式注册内存区域。数据路径穿过多层网络协议栈，且每个主机维护独立的地址空间，没有原生的跨域统一寻址。这些架构限制对每个数据移动操作施加了累积开销。

现有方案的鸿沟与Co-Fabric的动机：这两种路线都没有完全解决数据移动瓶颈。总线型范式在xPU域内表现出卓越的数据移动效率，但现有实现将其局限于xPU，存储、网络和管理资源仍被排除在统一Fabric之外。网络型方法虽然实现了更广泛的连接，但会产生协议开销和碎片化寻址。这一鸿沟促使了Co-Fabric的诞生，它旨在将计算域总线范式扩展到xPU域之外，将所有系统资源包含在单个互连Fabric中，以最大化整个超节点的端到端数据移动效率。

Scale-up互连协议的六大设计原则：基于上述行业实践分析，本文确定了Scale-up互连协议的六个设计原则，这些原则植根于现代工作负载（如Agent推理和基于MoE的训练【4，Fsmoe: A flexible and scalable training system for sparse mixture-of-experts models+2025+ASPLOS+无】）的需求：

• 精简的协议分层：多层网络协议栈（如TCP/IP【5，TCP/IP network administration+2002+O'Reilly Media+无】或OSI模型【6，Guide to osi and tcp/ip models+2014+Springer+无】）在每个封装边界都会引入处理延迟。对于通信模式可预测且局限于超节点内的Scale-up场景，协议应将堆栈压缩到所需的最小层数，消除专用的传输层和传统的多跳路由开销。
• 内存一致性支持：对于超节点部署，内存一致性【7，A primer on memory consistency and cache coherence+2011+Morgan & Claypool+无】为远程内存读写提供了定义良好的排序语义，实现了透明编程，同时规避了在所有xPU上强制执行完全缓存一致性的巨大复杂性。
• 原生内存语义：Load/Store指令是xPU程序员最自然的基元【8，Pci-express: Evolution of a ubiquitous loadstore interconnect over two decades and the path forward for the next two decades+2024+IEEE Circuits and Systems Magazine+无】。原生支持内存语义的协议允许应用程序像访问本地内存一样访问远程内存，消除了消息传递API的阻抗不匹配及相关的数据复制开销。
• 超低通信延迟：诸如MoE All-to-All和Agent推理等工作负载涉及频繁的小粒度交换【9，Ubep: Re-architecting expert parallelism communication library for production superpods+2026+ACM SIGCOMM+无】。在这种情况下，内在的协议延迟成为主导因素。
• 充足的通信带宽：带宽必须与xPU池的总计算吞吐量相匹配。带宽不足会导致xPU闲置等待数据的饥饿场景。
• 高可靠性：在Scale-up部署中，链路错误的概率增加。协议必须原生支持流量控制和链路级重传【10，Evaluating link-level lossless mechanisms in ai networks+2026+ACM SIGCOMM+无】，而不是依赖上层重试机制或网络级拥塞控制。

方法细节

Co-Fabric的三大设计意图：Co-Fabric中的前缀“Co-”概括了塑造互连架构的三个设计意图。首先是“Coalescent（融合）”：异构系统资源（计算、存储、网络和管理）被合并到一个资源池中，消除了传统设备类别之间的边界。其次是“Coequal（平等）”：所有连接的设备都具有对等地位，没有将任何设备类型指定为拓扑根节点，从而实现对称的、独立于主机的通信。最后是“Coherent（连贯）”：Fabric在主机操作系统域之间保持逻辑统一；每个主机观察到一致的系统视图，包括统一的扁平地址空间、相同的通信语义和透明的设备枚举。

总线型AI超节点系统架构：Co-Fabric提出了一种以互连为中心设计的总线型AI超节点系统架构。以Co-Fabric互连作为整个系统的统一主干，该架构集成了计算资源（通用CPU、通用GPU、专用加速器和可编程加速器）、存储资源（易失性内存、持久性内存和块存储设备）、网络资源（如以太网等Scale-out接口）以及管理资源（包括BMC在内的管理控制器）。Co-Fabric Manager负责Co-Fabric系统的全系统拓扑管理、系统初始化、运行时配置和设备级管理。

无拓扑根节点的对等设计：与植根于主机或xPU的传统分层互连架构不同，Co-Fabric不指定任何单一设备类型作为拓扑根；所有连接的设备在互连层都享有同等地位。这种基于总线的架构设计实现了两项关键能力：跨操作系统域的全局统一地址空间映射，以及原生的跨域P2P通信。此外，Co-Fabric链路上的数据传输绕过了传统网络协议栈固有的多层封装，为超低延迟通信奠定了基础架构基础。

与RDMA方案的核心对比：在关键技术维度上，Co-Fabric与基于RDMA的互连解决方案存在显著差异。RDMA（如RoCE/InfiniBand）采用基于网络的核心架构，虽然支持跨域P2P通信，但每个主机维护独立的地址空间，远程内存访问需要显式注册，且数据路径穿过网络协议栈。

RDMA的网络型架构局限：具体而言，RDMA的互连模型是独立于主机的，通过网卡连接到网络，其扩展范式是原生的Scale-Out。这种设计导致在跨操作系统域时无法提供统一的地址空间，且P2P通信基于消息语义。

Co-Fabric的互连中心化优势：Co-Fabric的互连中心化设计消除了RDMA的上述限制。它将所有四类系统资源整合到一个同构的互连域中，在架构上原生支持跨操作系统域的统一地址空间和P2P通信（采用Load/Store语义），从而消除了对以太网等辅助外部网络的依赖。其互连模型跨越多个主机和异构设备实现对等连接，扩展范式为弹性Scale-up，可扩展至千卡集群。

拓扑解耦与弹性扩展：从拓扑角度来看，Co-Fabric协议栈与底层物理拓扑解耦。对于具有严格延迟要求的小规模训练工作负载，xPU可以采用全互连（Full-mesh）直接拓扑进行布线，以消除中间交换节点引起的转发延迟。随着部署规模的扩大，Co-Fabric交换机支持从几十个xPU弹性扩展到千卡集群。无论底层物理拓扑如何，Co-Fabric协议都向上层软件暴露统一的链路抽象和一致的通信语义，上层软件对拓扑变化保持不可见。

紧凑的四层协议栈架构：Co-Fabric实现了一个紧凑的四层协议栈，自下而上依次为介质层（ML）、链路层（LL）、Fabric层（FL）和语义层（SL）。这四层具有明确的功能边界和极简的层间接口，专为满足Scale-up互连场景的超低处理延迟需求而构建。同时，在协议设计上，Co-Fabric考虑了与PCIe物理链路的兼容性，以支持市场上主流的CPU和xPU等异构计算资源。

物理介质层（ML）职责：该层负责物理比特流的传输和信号的编码/解码。它向上层抽象了异构物理介质（包括铜缆和光纤互连），使所有上层免受特定于硬件的物理介质实现的影响。

链路层（LL）职责：链路层保证相邻节点之间的数据可靠交付。与依赖端到端拥塞控制的传统网络栈不同，Co-Fabric的链路层利用基于信用的流量控制来实现链路级的无损传输。它还支持链路级重传，将故障恢复定位在各个单跳链路内，而不是将可靠性恢复委托给上层端到端协议，这限制了单跳内可靠性机制引入的延迟开销。

Fabric层（FL）职责：Fabric层管理整个互连域的全局地址空间映射和端口ID路由。它为交换结构中的每个端口分配全局唯一的端口标识符，并维护地址到端口的映射规则，将操作系统级别的设备地址转换为交换机内部的路由决策。Fabric层还促进系统初始化期间的设备发现，实现自动拓扑检测和路由表生成。

语义层（SL）职责：语义层定义了Co-Fabric的核心操作范式：原生支持Load/Store内存语义和原子操作，这使其有别于建立在消息传递基元上的传统网络栈。它将远程内存访问请求转化为协议级的传输，并向上层软件栈暴露透明、精简的内存访问接口。

最小化协议层数：Co-Fabric协议设计的“精简”特性体现在最小化层数上。传统的通用广域网协议栈采用四到七层，包含专用的传输层用于端到端可靠性，以及网络层用于多跳路由。然而，在Scale-up互连环境中，链路层原生提供可靠传输和流量控制，而Fabric层直接处理统一地址路由，使得专用的传输层和网络层变得多余。Co-Fabric将协议栈压缩为四层。

简化的通信语义：传统网络栈的顶层接口暴露Socket或消息队列，迫使上层软件经历重复的协议封装和数据复制。相比之下，Co-Fabric语义层采用Load/Store作为其基本基元。由xPU发起的远程内存访问在语义层直接转换为协议事务，产生尽可能短的执行代码路径。

紧凑的处理流水线：数据沿着单向流水线穿过Co-Fabric协议栈：语义层 -> Fabric层 -> 链路层 -> 介质层。在整个传输过程中，不会发生基于软件的中间缓冲或跨层干预，将处理延迟限制在亚微秒到微秒的范围内。这一特性完全符合Scale-up训练工作负载中普遍存在的高频、细粒度通信的要求。

跨域通信的核心原则：跨多个主机域和机架扩展超节点需要低延迟、高带宽的跨域xPU通信。网络型解决方案可以跨域，但由于多层封装和主机侧中继，会产生毫秒级的开销。总线型解决方案局限于单一主机域，根本无法跨域。Co-Fabric协议围绕两个核心原则设计以解决这一差距：首先是极简主义，协议栈原生仅实现跨域通信所需的基本功能；其次是基于包头嵌入的路由，所有路由信息嵌入在数据包头中，路由决策随着数据包的流动自动完成。

Fabric层（FL）的包头设计：这两个原则体现在Co-Fabric协议栈的Fabric层（FL）中。FL位于链路层和语义层之间，处理跨域寻址和数据包转发。FL包头携带Fabric Type、源/目的Domain ID和源/目的Port ID。Fabric Type指示传输模式。Domain ID标识数据包源和目的地的域。Port ID标识域内的特定端口，涵盖xPU端口和交换机之间的级联端口。

全局唯一标识符与路由表初始化：这种设计要求在初始化时为Fabric中的每个端口分配全局唯一的标识符，并在所有交换机上配置路由表。固件在通电时完成此过程。每个交换机首先通过拓扑自发现来发现其下游xPU和对等交换机。然后，固件按遍历顺序为所有xPU端口和级联端口分配全局唯一的Port ID。每个交换机随后安装其转发表，并最终学习其入口侧的Domain ID。

跨域读写转发流程：有了FL包头和统一编号，跨域读写过程如下：源端在语义层将目标地址转换为端口标识符，并将目的Domain ID和Port ID填入FL包头中。地址解析在端点发生；FL包头仅携带ID。一旦数据包进入Fabric，每个交换机仅解析FL包头，并从目的Port ID指示的端口转发数据包。在整个转发过程中，交换机不解析地址，也从不将数据包解封装到语义层。响应数据包遵循反向路径。该路径绕过了主机CPU和网络栈，路由开销在并行硬件中以纳秒级处理。

多传输模式支持：Fabric Type字段允许单一数据包格式表达多种传输模式。它支持单播P2P、组播、广播以及网内计算（INC）【12，A switch-centric in-network architecture for accelerating llm inference in shared-memory network+2026+arXiv preprint】，所有这些都在硬件中执行，模式切换无需软件参与。单播是默认模式，服务于跨域P2P通信。在组播模式下，FL包头中的目的Domain ID和Port ID位置被重新用作组播组ID；沿途交换机在硬件中将数据包复制到成员端口列表。广播模式将数据包泛洪到目的域中的所有端口。

网内计算（INC）机制：网内计算将规约（Reduction）操作卸载到转发路径上。INC-ADD、INC-MIN和INC-MAX分别对应逐元素加法、最小值和最大值。数据包携带算子类型和初始值；具备INC能力的交换机在转发时对有效载荷应用相应的逐元素聚合，聚合结果继续流向目的地。这在单一事务中完成了原本需要多次往返的跨域规约。

线性扩展能力：将Port ID嵌入数据包还使得路由决策对包头格式透明，从而实现了线性扩展。转发表的大小随着域内端口数量的增加呈线性增长，而无论规模如何，FL包头宽度保持固定。增加交换机层级和扩展转发表可将超节点从16个xPU扩展到数百个。当新的xPU加入时，交换机发现它，分配唯一的Port ID，并安装相应的转发条目。

系统级统一地址空间：Co-Fabric统一了整个系统中所有连接内存的设备的地址空间。该互连域内的所有节点被映射到一个单一的、巨大的全局统一地址空间中，该空间为异构内存资源划分了不同的、非重叠的地址范围，包括主机本地内存、xPU封装内HBM、ASIC连接的多类型内存、FPGA集成的片上和片外内存，以及来自远端节点的远程内存。

以主机为中心的透明视图：从以主机为中心的角度来看，每个主机看到所有的xPU（无论是本地的还是远程的、域内的还是跨域的）都统一映射到其自身的主机内存空间中。这允许通过本地Load/Store指令对超节点中任何xPU的内存进行内存语义访问，而无需区分目标是驻留在同一主机域内还是域外。所有事务都遵循Co-Fabric协议进行打包和路由。

基于标准CUDA的分布式编程：在Co-Fabric超节点中，分布在不同主机域的xPU在主机自身的互连总线上表现为本地设备，开发人员使用标准的单节点CUDA【13，Scalable parallel programming with cuda+2008+Acm siggraph】编程来分配多xPU任务。驱动程序和应用程序都不需要知道xPU物理上属于哪个主机。

影子设备（Shadow Device）机制：主机看到的xPU并不是真实设备，而是由Co-Fabric交换机通过自动枚举注入的影子设备。影子设备是交换机在主机设备层次结构中呈现的虚拟端点。交换机为其分配一个HBM地址范围。任何落在这个范围内的访问都会被路由到真实的物理xPU。每个主机从同一组交换机枚举出同一组影子设备，并且HBM地址范围是统一预定义的。

xPU侧的透明通信：从xPU端来看，通信没有任何改变。xPU不知道它的对等端是本地的还是远程的，也看不到交换机。它只是遵循标准的请求/完成协议发送Co-Fabric数据包，目标地址在交换机分配的HBM范围内。交换机将数据包转发到真实的xPU。这对于xPU是透明的，无需更改其软件栈或硬件。

编程与访问延迟优势：在编程层面，全局统一地址空间将多设备协作从“显式复制数据”简化为“按地址访问”。开发人员无需设置如内存区域（MRs）、队列对（QPs）、完成队列（CQs）或远程密钥（rkeys）等控制对象。交换机在硬件中处理所有的控制路径配置。在访问延迟方面，全局地址空间结合原生内存语义简化了跨域路径，寻址和转发在交换机硬件上并行运行，将跨主机xPU访问延迟保持在数百纳秒到微秒级别。

扁平地址空间模型：Co-Fabric使用一种扁平的寻址模型，超节点中的所有xPU内存映射到一个单一的物理地址空间，每个xPU占据一个非重叠的范围。在自动枚举期间，交换机为每个xPU分配一个固定大小的HBM范围。分配在初始化时发生一次，且永不改变。Co-Fabric的统一寻址消除了RDMA的运行时注册开销，因为HBM地址范围在初始化时就已预定义，软件在运行时不需要注册或查找密钥。

硬件级低延迟保证：Co-Fabric利用协议的高性能底层路由机制，任何xPU都可以通过原生的本地内存指令直接访问远程数据。这种方法绕过了多层特权转发和地址转换过程，大幅降低了跨设备数据寻址和通信链路建立的延迟。所有内存一致性事务都完全卸载到硬件链路层。

原生内存语义的延迟优化：基于其原生的内存语义，Co-Fabric允许应用程序直接访问远程xPU内存，而无需对远程过程调用、中间数据复制或接口封装进行额外适配。开发人员从手动划分数据分片和实现跨设备数据迁移逻辑中解放出来。这消除了应用层的转发开销，并将跨域加速器通信延迟降低到亚微秒级别。

精简协议设计的延迟收益：在精简的协议设计方面，Co-Fabric摒弃了传统互连协议中固有的冗余数据包封装、多阶段数据包验证和繁琐的状态交互逻辑。它简化了数据包传输格式，并构建了原生兼容Load/Store指令的轻量级语义层，进一步减少了通信协议栈的处理开销。单跳链路处理延迟在最基本的数据包传输阶段被最小化。

双重可靠性保障机制：Co-Fabric协议在其链路层原生集成了双重可靠性保障机制。第一种机制是基于信用的流量控制方案，发送端和接收端定期交换链路状态反馈帧，以动态同步接收缓冲区的剩余容量。发送端只有在接收端相应的信用配额充足时才被允许发出Fabric层数据单元，从根本上防止了接收缓冲区溢出导致的数据丢弃。第二种机制是基于ACK/NAK响应的链路级自动重传方案。协议为每个数据单元分配唯一的序列号并附加CRC校验码；一旦检测到误码或数据单元丢失，链路层自主发起选择性重传。

可靠性机制的协同运作：Co-Fabric的这两种可靠性保障机制协同运作：基于信用的流量控制通过限制注入率降低了触发重传的概率，而链路级重传有效修复了由信号衰减、串扰或连接器接触不良引起的瞬态错误。在保持低开销的同时，Co-Fabric协议将误码恢复延迟限制在微秒级，且信用更新和重传确认均嵌入在链路控制帧中，不消耗数据通道带宽。

补充细节（Co-Fabric AI扩展系统）

Co-Fabric扩展AI服务器系统实现：基于Co-Fabric架构，本文提出了多种自定义Co-Fabric扩展AI服务器系统的工程实现，这些系统将xPU和CPU统一集成到具备高带宽、低延迟和统一内存地址空间的Co-Fabric互连框架中。系统互连拓扑可以灵活定制以适应不同的应用需求，支持CLOS【14，A scalable, commodity data center network architecture+2008+ACM SIGCOMM+无】、Rail-only【15，Rail-only: A low-cost high-performance network for training llms with trillion parameters+2024+HOTI+无】和Full Mesh【16，Optimizing intra-layer parallel communication for llm training on systems with fully-connected mesh gpu topology+2026+Supercomputing Asia+无】等多种拓扑。

南向扩展系统架构构建：采用仅集成南向Co-Fabric端口的xPU与Co-Fabric交换机结合，本文构建了xPU的跨域南向扩展系统。在一个单一域内，xPU通过单层Co-Fabric交换机互连，在多卡之间形成全互连（Full-mesh）拓扑，确保域内xPU之间的对称高带宽通信。

跨域拓扑灵活配置：对于跨域xPU互连，拓扑可以根据应用场景和扩展需求灵活选择：（1）采用两层Co-Fabric CLOS网络以保持跨域对称互连，保证xPU之间的高通信带宽。基于此方法，实现了单服务器内32卡扩展互连以及超过百卡的机柜级部署。（2）针对大模型推理的典型通信流量特征，通过采用Rail-only跨域网络来简化互连拓扑，该网络专门在相同索引的xPU之间建立跨域连接，从而构建非对称通信路径，在扩大系统规模的同时降低互连成本。

南向架构的核心优势：南向Co-Fabric扩展系统的核心优势在于其架构的简单性：互连拓扑局限在xPU侧，Co-Fabric数据路径中不需要CPU参与，这大大简化了硬件部署的复杂性。

混合南向-北向扩展系统构建：通过采用同时集成南向和北向Co-Fabric端口的xPU、配备Co-Fabric端口的CPU以及Co-Fabric交换机，本文构建了跨域的混合南向-北向扩展系统。在单一域内，xPU利用其南向端口建立南向互连网络。在跨域层面上，xPU和CPU通过其北向端口连接到由Co-Fabric交换机组成的北向Co-Fabric网络，从而实现跨域访问。

混合架构的通信与冗余优势：与仅南向扩展方法相比，混合互连同时利用了xPU的南向和北向Co-Fabric端口，在xPU之间提供了更多的通信路径。这在通信性能和路径冗余方面产生了显著优势，实现了更高带宽和更低延迟的数据传输。此外，随着CPU集成到北向Co-Fabric网络中，可以在统一的内存地址空间内实现xPU和CPU资源的全局可见性和高效共享。

实验环境

本文以跨节点的64 xPU混合南向-北向Co-Fabric扩展系统作为具体评估对象。

• 硬件配置：系统部署在双机柜中，每个机柜容纳四个8-xPU服务器节点和两个高性能Co-Fabric交换机。服务器节点和交换机通过DAC（直连铜缆）【17，Intra-data center interconnects, networking, and architectures+2020+Optical Fiber Telecommunications VII+无】物理互连。Co-Fabric系统在节点内使用Retimer卡提供Co-Fabric端口（x16 lane, 32 Gbps/lane）。作为对比基线的64 xPU RoCE系统使用标准的以太网网卡（400Gbps）、光模块和以太网交换机。两种系统的计算和存储配置相同：每节点包含2个56核CPU、8个支持64GB HBM的xPU、32条64GB DDR5内存、2块960GB SATA SSD以及8块3.84TB NVMe U.2数据盘。
• 拓扑设计：采用受流量特征引导的3D Mesh拓扑。单节点内采用南向Co-Fabric Full Mesh拓扑实现8个xPU间的点对点直连；跨节点层面则实现基于Rail-only拓扑的北向互连。
  

实验结果

1. 互连链路优势分析
在Co-Fabric系统中，CPU/xPU发出的信号通过Retimer卡连接到外部交换机，整个互连链路没有数据速率损失。而在RoCE系统中，数据通过以太网网卡和光模块连接，受以太网芯片限制，信号速率会遭受一定损失。

此外，Co-Fabric系统使用低成本、低功耗的组件（Retimer和Co-Fabric交换机）替代了RoCE系统的高成本、高功耗组件（以太网网卡和交换机），使互连成本降低了约$80\%$，互连功耗降低了约$5\%$。

2. 基础通信性能测试
在AllReduce通信性能测试中，对于4MB以下的小包场景，Co-Fabric系统的延迟仅为RoCE系统的$10\% - 20\%$，互连带宽是RoCE的$5 - 15$倍。对于4MB以上的大包场景，Co-Fabric系统的延迟为RoCE系统的$15\% - 50\%$，互连带宽是RoCE的$2 - 5$倍。

3. 系统扩展线性度测试
在8、32和64卡规模下评估系统扩展性能。在DeepSeek V3/R1的LoRA微调测试中，64卡Co-Fabric系统实现了相当于8卡系统$93.3\%$的TGS（Tokens per GPU per Second）性能。在QwQ-32B全参数模式下，64卡系统保持了$98\%$的性能，表明通信开销没有随着节点增加而出现显著退化。

4. 大模型推理应用性能测试
在部署DeepSeek R1【18，Deepseek-r1: Incentivizing reasoning capability in llms via reinforcement learning+2025+arXiv preprint+无】推理模型时，Co-Fabric系统比RoCE系统实现了约$30\%$到$80\%$的推理性能提升。在128并发场景下，Co-Fabric系统的推理性能是RoCE系统的1.8倍。

进一步分析推理计算时间分布（Batch size = 512，输入3072 tokens，输出1024 tokens）：

• Prefill阶段【19，Sarathi: Efficient llm inference by piggybacking decodes with chunked prefills+2023+arXiv preprint+无】：Co-Fabric系统总延迟约170秒，比RoCE系统的230秒减少了$26\%$。这主要归功于AllGather通信时间从约80秒压缩至仅20秒（减少$75\%$）。
• Decode阶段【20，Pipespec: Breaking stage dependencies in hierarchical llm decoding+2025+ACL+无】：Co-Fabric系统总延迟约182秒，比RoCE系统的249秒减少了$25\%$。AllGather和AllReduce通信操作时间分别从约53秒和36秒减少到约13秒和9秒（各减少$75\%$）。
  

结论

本文提出了Co-Fabric，这是一种以互连为中心的总线型架构，打破了主机域边界，为Scale-up超节点提供统一的GPU互连。Co-Fabric的精简四层协议栈将计算、存储、网络和管理整合到具有纳秒级延迟的单个互连域中；通过在Fabric层包头中嵌入端口标识符实现跨域扩展和P2P通信；通过影子设备自动枚举构建全局扁平地址空间。在64个xPU的3DMesh系统上的验证表明，Co-Fabric有效降低了部署成本和功耗，大幅降低了基础通信延迟并提升了带宽，在DeepSeek R1推理中实现了显著的端到端延迟降低。未来的工作将把Co-Fabric扩展到更大的多机架部署，并进一步将集合通信操作卸载到Fabric上。

参考文献索引说明：

• 【1】Scaling laws for neural language models (2020)
• 【2】Training compute-optimal large language models (2022)
• 【3】Research on the development trend of key technologies and industry of superpod (2025)
• 【4】Fsmoe: A flexible and scalable training system for sparse mixture-of-experts models (2025) 对应正文MoE训练需求。
• 【5】TCP/IP network administration (2002) 对应多层网络协议栈延迟。
• 【6】Guide to osi and tcp/ip models (2014) 对应OSI模型延迟。
• 【7】A primer on memory consistency and cache coherence (2011) 对应内存一致性。
• 【8】Pci-express: Evolution of a ubiquitous loadstore interconnect (2024) 对应Load/Store原生语义。
• 【9】Ubep: Re-architecting expert parallelism communication library (2026) 对应MoE频繁小粒度交换。
• 【10】Evaluating link-level lossless mechanisms in ai networks (2026) 对应链路级重传。
• 【11】RoCE network design for diverse ai workloads (2025) 对应RoCE网络设计。
• 【12】A switch-centric in-network architecture for accelerating llm inference (2026) 对应网内计算（INC）。
• 【13】Scalable parallel programming with cuda (2008) 对应单节点CUDA编程。
• 【14】A scalable, commodity data center network architecture (2008) 对应CLOS拓扑。
• 【15】Rail-only: A low-cost high-performance network for training llms (2024) 对应Rail-only拓扑。
• 【16】Optimizing intra-layer parallel communication for llm training (2026) 对应Full Mesh拓扑。
• 【17】Intra-data center interconnects, networking, and architectures (2020) 对应DAC线缆连接。
• 【18】Deepseek-r1: Incentivizing reasoning capability in llms (2025) 对应DeepSeek R1推理测试。
• 【19】Sarathi: Efficient llm inference by piggybacking decodes with chunked prefills (2023) 对应Prefill阶段。
• 【20】Pipespec: Breaking stage dependencies in hierarchical llm decoding (2025) 对应Decode阶段。