Toward RL on Mixed-Precision, Mixed-Accelerator Samplers

发表时间: 2026-10 · Blog post by Nan Jiang (modal.com)

原文: https://modal.com/blog/toward-rl-on-mixed-precision-mixed-accelerator-samplers

机构：Modal Labs

主要贡献

在超大模型强化学习（Reinforcement Learning, RL）的端到端系统中，采样阶段（Rollout/Sampling）通常消耗整个集群 80% 至 85% 的 GPU 算力。为了保证训练的数值稳定性，传统方法通常强制要求采样器与训练器运行在完全相同的加速器型号上，甚至采用相同的计算精度（如统一 BF16）。这一约束使得 RL 采样无法享受主流模型推理服务（Serving）领域中成熟的性能与成本优化红利，例如 FP8、MXFP4、NVFP4 等超低精度量化格式、针对特定硬件协同设计的算子（Co-designed Kernels），以及专门针对长上下文 Prefill 阶段定制的计算加速器。

针对上述痛点，本研究探讨了是否能够构建一个混合精度、混合加速器的采样系统——各节点采用不同的硬件架构、量化精度和推理算子，同时依然维持策略训练的高性能与强稳定性。该系统主要面临两大核心挑战：

1. 学习层面的挑战（训练与推理失配）：使用不同的低精度与算子会加剧采样策略与训练策略之间的数值偏离（Mismatch），使样本具有更强的离策略（Off-policy）特性，导致训练崩溃。
2. 系统层面的挑战（集群异构性）：传统 RL 基础设施假定集群硬件同构，而混合采样体系需要弹性伸缩、能按需突发且支持多架构自适应的无服务器（Serverless）GPU 基础设施。

本工作的核心贡献与创新点如下：

• 提出并验证了混合采样器的 RL 训练稳定性：证明了在大规模智能体编程任务中，结合离线策略修正（Off-policy Correction）技术，混合精度与混合加速器采样器不仅能实现与完全同构、相同精度基线相匹敌的下游评估表现，且在长达 256K 上下文、完全异步（Fully Asynchronous）且对策略滞后性（Staleness）不做硬性限制的场景下，全程保持稳定不崩溃。
• 重塑对训练-推理失配（Mismatch）的核心认知：揭示了 RL 训练的崩溃本质上并不取决于失配绝对数值的大小，而是取决于更新梯度是否会导致失配在迭代过程中无界增长（Unbounded Growth）。混合采样器产生的单步 KL 散度虽然平均达到同构硬件的 4.7 倍，但在正确消除更新漂移和截断极端比率后，训练完全能够收敛。
• 集成并验证了一套端到端的离线策略修正组合：将掩码重要性采样（Masked Importance Sampling, MIS）、分数中心化（Score Centering, SC）以及带掩码重放的 Top-p 采样（Top-p Sampling with Mask Replay）协同应用于大模型 RL，系统性地消除了由于采样分布偏移带来的累积梯度漂移和极端方差。
• 显著降低端到端计算成本：在保证性能持平的前提下，解耦训练与采样体系使得采样成本直接降低约 15%。由于系统具备独立调优各硬件和动态路由请求的能力，为后续进一步向更高性价比加速器倾斜打下了基础。

背景知识与关键观察

训练与推理失配的来源解析

• 计算算子导致的非确定性与数值分歧：在现代分布式系统架构中，推理引擎（如 SGLang、vLLM）与训练框架（如 Megatron-LM）采用不同的底座算子。由于缺少批次不变性（Batch Invariance）以及并行归约（Reduction）累加顺序的不一致，即使在完全相同的硬件和数值精度下，相同的输入也会在两端输出不同的概率分布【https://arxiv.org/pdf/2512.01374】。
• 数值精度与量化格式差异：计算精度直接决定了浮点数的尾数位（影响精度）和阶码位（影响动态范围与块缩放机制）。当训练器采用 BF16，而采样端使用 FP8、MXFP4 或 NVFP4 时，两端会引入完全不同的舍入误差（Rounding Errors）【https://arxiv.org/pdf/2510.26788】。随着模型计算流程中被量化算子比例的增加，累积失配程度将进一步被非线性放大。
• 加速器硬件架构的分异：特定硬件架构对低精度的支持能力具有代际鸿沟。例如，NVIDIA A100 架构不具备原生 FP8 Tensor Cores，Hopper 架构（H100/H200）不具备 FP4 Tensor Cores，只有 Blackwell 架构（B200/B300）具备原生的 NVFP4 支持。相同代码在不同架构上执行时，调用的微架构指令集与硬件算子截然不同，必然产生异构失配。
• 策略过时性（Policy Staleness）的累积：在完全异步的强化学习设定下，为了最大化系统吞吐量，采样器无需等待训练器梯度同步，这导致采样器所运行的权重往往滞后于训练器数个训练步。此外，长任务轨迹的拆解采样（Partial Rollouts）以及在采样进程中穿插的动态权重更新（In-flight Weight Updates），均会导致生成样本分布相对当前训练策略发生严重偏移。
• 动态路由决策的不一致性：对于 Mixture-of-Experts（MoE）模型或稀疏注意力架构（Sparse-Attention），Top-k 专家选择以及稀疏 KV 索引器的 Top-k 检索机制存在路由不一致性（Router Inconsistency）【https://arxiv.org/pdf/2510.11370】。两端微小的浮点差异可能导致路由器选择完全不同的专家网络或不同的键值缓存条目【https://arxiv.org/pdf/2602.15763v2#page=12】。
• Top-p 与 Top-k 截断采样引发的动作空间不一致：在推理生成时，若采样端仅从动态截断的候选集（如 Top-p）中采样 Token，被截断外的 Token 在采样策略下的概率为零。若训练端依然在全词表（Full Vocabulary）空间中计算交叉熵与概率分布，会导致两端的动作空间支撑集（Support）不匹配，从而严重破坏训练稳定性【https://arxiv.org/pdf/2512.02556v1#page=8】。
• 多轮对话上下文渲染误差：在 Agent 多轮交互中，分词-反分词（Detokenize-Retokenize）往返操作、对话模板（Chat Template）在后续轮次重新渲染历史对话、或者剥离前序思考内容（Reasoning Chains）等操作，会导致训练器在打分时基于一个模型在实际采样时从未见过的上下文序列进行评估【https://www.lmsys.org/blog/2026-05-13-no-token-left-behind】。

为何不追求绝对的同策略（True On-Policy）RL？

• 追求逐位一致（Bitwise-Identical）的高昂代价：同策略强化学习严格要求每个 Token 均直接从当前受训策略中采样。要消除全部系统差异，两端必须在每一环节进行逐位（Bitwise）对齐，这会带来极大的系统惩罚：

  • 算子层面：要求使用具备批次不变性的确定性算子，这会导致推理采样延迟大幅上升，或者需要针对每一个特定模型手工编写复杂的定制算子【https://arxiv.org/pdf/2606.19348v1#page=18】。
  • 精度层面：将训练器与采样器强制绑定到相同的单一量化格式。然而现实中没有任何一种单一低精度计算格式能够无缝跑通所有硬件代际（例如 A100 缺乏 FP8，Hopper 缺乏 FP4）。
  • 硬件层面：强制采样与训练必须在同一代加速器上进行，完全排除了混合利用老旧或不同规格 GPU 算力的可能性。
  • 策略过时性层面：若退回到严格同步的 RL（每批次必须等待全量更新完成），将完全丧失异步流水线的极高吞吐优势。
  • 路由重放层面：为了保证 MoE 专家一致而重放采样端的路由索引（Rollout Routing Replay），会引入有偏的目标策略（Biased Target Policy），并增加昂贵的显存和跨节点通信开销【https://arxiv.org/pdf/2510.11370】。

• 分立系统的设计哲学与失配控制原则：采样系统与训练系统各自背负着完全不同的底层优化目标（推理追求极限吞吐、极低延迟与量化带宽；训练追求高精度梯度反向传播与状态累加）。强行对齐不仅会剥夺各自领域独立演进的优化空间，而且在异步分布式环境下，即使硬件与算子完全逐位一致，策略滞后性依旧会导致离策略问题。

• 稳定性法则的核心洞察：训练稳定性与失配的绝对单步数值关联度较低，核心在于失配是否在更新过程中呈现正反馈式的无界膨胀。未修正的梯度偏差会逐渐拉大策略距离，引发恶性循环直至模型坍塌；只要引入合理的算法级离线策略修正（Off-policy Correction），使策略更新在数学期望上受限且向正确目标靠拢，即使采样端存在较大的静态硬件与精度失配，系统也能长时间保持稳健收敛。

方法细节

离线策略修正的核心数学原理与双重误差

• 采样策略与训练策略的符号化定义：在混合采样架构中，数据由采样策略 $q$ 生成，而训练器维护并更新训练策略 $p_\theta$。每个 Token 可能由不同加速器、不同精度、不同滞后步数的采样实例生成，因此各个 Token 对应的生成分布 $q$ 均可具备独特的概率记录。离线策略修正技术在数学上并不依赖于 $q$ 与 $p_\theta$ 产生差异的物理原因（无论其源于算子、精度、硬件还是时钟滞后），而统一将其抽象为分布密度的偏离。

• 非修正策略梯度的漂移误差（Drift）：在标准的同策略策略梯度算法中，对数概率梯度在真实受训策略 $p_\theta$ 下的单步期望值为零：
  

  $$\mathbb{E}_{x \sim p_\theta}[\nabla_\theta \log p_\theta(x)] = 0$$

  
  然而，当采样数据来自异构分布 $q$ 时，该期望项不再为零：

  $$\mathbb{E}_{x \sim q}[\nabla_\theta \log p_\theta(x)] \neq 0$$
  这导致梯度更新中混入了一个朝向采样策略 $q$ 的确定性漂移步进。无论具体 Token 的优势函数（Advantage）表现如何，只要优势期望为正，策略就会被持续拉向采样策略；反之则被推离。由于采样器会周期性重新加载训练器更新后的权重，漂移导致训练器持续追逐一个"伴随自身漂移而动态移动的目标"，最终引发严重的更新发散。组内优势归一化（Group Relative Normalization）无法消除此误差，因为在特定前缀序列下，优势的条件期望通常不为零。

• 非修正策略梯度的加权错误（The Wrong Weighting）：标准策略梯度期望针对的是训练策略分布。使用 $q$ 生成的样本直接更新时，每个 Token 对梯度的贡献被乘以了其在采样器中的生成频次，而非其在训练策略中的实际概率。即使训练策略已经调整使得某个错误 Token 的产生概率极低，采样端残留的频次依然可能迫使该 Token 继续获取极大的梯度更新，导致参数震荡。

掩码重要性采样（Masked Importance Sampling, MIS）

• 重要性比率（Importance Ratio）的基础机制：重要性采样通过为每个 Token 乘上重要性权重 $w = \frac{p_\theta(x)}{q(x)}$，从理论上将积分底数从采样分布 $q$ 无偏转换回目标分布 $p_\theta$。针对整条轨迹进行连续比率连乘虽然在数学上严格精确，但其方差会随着序列长度（可达 256K）呈现指数级发散。因此在大模型实际训练中，必须采用一阶近似的逐 Token（Token-level）比率修正。
• 极端权重的截断与硬掩码策略：在逐 Token 计算中，若采样器极罕见地输出了某个 Token，其概率 $q(x)$ 极小，导致比率 $\frac{1}{q(x)}$ 爆炸，单个离群样本即可摧毁整个优化批次的梯度。掩码重要性采样通过设定固定的超参数置信区间（例如 $[0.2, 5]$），当重要性比率 $w$ 处于该范围之外时，直接执行硬掩码（Masking），将其权重置为零：
  
  $$\begin{aligned} w_{\text{MIS}} = \begin{cases} \frac{p_\theta(x)}{q(x)}, & \text{若 } \frac{p_\theta(x)}{q(x)} \in [c_{\min}, c_{\max}] \\ 0, & \text{其他} \end{cases} \end{aligned}$$

  
  通过硬掩码机制，所有被保留的 Token 在数学期望上完全贴合训练策略的目标方向，且排除了极大比率的主导破坏。然而，硬掩码在抑制方差的同时，打破了概率积分守恒，导致漂移误差（Drift）重新被引入系统中。

分数中心化（Score Centering, SC）

• 减除采样对数概率期望梯度以根除漂移：针对掩码引入的漂移问题，分数中心化在每个 Token 位置显式减去在采样分布 $q$ 下的对数概率期望梯度，构建中心化的分数函数：
  

  $$\nabla_\theta \log p_\theta(x_t) - \mathbb{E}_{x \sim q}[\nabla_\theta \log p_\theta(x)]$$

  
  经过该项抵消后，常数优势项（Constant Advantage）在数学期望上不再引起任何策略位移，从根本上切断了训练策略向移动采样目标无休止漂移的正反馈循环。

• 全词表期望概率的混合重构与逼近：严格计算 $q$ 分布下的期望梯度需要采样器返回词表全部 Token 的完整概率分布，这在超大词表下会带来无法承受的显存传输负担。为此系统采用两段式近似：

  • 采样端仅记录并回传 Top 候选 Token 的高置信度概率值 $q(x)$；
  • 对于词表中剩余的尾部 Token，系统利用训练器本地计算的前向传播概率 $p_\theta(x)$ 进行保形缩放，将其概率质量严格归一化并对齐至采样器剩余的概率质量（Remaining Probability Mass）总额中，以实现低通信开销下的高保真期望估计。

• SC 与 MIS 的互补耦合：分数中心化能够消除漂移，但其本身保留了错误的采样频次权重；掩码重要性采样修正了频次加权并控制了方差，却重新激化了漂移。因此，将 SC 与 MIS 深度协同（SC + MIS）构成了闭环防御：对保留下来的 Token 赋予准确的目标策略加权，同时全流程抹除梯度漂移分量。

带掩码重放的 Top-p 采样（Top-p Sampling with Mask Replay）

• 动态候选集对齐与支撑集修复：标准推理引擎普遍采用 Top-p（Nucleus）采样策略以过滤长尾胡言乱语。但这导致集合外的 Token 在采样端被强制赋予 $q(x) = 0$ 的物理截断，从而彻底打破了重要性采样所依赖的共有支撑集（Shared Support）假设。
• 训练器端掩码重放与重归一化机制：带掩码重放机制要求采样器在吐出 Token 的同时，记录每个位置用于采样的 Top-p 动态候选掩码向量。训练器在执行策略梯度反向传播前，强制加载该掩码，并将自身的概率分布 $p_\theta$ 在同一个 Top-p 候选子集内部执行局部的重新归一化（Renormalization）：
  
  $$p_\theta^{\text{replay}}(x) = \frac{p_\theta(x)}{\sum_{x' \in \text{Top-}p} p_\theta(x')}, \quad \forall x \in \text{Top-}p$$

  
  超出该集合的 Logits 在该步不接受任何梯度回传。这一操作阻断了词表深处极端低频 Token 意外产生极大重要性比率的通道，并且由于采样端记录了 Top-p 内部所有候选的显式概率，使得分数中心化中的期望梯度计算由估算提升为绝对精确的解析计算。

复合策略梯度的端到端集成公式

综合上述三项修正组件，对于每个轨迹中位置 $t$ 采样的 Token $x_t$（其在采样器 Top-p 候选集内部，对应局部优势估计为 $\hat{A}_t$），训练器实际执行的参数反向传播更新梯度为：

其中 $w_{\text{MIS}}(x_t)$ 严格受限于硬截断区间 $[c_{\min}, c_{\max}]$。在该更新结构下：

1. Top-p 掩码重放确保了两端处于完全相同的离散采样支撑集中；
2. 内部减除项（SC）完全消解了由截断或分布偏移产生的常数项更新漂移；
3. 外部重要性比率（MIS）确保在非漂移方向上，梯度更新的方向严格收敛于当前训练策略 $p_\theta$ 的无偏流形。

方法细节引用文献汇总

实验环境

数据集与评估基准

• 训练数据集：Xiaomi MiMo-V2.6 开源的 2.7K 软件工程仓库任务（MiMo-V2.6-RL-oss）。该数据集经过严格的净化预处理：彻底剔除 Git 提交历史以及可能泄露参考修复补丁（Reference Fixes）的环境残留痕迹，以防止模型产生奖励黑客行为（Reward Hacking）。
• 任务格式与交互规则：Agent 处于真实多轮交互循环中。模型生成补丁，并在 Modal 沙盒环境（Modal Sandbox）中通过 Bash 工具执行交互和测试提交。若提交的补丁在一个全新的隔离沙盒中跑通目标任务的全部单元测试，环境返回奖励标量 1，否则返回 0。上下文窗口支持最高扩展至 256K Tokens。
• 评测数据集：
  • SWE-bench Pro V2 全集：与训练任务集完全零重叠的独立代码基准。
  • HARD-51：SWE-bench Pro V2 中筛选出的 51 个高难度样本子集。
  • 评估标准：针对评估指标 Pass@4 进行打分，所有评估 Checkpoint 统一在 BF16 精度下无量化运行。

模型与训练-采样架构

• 模型规格：开源权重模型 Qwen3.6-35B-A3B（混合专家 MoE 架构）。
• 训练器（Trainer）配置：
  • 算法与后端：基于 Miles RL 框架，训练器基于 Megatron-LM 开发。
  • 硬件与精度：单台/单集群 NVIDIA B200 GPU，策略更新在 BF16 精度下执行。
  • 异步机制：完全异步流式训练（Fully Asynchronous），对采样器产生的策略滞后步数（Staleness）不做人为上限截断（平均滞后步数约为 4 步）。
  • 批次规格：每次策略更新聚合 128 个 Prompt，每个 Prompt 包含 8 条独立 Rollout 轨迹（单更新步处理 1,024 条长序列轨迹）。
  • 路由约束：训练器在反向传播时不强制重放采样端的 MoE 路由决策（No MoE Routing Replay）。

采样器（Samplers）异构分组配置

采样集群基于 SGLang 推理引擎构建，运行在 Modal 的弹性无服务器（Serverless）GPU 架构之上。采样环境划分为两大对照体系：

1. 混合采样系统（Mixed Samplers）：跨越六种完全异构的 GPU 硬件平台，划分为 8 个服务执行组，按各自实时吞吐能力通过全局路由器动态分配会话（各组处理份额保持稳定）：

   • B200 节点组：权重采用 NVFP4 量化，KV Cache 统一为 FP8。
   • B300 节点组：权重采用 NVFP4 量化，KV Cache 统一为 FP8。
   • H100 节点组 (FP8)：权重采用 FP8 量化，KV Cache 统一为 FP8。
   • H100 节点组 (BF16)：权重保持 BF16，KV Cache 统一为 FP8。
   • H200 节点组 (FP8)：权重采用 FP8 量化，KV Cache 统一为 FP8。
   • H200 节点组 (BF16)：权重保持 BF16，KV Cache 统一为 FP8。
   • A100 节点组：权重保持 BF16，KV Cache 统一为 FP8。
   • RTX PRO 6000 节点组：权重保持 BF16，KV Cache 统一为 FP8。
   • 算子特性：所有加速器运行自身架构专用的优化推理算子。

2. 同构采样系统（Homogeneous Samplers - 基准线）：

   • 纯粹运行在 NVIDIA B200 GPU 之上。
   • 权重强制使用 BF16，KV Cache 同样强制使用 BF16。
   • 完全匹配训练器的硬件架构与计算精度，两端仅存在由于异步流水线引发的策略滞后性（Staleness）以及推训算子差异。

实验结果

训练稳定性与消融对比实验

在 SWE-bench Pro V2 及其 HARD-51 子集上的完整训练过程中，各算法配置的收敛性呈现断崖式分化：

• 无修正 GRPO 的全面崩溃：

  • 在混合采样器上，标准 GRPO 在训练启动后极短时间内（约 20 步内）迅速发生策略坍塌，Pass@4 骤降至零。
  • 在同构采样器上，虽然初始阶段因数值差异较小维持了一段时间，但在第 100 步左右同样不可逆地走向了彻底崩溃。

• 单项修正技术的局限性：

  • 仅引入重要性采样掩码（GRPO + MIS）或仅引入分数中心化（SC），亦或仅引入 Top-p 截断，虽然能在一定程度上推迟崩溃发生的时间节点，但无法解决根本问题，所有单修正运行最终的评测表现均跌落至基座模型原始能力以下。

• 全组合修正（SC + MIS 与 SC + MIS + Top-p）的强健稳定性：

  • 只有同时结合了消除漂移的 SC 与矫正权重的 MIS（无论是否叠加 Top-p 掩码重放），模型展现出极为稳固的收敛曲线。
  • 在 HARD-51 高难度子集上，Pass@4 在前 100–140 步内快速单调爬升，随后稳定平台期维持在 65%–75% 之间。
  • 在 SWE-bench Pro V2 全集上，Pass@4 从初始的 89% 稳健推进至 94% 左右。

策略崩溃的核心物理表征与失效模式分析

通过监控训练过程中的动力学状态，论文总结了策略走向崩溃的三大确定性先兆：

1. 训练奖励断崖下跌：环境交互 Reward 迅速归零；
2. 采样-训练分布距离剧烈失控：采样器与训练器之间的 KL 散度激增 3 倍以上；
3. 格式失效与工具调用中止：绝大多数交互回合因为重复的格式错误而异常早报终止。

相比之下，序列轨迹长度（Trajectory Length）并不构成崩溃的判别依据：部分崩溃模型因无法输出有效指令而在极短轮次内提前挂掉，而另一部分崩溃模型则陷入无意义的循环生成而跑满步数。

崩溃 Agent 的微观行为模式：深入单回合日志表明，崩溃的模型极少输出底层语法错误的 Bash 指令。相反，模型通常在完成部分探索后突然停止调用工具接口。由于环境判定规则为"连续 3 轮无工具调用则强制结算"，Agent 随即被迫中断。

• 在混合采样器上运行至第 40 步的未修正 GRPO Checkpoint 中，高达 62% 的评估回合因此而夭折；
• 其存活交互轮次的中位数值仅为 22 轮（正常通过任务的回合中位数为 57 轮）；
• 在所有这些失败回合中，有 98% 的最终回复直接变为空白输出（Empty Reply），而真正包含格式畸形调用的比例仅占 6%。

混合采样器与同构采样器的性能平价与成本收益

在均配置 SC + MIS + Top-p 离线策略修正的前提下，对混合硬件采样与同构纯 B200 采样进行了直接对决：

• 评估表现完全平价（Parity）：混合采样系统在 HARD-51 与全量 SWE-bench Pro V2 上的 Pass@4 轨迹与同构采样几乎完全重合。
• 底层动力学的一致性：尽管混合系统的采样器-训练器平均 KL 散度是同构系统的 4.7 倍之多，两者的训练奖励增长速率、梯度更新范数（Gradient Norm）依然展现出高度一致的演进轨迹。
• 熵特征的分野：在训练前期（前 160 步），两者的策略熵（Entropy）完全吻合；在 160 步之后，同构采样器的熵出现微幅抬升，而混合采样器则保持极为平稳的状态。

• 计算成本显著压缩：将采样集群完全解耦并迁移至包含老一代及低精度量化卡的混合池后，在大部分训练周期内，每次参数更新所消耗的采样端硬件租赁成本降低了约 15%。本实验仅为了验证在极端混杂异构硬件下系统的数学收敛鲁棒性，并未对各硬件节点的配比进行成本最优化排布；若在生产环境下主动剔除高溢价节点、向低成本加速器倾斜，成本削减幅度将具有更大的提升空间。

修正组件对系统动力学的影响（消融细节）

• GRPO（纯原始）：两项误差完全暴露，梯度范数在起步阶段直接暴涨超 20 倍，策略瞬时坍塌。
• GRPO + MIS：纠正了权重但重新放大了漂移。其梯度范数初期虽受控制，但在训练中途，其 KL 散度与超出范围的 Token 比例骤增超 10 倍，策略熵断崖式归零，宣告失败。
• SC（纯中心化）：移除了常数漂移但权重计算错误，导致模型熵值单调持续下滑，KL 扩大 3 倍后最终坍塌。
• GRPO + Top-p：通过截断阻隔了极端罕见 Token 的冲击，梯度范数降低 3–10 倍，但未能解决系统性漂移，KL 仍稳步抬升并走向延后崩溃。
• SC + MIS：兼顾去漂移与权重修正，除了一次瞬间的轻微梯度波动外，全程保持高度平稳，KL 上涨受限在 2 倍左右。
• SC + MIS + Top-p：实现了最平稳的全局指标，全程梯度范数与策略熵几乎呈水平直线，录得全组别中最低的平均 KL 散度。

异构硬件组别的离群 Token 分布特征

对各个混合采样组别输出的 Token 质量进行细粒度归因分析表明：

• 产生极端重要性比率（$w \notin [0.2, 5]$）的 Token 比例与该硬件组别呈现的 KL 散度严格正相关，而与其提供的绝对样本量份额无关。
• 高偏离组别：H100 FP8 组仅提供了整个集群 10% 的生成样本量，但却贡献了高达 29% 的越界极端 Token；
• 低偏离组别：B200/B300 NVFP4 组输送了全集群 47% 的海量样本，但其越界的极端 Token 占比仅有 16%；
• 宏观安全边界：即便在失配最严重的 H100 FP8 组别中，越界 Token 占其自身生成总量的比例也仅仅在 0.3% 左右。离线修正算法针对每个 Token 的具体偏离度进行局部惩罚与截断，从而保障了不同代际、不同量化深度的硬件能够完全安全地混合共存于同一个优化流中。

补充细节与局限性

算法与系统层面的局限性（Limitations）

• 逐 Token 近似带来的累积截断误差：当前采用的 MIS、SC 以及 Top-p 掩码重放均是在 Token 粒度上独立进行的局部操作，因此必然继承了逐 Token 一阶展开的内在局限：前缀上下文历史序列（Prefixes）以及通过环境结算得到的优势标量（Advantages）仍然直接取自生成时的异构采样器。虽然更完备的序列级修正方案（如 GSPO 或 DeepSeek-V3.2 的序列校正）理论上能够构筑更高阶的安全屏障，但在本实验最高长达 256K 上下文、平均策略滞后步数为 4 的苛刻条件下，逐 Token 修正已足以提供强劲的鲁棒性。
• Top-p 掩码重放对目标策略空间的截断效应：带掩码重放的 Top-p 机制在数学上实质性改变了优化目标，即策略梯度仅在被截断的局部子流形内部进行参数寻优，被截断外的词表 Logits 在该反向步完全无法获取梯度。不过评估阶段采用全词表无截断采样时，SC + MIS + Top-p 的成绩与直接采用全词表训练的 SC + MIS 完全保持在同一高位水平，证明这种局部动作截断并未损伤模型的泛化潜力。
• 样本生成效率与系统吞吐的守恒权衡：离线策略修正能够解决的是"如何安全地利用已有偏离样本进行更新"，而无法逆向改变"异构采样器本身生成了何种质量的轨迹序列"。选用更低精度量化或老旧算力，本质上是将"系统吞吐量与训练稳定性之间的矛盾"，转化为了"系统绝对推理吞吐与单样本学习效率（Sample Efficiency）之间的工程权衡"。
• 核心算法设计哲学：所有成功修正方案的共性原则在于——不必刻意追求训练与采样两端差异的绝对最小化，其关键在于通过梯度重构确保受训策略更新方向高度逼近真实的同策略梯度流形，并将由于异构性带来的数学偏离严格约束在有界常数之内。

架构解耦对未来基础设施的启示（What's Next）

• 采样计算资源的彻底泛化与弹性爆发：离线修正算法使超大模型强化学习从沉重的同构硬件锁定中解放出来。未来进行大规模 RL 探索时，采样池不再受限于专有高规格集群，任何具备基础并发推理能力的算力节点均可随时接入贡献 Rollout。针对长任务后期推理轨迹急剧变长的特性，采样端可以在训练中途实现近乎无感的弹性动态扩容。
• 前沿推理优化技术全量无缝导入 RL：传统推理架构中的激进优化成果，均可直接应用于 RL 采样流程而无需强求训练端适配。例如最新研发的极速注意力算子（如 FlashAttention-4）、投机解码加速技术（Speculative Decoding）、极致低比特量化方案，乃至将 Prefill 阶段与 Decode 阶段彻底解耦部署于两组异构加速芯片上的分离架构，均可单向集成至采样端以大幅提升产出能效。
• 训练端硬件架构的独立激进演进：训练器自身摆脱了对采样端的格式束缚，能够独立迈向最顶尖的旗舰计算节点，并自主部署专属于反向传播的高吞吐低精度格式（如 FP8 或 NVFP4 反向加速），无需回溯采样器是否具备同步支持。随着不同硬件厂商、代际芯片与量化标准的急剧分化，训练-采样的深度解耦将成为前沿模型低成本普及训练的核心系统底座。

结论

本研究针对大模型强化学习中采样端霸占 80%–85% 计算资源、且被迫与训练端绑定同构硬件与精度的低效现状，提出并成功验证了混合精度、混合加速器采样架构的可行性。

1. 破除同构教条：研究打破了"高稳定性必须依赖训练-采样两端数值绝对接近"的传统认知，证明训练崩溃的本质诱因在于更新漂移引发的正反馈无界膨胀，而非单步硬件失配的绝对大小。
2. 算法协同根治发散：通过将掩码重要性采样（MIS）、分数中心化（SC）以及带掩码重放的 Top-p 采样有机结合，成功解决了异构采样带来的加权错误、梯度漂移以及动作空间不一致问题。在单步 KL 散度达到同构系统 4.7 倍的恶劣异构环境下，实现了全流程无崩溃的长序列完全异步强化学习。
3. 性能平价与成本优化：在长达 256K 交互序列的智能体编程评测（SWE-bench Pro V2）中，混合采样架构取得了与纯旗舰 B200 BF16 同构基准持平的通过率，同时将采样成本直接削减约 15%，验证了解耦架构兼顾模型性能、系统稳健性与经济性的巨大工程与理论价值。