Inside Step 5 Preview: Architecture and Training for Agentic Work
发表时间: 2026-10 · Blog post by StepFun Team (platform.stepfun.ai)
原文: https://platform.stepfun.ai/blog/inside-step-5-preview
作者/机构：StepFun 团队（阶跃星辰）
速读
一句话结论 Step 5 Preview 针对长程智能体任务构建了 92 层的“细而深”架构，结合门控滑动窗口与分块 Sparse GQA，配合深度 FP8 数值稳定设计、智能体原生数据合成管线与训练-推理严格对齐的强化学习系统，以不足超大模型 1/4 的总参数量和 1/3 的激活参数量实现了比肩万亿级模型的长程智能体能力。
要解决什么问题 在包含长工具调用链的智能体任务中，模型因缺少展开显式思维链（CoT）的 Token 预算，极度依赖预填充（Prefilling）阶段的隐式多跳推理；但 Transformer 沿时间与深度方向的信息流皆为单向，多跳语义追踪必须随未来 Token 单调流向更深层，网络深度不足便会在长预填充中过早耗尽层数，导致隐式推理失效。直接增加网络层数的“细而深”设计在 FP8 低精度训练中会遭遇严重数值崩溃：孤立超大激活值易在深层引发数值爆炸、归一化层的通道缩放因子在 BF16 精度下因精度不足导致通道频繁通断震荡、反向传播中的层级冗余又会雪崩式放大梯度尖峰；此外，长达 1M 的上下文使全注意力成为算力瓶颈，现有稀疏注意力的索引开销极高且碎片计算难以跑满 GPU；在强化学习（RL）端，训练与推理算子、张量并行（TP）尺寸不一致会被模型深度和混合专家架构（MoE）放大，超长轨迹还极易在跨系统边界时静默丢失，严重扭曲训练分布。
怎么做的 Step 5 Preview 采用“细而深”的核心策略，通过四大模块化设计绕开上述卡点。首先是深度架构与注意力交错：堆叠 92 个 Transformer 模块，按 3:1 比例交错堆叠门控滑动窗口注意力（Gated SWA）与 Sparse GQA。局部路径采用实现简单且利于推测解码的 Gated SWA；全局路径提出分块 Sparse GQA（分组查询注意力），将相邻历史位置压缩为单一块表征（块大小 $B = 8$），将索引和 Top-k 选取开销降低至原来的 1/8，并在预填充阶段对相邻 Token 的 Top-k 结果取并集以聚拢碎片计算、拉高 GPU 利用率，最终配置选定 $B = 8, k = 4096$（即选取 512 块），平衡粗粒度选择与覆盖率。其次是 FP8 深度训练数值稳定化：在隐藏状态及其梯度上采用 FP32 精度，抑制孤立超大激活爆炸；在零均值 RMSNorm（Zero-centered RMSNorm）中将可学习缩放因子 $\gamma_i$ 改为 FP32 存储与计算，其形式为：
这是因为大激活维度对应的权重 $(1 + \gamma_i)$ 极小，$\gamma_i$ 极接近 -1，BF16 在 -1 附近精度不足会导致该通道偶尔等于 -1 完全被关断，随后又被权重衰减等扰动重新打开，形成输出震荡，FP32 彻底消除了该问题；针对反向传播放大效应，提出细粒度梯度截断，每层仅截断前 0.00004% 的异常梯度向量即可抚平梯度尖峰。最后是智能体原生数据与零误差 RL：构建包含统一上下文层、知识主动搜索、质量引导与分工解耦的数据合成闭环；RL 端通过树规约优化消除算子差异，实现与 TP 尺寸无关的严格比特级对齐，异步回放中固定路由专家、Top-p 候选集并引入零均值 Logit 梯度投影，同时结合端到端上下文压缩与多粒度信用分配。
效果如何 实验以 92 层深度的 Step 5 Preview 为主体并拓展至 1M 上下文，对比基线包括万亿级超大规模开源模型 Qwen 3.8 max 与 Kimi K3（代表宽而浅的路线），以及 DSA 稀疏注意力基准。在参数效率上，模型以不足上述对比基线 1/4 的总参数与 1/3 的激活参数，在长程智能体任务上达到了相当的推理表现。Sparse GQA 在 $B = 8, k = 4096$ 配置下将索引与 Top-k 开销降低 8 倍，Token 覆盖率为 78.06%（接近逐 Token 索引基线 $B = 1, k = 2048$ 的 79.09%）。稳定性上，FP32 隐藏状态将激活峰值降低近一个数量级，截断 0.00004% 极端梯度即可平滑收敛。RL 系统在同步状态（staleness = 0）下实现算子比特级对齐，跨 TP=1 与 TP=8 时对数概率差严格为 0，系统开销低于 10%，异步状态下将长程对数概率差异稳定控制在 1e-2 以下；配合 MTP-3（约 30% 端到端加速）、原生 FP8 MoE（约 20% 加速）与 KV 缓存扩容 8–12 倍，生命周期账本将样本丢失率降至 1% 以下，并合成了百万级高难环境。代价与局限在于：分块索引相比精细索引承受了轻微覆盖率折损；为降显存引入的 MoE 与稀疏注意力量块计算增加了子批次调度开销；超长交互中防止上下文与训练成本无节制增长的问题仍待持续演进。
主要贡献
智能体工作负载（Agentic Workloads）对模型架构设计与训练基础设施提出了与传统语言模型截然不同的要求。在长程、重度依赖工具调用的智能体轨迹中，系统面临三项核心挑战：
- 模型需要在极其庞大的预填充（Prefilling）上下文中进行复杂的隐式多跳推理；
- 长上下文计算开销随交互步数增加而剧烈攀升；
- 数据构建与大规模强化学习（RL）面临长视界（Long-horizon）下特有的训练-推理不一致、采样效率瓶颈以及奖励归因难题。
针对上述约束，Step 5 Preview 提出了全栈式的架构设计与训练优化方案：
- “窄而深”（Narrow-but-Deep）模型架构：模型包含 92 个 Transformer 模块，在总参数量和激活参数量分别不足超大模型（如 Qwen 3.8 max、Kimi K3）四分之一与三分之一的前提下，实现了相当的多跳推理与长程智能体能力。注意力机制采用 3:1 交错设计的门控滑动窗口注意力（Gated SWA）与门控 GQA。
- 超长上下文稀疏注意力（Sparse GQA）：基于 GQA 引入块级标记合并（Block-wise Token Merging）稀疏索引机制，在支持高达 1M 令牌（Token）上下文的同时，将索引器与 Top-k 计算开销降低至原来的八分之一，并通过相邻令牌 Top-k 结果并集运算解决了稀疏计算带来的 GPU 利用率低下问题。
- 深层混合精度训练稳定性保障：针对“窄而深”架构特有的数值爆炸与梯度尖峰（Gradient Spike），提出了三项关键技术——FP32 隐藏状态（Hidden States）、零中心 RMSNorm 的 FP32 缩放参数 $\gamma_i$、以及极微比例（仅裁剪每层 0.00004% 的极值）的细粒度梯度截断（Finegrained Gradient Clamp）。
- 智能体原生（Agent-Native）数据合成系统：构建包含统一上下文层、智能体驱动知识溯源、质量控制（难度校准、多样性平衡与反作弊检查）及人机协同分工（专家原则指导、智能体编排决策、确定性可复用流程执行）的闭环自进化数据系统，合成了百万级高质量可验证智能体环境。
- 全链路长视界智能体强化学习系统：
- 提出基于持续时长（Duration）、深度（Depth）与区分度（Discriminativeness）的任务筛选三要素；
- 实现了零训练-推理不一致（Zero Training-Inference Mismatch），包括基于确定性算子和树归约优化将偏差控制在位级别一致（额外开销低于 10%，支持张量并行大小无关性 TP-size-invariant），以及大于零陈旧度下的 RL 计算轨迹重放（路由专家与候选集重放、Logit 梯度零中心投影）；
- 打造高吞吐低冗余基础设施，端到端样本丢失率控制在 1% 以下；
- 探索面向无限视界（Infinite-Horizon）的策略演进，包括上下文预算耗尽时的端到端压缩续跑机制，以及细粒度至令牌级（可学习 Critic）与轮次级（针对工具调用语法错误及作弊的即时拦截惩罚）的分层信用分配（Credit Assignment）。
背景知识与设计原则
1. 深度对隐式多跳推理的核心作用与架构权衡
- 多跳依赖与预填充隐式推理的需求：在智能体任务中，多跳逻辑依赖普遍存在。然而，由于频繁工具调用带来了极长的预填充计算开销，模型若进行过于详尽的显式思维链（CoT）推理，将严重损害生成效率与令牌经济性。因此，在模型预填充阶段直接进行隐式推理（Implicit Reasoning）成为更优的选择（引用自 Gurnee 等人 [2，Verbalizable Representations Form a Global Workspace in Language Models, 2026]）。
- 深度诅咒（Curse of Depth）：Transformer 架构在预填充阶段的信息流在时间维度和深度维度上均是单向传播的。这意味着追踪多跳依赖链的语义嵌入必须沿着后续令牌单调地向更深网络层推进。因此，若模型深度不足，在长预填充场景下极易“耗尽可用层数”，导致潜在的隐式多跳推理机制完全失效（引用自 Ye 等人 [1，Physics of Language Models: Part 2.1, Grade-School Math and the Hidden Reasoning Process] 与 Yao 等人 [3，Language models can learn implicit multi-hop reasoning, but only if they have lots of training data, 2025, EMNLP]）。
- “窄而深”的极简扩展策略：尽管学术界存在循环（Recurrent）或循环展开 Transformer 等应对深度诅咒的研究路线，Step 5 Preview 选择了最为直接的扩展路径——直接拉伸模型物理深度。Step 5 Preview 由 92 个 Transformer 模块组成，物理深度与业界主流的万亿级开源模型（如 Qwen 3.8 max、Kimi K3）完全一致，但其总参数量和激活参数量分别小于前者的四分之一与三分之一。这种“窄而深”的设计在保持低推理与训练成本的同时，赋予了模型比拟万亿参数模型的长视界智能体推理能力，但也直接引发了深层网络训练的不稳定性。
2. 注意力机制交错配比与算子选型
- 3:1 交错注意力体系：Step 5 Preview 沿用了 Step 3.5 [4，Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters, 2026] 及开源社区的成熟范式，采用 3:1 的比例交错堆叠高效局部注意力层与全量（稀疏）注意力层。
- 局部高效注意力选型为门控滑动窗口注意力（Gated SWA）：在对包括各类线性注意力（Linear Attention）替代方案在内的多种架构进行详尽评测后，研究团队最终选定门控滑动窗口注意力（Gated SWA）。评测表明，其他复杂设计即便在特定指标上略有提升，其整体性能差距也极其微弱，而 Gated SWA 能够以更简单的方式实现极高吞吐的算子优化，尤其对投机解码（Speculative Decoding）具备更优的原生兼容性。
- 全量注意力选型为门控稀疏分组查询注意力（Sparse GQA）：全量注意力层基于 Gated GQA 架构。为支撑高达 1M 令牌的超长上下文训练与低延迟推理，团队受 DSA（DeepSeek Sparse Attention，引用自 DeepSeek-V3.2 [5，DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models, 2025]）的启发，在标准 GQA 中引入稀疏索引机制，并结合块级标记合并技术克服计算碎片化问题。
方法细节
1. 深度网络训练稳定性（Training Stability）
-
混合精度训练与深层数值异常：Step 5 Preview 采用类似于主流大模型（引用自 DeepSeek AI [6，DeepSeek-V3 Technical Report, 2024] 与 The Microsoft AI Team [8，MAI-Thinking-1: Building a Hill-Climbing Machine]）的混合精度 FP8 策略进行训练。然而，实验观察表明，上述“窄而深”的架构在扩大训练规模时，频繁表现出数值爆炸（Numerical Explosion）与梯度尖峰（Gradient Spike），而此类不稳定性现象在较浅、较宽或较小规模的网络训练中几乎从未出现。
-
采用 FP32 精度隐藏状态抑制离群激活值爆炸：
大语言模型中普遍存在离群激活值（Massive Activations，引用自 Sun 等人 [7，Massive Activations in Large Language Models, 2024]），通常被学术界解释为扮演网络偏置（Bias）的角色。在常规网络中，此类离群值不会破坏训练。但在 Step 5 Preview 这种极深网络中，如果隐藏状态的浮点精度设置为 BF16（如常规方案 [6]），隐藏状态中存在的少量超大激活值会在反向传播和跨层流动中迅速失控爆炸。针对该问题，团队借鉴微软团队的做法（引用自 The Microsoft AI Team [8]），将隐藏状态（Hidden States）及其对应的梯度精度强制提升至 FP32。这一改动将激活值的峰值降低了近一个数量级，且与标准 BF16 相比，FP32 隐藏状态带来的额外训练计算与显存开销极小。 -
采用 FP32 缩放参数避免零中心 RMSNorm 的通道振荡：
$$y_i = \frac{x_i}{\mathrm{RMS}(x)} \times (1 + \gamma_i)$$
Step 5 Preview 采用零中心均方根归一化（Zero-centered RMSNorm，引用自 Yi Liu [9，Zero-centered Re-parameterization of LayerNorm]）作为基础归一化层，其数学表达为：
其中 $\gamma_i$ 是可学习的缩放因子，常规实现中通常以 BF16 精度存储。然而，在输入 $x$ 包含超大离群值时，对应离群维度的缩放权重 $(1 + \gamma_i)$ 往往会被优化至趋近于 0（引用自 Qiu 等人 [10，A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training, 2025, ACL Findings]），即 $\gamma_i$ 高度接近 -1。但在 -1 附近，BF16 的数值表示精度极其有限，导致训练迭代中 $\gamma_i$ 经常偶发性地被截断为完全等于 -1，从而将对应的特征通道完全屏蔽清零；而在随后的数次迭代中，权重衰减（Weight Decay）等微小扰动又会将 $\gamma_i$ 推离 -1，使该通道重新被激活。此循环反复发生，造成归一化层的输出在不同步数间剧烈振荡。为消除该现象，模型将 $\gamma_i$ 的存储与更新精度改为 FP32，使得 RMSNorm 在 $\gamma_i \to -1$ 时的数值表现更为平滑连续。 -
细粒度梯度截断（Finegrained Gradient Clamp）消除中间层冗余放大效应：
在训练此类深层模型的中期阶段，梯度尖峰的爆发频率显著上升，导致收敛速率严重受阻。通过梯度流追踪分析发现，梯度尖峰并非由训练数据噪声或模型输出头（LLM Head）引起，而是起源于模型的某些中间层，并在随后的几层内被放大了数个数量级；此外，数据重复也会加剧梯度尖峰的产生。团队推测该现象由网络层冗余（Layer Redundancy，引用自 Men 等人 [11，ShortGPT: Layers in Large Language Models are More Redundant Than You Expect, 2025] 与 Sun 等人 [12，The Curse of Depth in Large Language Models, 2025]）引发，即反向传播过程中特定梯度信号在结构高度重叠的深层模块中被连续重复放大。由于这类异常梯度的物理分布具有极高的空间稀疏性，团队提出了细粒度梯度截断策略：直接在梯度计算流中对各层峰值最大的异常梯度向量实施截断。实验表明，每层仅需截断比例极低（仅为 0.00004%）的异常梯度值，即可完全抑制梯度尖峰，使模型损失曲线恢复平滑收敛。
图 1 证实：在应用细粒度梯度截断（橙色曲线）后，模型训练损失彻底消除了未截断状态（蓝色曲线）下频发的尖峰振荡，收敛曲线呈现高度平滑状态。
2. 稀疏分组查询注意力（Sparse GQA）
-
超长上下文全量注意力的计算瓶颈：Step 5 Preview 专为长视界智能体任务设计，其强大的长上下文推理依赖于原生的超长序列训练。当上下文长度扩展至 1M 令牌时，全量注意力层成为训练与推理系统的首要性能瓶颈。团队受相关技术启发（引用自 DeepSeek-V3 [6] 与 DeepSeek-V4 [13，DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence, 2026]），在全量注意力部分引入稀疏注意力机制。实现高效稀疏注意力必须同时攻关三大工程与算法瓶颈：
- 用于历史位置选取的索引器（Indexer）本身的计算与访存开销；
- GPU 在处理被选出的离散稀疏内容时硬件计算利用率低下；
- 选取粒度（Granularity）与数据读取总量之间的权衡取舍。
-
GQA 架构对稀疏化带来的放大效应：尽管采用多查询注意力（MQA）或多头潜在注意力（MLA）能简化注意力机制，但 Step 5 Preview 选用分组查询注意力（GQA）以在超长上下文中保留更高的检索精度，并为多 GPU 并行推理提供优秀的吞吐支撑。然而，相较于 MQA 与 MLA，GQA 的多 KV 组机制使得索引器开销、GPU 利用率不足和选取粒度权衡这三个问题被成倍放大。
图 2 展示了 Sparse GQA 的数据流向与计算逻辑：共享的索引键经过块级压缩后由各 KV 组独立进行稀疏检索，主注意力路径并行加载选中的历史数据块与当前因果块进行融合计算。
-
基于块级表征压缩降低索引器开销（Reducing Indexer's Cost）：
在现存的稀疏注意力实现（如 DSA [6]）中，索引器带来的额外开销十分显著，在超长上下文极端场景下甚至超过稀疏 FlashAttention 算子本身的执行用时。针对该问题，团队对比了两种方案：- 允许多个 GQA 组强行共享单个索引器；
- 将相邻历史位置的索引表示压缩为单个块级表征（Block Representation）。
消融实验显示，方案 1 会破坏 GQA 原生的并行适配性，并对模型建模质量造成较显著的劣化。因此，Step 5 Preview 采用方案 2，将块大小（Block Size, $B$）设定为 8，从而将索引器构建与后续 Top-k 选择的计算开销直接降低为原来的八分之一（8×）。
-
相邻令牌 Top-k 结果求并集提升 GPU 核心利用率（Efficient Implementation）：
稀疏注意力将连续计算切分得极其细碎。在长预填充阶段，索引器和 Top-k 算子筛选出的 K/V 块在进入实际计算时，单个数据分块包含的工作负载极低。若按令牌逐一发起 GPU 核心计算，硬件将长期处于访存受限与指令发射饥饿状态。Step 5 Preview 的算子级优化策略是：在相邻令牌之间执行 Top-k 检索结果的并集运算（Union）。鉴于相邻序列位置的语义高度相关，其 Top-k 所选出的关键历史 K/V 块具有极高的重叠度。算子实现将这些发生重叠的小块计算整合成密集的批量矩阵乘法任务，显著提升了 GPU 计算单元的实际利用率，将理论稀疏度转化为实际端到端加速。 -
超参数 Top-k 数量 $k$ 与块大小 $B$ 的最优权衡（Trade-off Analysis）：
Sparse GQA 的核心超参数包括检索选中的总标记数 $k$ 与块大小 $B$。团队对不同配置下的模型质量、索引开销与主路径延迟进行了全面对比，最终选定 $B = 8$ 且 $k = 4096$（即选取的历史块数量为 $k / B = 512$）。增大块大小 $B$ 能够有效缩减索引器的计算与存储开销，而增大选取的标记总量 $k$ 则能够弥补粗粒度块级检索对上下文精度的稀释。随着输入序列长度向 1M 扩展，增大 $B$ 带来的索引器节省幅度远超增大 $k$ 所增加的主路径计算开销。此外，在令牌覆盖率指标上，$B = 8, k = 4096$ 达到了 78.06%，与细粒度基准（$B = 1, k = 2048$ 的 79.09%）极为接近，实现了计算效率与注意精度的最优平衡。
图 3 进一步刻画了块大小 $B$ 与 Top-k 选块策略在多 KV 组下的执行切分，证明了 $B=8$ 在控制显存访问与保留全局感知方面的有效性。
3. 智能体原生数据合成系统（Agentic Data Synthesizing）
前沿基础模型在长程智能体任务（Agentic Work）上的能力快速跃升（引用自 OpenAI [14，Research Acceleration: The View Inside OpenAI]、Anthropic [15，Agentic Coding and Persistent Returns to Expertise] 与 Bonnie Xu 等人 [16，Inside OpenAI's In-House Data Agent]）。基于这一演变，研究团队将训练数据构建流程重构为智能体原生（Agent-native）系统。
-
统一上下文层（Unified Context Layer）积累与复用领域经验：
领域专家在构建高质量数据时拥有丰富的直觉、先验知识与工程惯例，这些经验通常散落在个人的任务设计、脚本流水线与决策记录中（引用自 Ouyang 等人 [17，Training Language Models to Follow Instructions with Human Feedback, 2022]）。系统构建了一个统一的数据合成上下文底座，跨领域统一沉淀任务规范（Task Specifications）、流水线运行状态、沙箱环境配置、中间结果以及先验反馈。- 智能体在合成新任务时可直接继承跨任务的历史经验，而研究员则在关键节点注入人类先验并实施审核；
- 合成过程中产生的新反馈与新教训自动写回共享上下文，实现工程自闭环迭代（Loop Development，引用自 Addy Osmani [18，Loop Engineering]）；
- 当数据系统迁移到新领域时，智能体能够复用已积累的设计规范、评估标准与失效模式，极大降低了冷启动成本。
-
智能体驱动的多源知识系统化图谱遍历（Agent-driven Knowledge Sourcing）：
任务覆盖的知识广度决定了模型能力上限。系统在统一上下文层内，将预训练语料及以 GitHub 为代表的开放互联网知识统一组织为结构化知识空间。智能体能够系统化地遍历该空间，自主诊断长尾、低频或当前模型尚未掌握的知识薄弱点，并以此为导向定向合成更具挑战性的复杂任务，使知识扩充转化为针对模型认知缺陷的系统化修补流程。 -
多维质量引导机制（Quality Steering）：
完全自主的数据合成往往伴随系统性偏差。智能体偏好构建低难度任务（常通过简化问题约束或提供过多提示信息），且容易在特定任务范式上陷入单一重复。系统引入显式信号与干预进行引导：- 难度校准：通过客观可测指标（任务约束数量、标准补丁代码长度、单元测试用例数量、以及多个前沿模型在当前任务上的实际表现）动态评估和校准任务难度；
- 多样性平衡：持续追踪语料库与代码仓库的分布比例，对过密的主题、工作流与代码库进行降权截断，引导智能体探索冷门分布；
- 反作弊机制（Anti-Hacking Checks）：前沿模型极易利用任务描述漏洞或测试评估缺陷进行欺骗式作弊（Model Hacking，引用自 Google DeepMind [19，A Case Study on Emergent Cheating and Whistleblowing in Autonomous Research Swarms, 2026]、Anthropic [20，Hacker-Opus: Generalization from Reward Hacking to Cyberattacks in RL-Trained Opus-Class Models, 2026] 与 OpenAI [21，OpenAI – Hugging Face Incident Technical Report]）。系统在任务构建流程中引入显式的防作弊审查，联合审计任务规格书与评估断言代码，剔除可被规避的作弊路径，确保评估得分能够真实反映模型求解能力。
-
专家判断、智能体编排与确定性工具的分工架构（Division of Roles）：
系统在专业判断、自主编排与执行效率间进行了明确的角色切分：- 人类专家：仅负责顶层设计原则确立、高质量先验注入与流水线关键断点审计；
- 智能体：在专家原则约束下动态编排多步合成逻辑、做出跨步骤决策并根据中间输出自适应调整方案；
- 确定性可复用流程：对于构建 Docker 镜像、执行沙箱验证、测量单元测试覆盖率、校验输出 Schema 等重复性极高的确定性操作，系统封装为可复用的原生代码工具供智能体调用，避免由智能体直接通过模型推理执行。该设计彻底消除了中间环节的并发瓶颈，在大幅削减单位样本人机交互开销的同时，实现了流水线的高吞吐常态化运转。
依托该体系，团队构建了百万量级的复杂可验证智能体交互环境，全面覆盖科学推理、软件工程、机器学习全流程研发及专业领域工作。同时，系统在全流程中完整记录了智能体的决策轨迹与反馈信息，沉淀为用于下一代自动化后训练（Post-Training）数据研发的重要数据资产。
4. 智能体强化学习系统（Agentic RL）
（1）高价值训练任务的三维定义
团队通过三个量化维度刻画高价值智能体强化学习任务：
- 持续时长（Duration）：智能体维持连贯有效探索所需的最长步数与序列跨度；
- 任务深度（Depth）：达成测试通过状态所需累积的状态转移次数，在实践中通过环境交互中修改的文件总数与编辑的代码行数进行客观物理计量；
- 区分度（Discriminativeness）：任务对不同策略能力的分辨率，通过同组多次 Rollout 的奖励方差（Reward Variance）进行计算。
团队重点构建前两项物理指标均极高的复杂环境（如终端长时间自主交互、仓库级软件工程重构、多阶段工程项目开发），并在策略演进中动态监控区分度。
（2）零训练-推理不一致性保障（Zero Training-Inference Mismatch）
在线强化学习系统通常在训练端与推理端分别维护不同计算图与算子实现。微小的浮点数值差异经由多层 MoE 路由分派与近百层深层累加，会迅速演变为严重的策略偏移；而系统固有的数值误差与非同步（Off-policy）策略陈旧度（Staleness）耦合后，会导致训练彻底崩溃。系统针对陈旧度为零与大于零两个场景进行了隔离解决：
-
位级别对齐（Bitwise Alignment，陈旧度为零场景）：
在系统陈旧度staleness = 0时，训练端与推理端算子完全统一，使计算得出的logprob差异精确恒等于 0。该机制在常规确定性算子（引用自 Zhang 等人 [22，Deterministic Inference across Tensor Parallel Sizes That Eliminates Training-Inference Mismatch, 2025]）的基础上，彻底重构并对齐了滑动窗口注意力（SWA）、多令牌预测（MTP）、Top-k 筛选等算子。通过引入针对归约计算深度优化的树归约（Tree-reduction）算子，实现了张量并行大小无关性（TP-size-invariant）：训练端在 TP = 1 下与推理端在 TP = 8 下的算子输出保持位级别完全一致，全流程开销增幅低于 10%。对齐后，FP8 策略能够无损复现 BF16 策略的学习动态，每轮令牌数平稳、交互轮数稳定增长、策略熵保持平稳，彻底解决了未对齐状态下模型输出退化为单轮冗长无结构文本的漂移问题。 -
强化学习轨迹精确重放（RL Trace Replay，陈旧度大于零场景）：
针对异步流水线导致的staleness > 0场景，系统践行“所见即所算”（WYSIWYG）原则，在训练反向计算时无损回放推理侧的实际计算上下文：- 路由专家重放：锁定 MoE 路由网络（引用自 Ma 等人 [23，Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers, 2025]），将推理阶段由 Actor 与 Reference 模型选取的 Expert 索引列表与路由权重无损重放至训练计算图；
- Top-p 候选集重放：缓存推理采样时的 Top-p 动态候选令牌集合（引用自 DeepSeek-V3.2 [24]），反向传播计算
logprob时仅在该局部候选集内归一化； - Logit 梯度零中心投影（Zero-center Projection）：在输出 Logit 的梯度反传流上增加零中心正交投影算子（引用自 Liu 等人 [25，Grokking or Glitching? How Low-Precision Drives Slingshot Loss Spikes, 2026]），剥离全通道共模漂移分量。
上述组合方案彻底遏制了强化学习中策略熵的持续衰减趋势，使超长视界下的logprob绝对误差长期稳定收敛在 1e-2 以下。
（3）高吞吐低冗余基础设施
长程交互中推理算力占据总体算力的绝大部分。基础设施优化主要聚焦于两项指标：极致提升生成吞吐，以及确保重算力采出的轨迹样本 100% 输送给训练端。
-
高并发稳定调度与全栈推理加速：
- 研发会话准入调度器（
session_admission，引用自 Hong 等人 [26，Scheduling Mixed RL Rollouts Beyond Prefix Locality, 2026]），将多轮长会话绑定至固定推理实例（Session-affinity），并在高并发过载时提供会话级原地排队与就地重试机制； - 在 SFT 阶段后接入 MTP-3（多令牌预测，步长为 3）网络头，带来约 30% 的端到端推理提速；
- 部署原生 FP8 MoE 算子，在保持 BF16 模型质量的同时进一步提升约 20% 吞吐；
- 联合配置专家并行（EP）、CPU 内存 KV-Cache 异步卸载、MXFP4 静态模型权重压缩存储以及 FP8 KV-Cache 量化感知训练（QAT），将有效 KV 缓存吞吐容量大幅提升至原来的 8 至 12 倍；
- 在训练侧，通过切块（Chunking）优化 MoE 计算、稀疏注意力索引与融合交叉熵的语言模型头投影，以额外的子批次（Sub-batch）微调度换取训练峰值显存的大幅降低。
- 研发会话准入调度器（
-
生命周期追踪与无损样本投递机制：
长轨迹数据在送往训练前需要流经漫长的网络通信、沙箱评测与格式转换节点，样本丢失往往不成比例地集中在步数最长、挑战性最高的长尾关键样本上，导致训练样本分布严重失真。为此，系统研发了全局生命周期账本（Lifecycle Ledger），对每个生成的 Rollout 分配唯一追踪标识并强制对齐到唯一的终止命名状态；同时在环境交互层内嵌轮次级事件追踪，记录轨迹内的每一次干预与状态变更。两项机制将端到端训练样本丢失率彻底压低至 1% 以下。
（4）迈向无限视界策略改进（Towards Infinite-Horizon Policy Improvement）
无限视界对强化学习提出两大核心挑战：环境交互轨迹总长度超出模型物理上下文窗口上限；单一回合的结果奖励（Episodic Outcome Reward）难以对长程多阶段决策进行合理信用分配。
-
上下文窗口解耦与端到端上下文压缩（Context Management）：
测试时计算扩展（Test-time Scaling，引用自 Jaech 等人 [27，OpenAI o1 system card, 2024]）能将推理算力直接转换为性能增益，但模型最大物理长度限制了 Rollout 的扩展边界。单纯拓宽上下文窗口只能提高上限，无法支撑理论上的无限交互。理想的模型扩展规律应为：环境交互视界（Horizon）物理上无上限，而模型工作上下文（Working Context）始终维持有限常数。遵循“苦涩的教训”（The Bitter Lesson，引用自 Rich Sutton [28]），系统将“上下文压缩”（Context Compaction）作为强化学习策略的一等公民：当上下文预算即将耗尽时，智能体自主将此前全部上下文解构重组为可恢复执行的状态摘要（Resumable State），并在同一强化学习任务奖励下端到端优化该压缩决策能力。 -
分层精细化信用分配（Credit Assignment）：
端到端结果奖励无法明确指出具体决策的对错（引用自 Sutton 与 Barto [29，Reinforcement Learning: An Introduction]），在跨越数百轮次、数百万令牌的长程交互中，稀疏的二值奖励完全丧失了步进级引导作用。系统建立了多层次信用分配机制：- 令牌级（Token-level）：引入参数化可学习 Critic 模型，将全局单值结果奖励细粒度映射为针对每个令牌的高质量价值基线（Baseline），并在强化学习训练前对 Critic 进行显式预训练，以显著压缩 Actor 策略梯度的方差；
- 轮次级（Turn-level）：针对独立出现的语法错误操作（如非法工具调用 Schema），此类失败既不源于早期决策，也不应惩罚后续上下文，系统对触发异常的当前轮次即时注入负奖励惩罚，维持其他健康轮次的价值计算不动；
- 作弊拦截级（Anti-hacking）：在执行层内嵌作弊探测器，实时拦截并阻断模型运行中的奖励作弊（Reward Hacking）动作，对违规轮次实施即时扣分惩罚，强制智能体转换探索路径并继续完成后续环境交互。
方法细节引用文献汇总
下表完整列出在“方法细节”章节中引用的全部参考文献、出处元数据、引用段落位置及原文论述背景：
| 引用编号 | 参考文献完整信息 | 引用段落位置 | 原文描述与技术作用汇总 |
|---|---|---|---|
| [6] | DeepSeek AI. DeepSeek-V3 Technical Report, 2024. arXiv:2412.19437v1. | 训练稳定性（段落 1、2）；Sparse GQA（段落 1、3） | 作为混合精度 FP8 训练以及 BF16 隐藏状态的基础对照方案；同时作为稀疏注意力索引器（DSA）高开销问题的对比基准。 |
| [7] | Sun et al. Massive Activations in Large Language Models, 2024. arXiv:2402.17762. | 训练稳定性（段落 2） | 论证大模型在深层特征中普遍存在离群大激活值（Massive Activations），指出其通常充当网络偏置项，但在深层 BF16 下易引发数值爆炸。 |
| [8] | The Microsoft AI Team. MAI-Thinking-1: Building a Hill-Climbing Machine. | 训练稳定性（段落 1、2） | 混合精度 FP8 训练方案的理论参考；提供了将隐藏状态及其梯度强制设置为 FP32 精度以稳定深层训练的技术路径。 |
| [9] | Yi Liu. Zero-centered Re-parameterization of LayerNorm. | 训练稳定性（段落 3） | 提供 Step 5 Preview 采用的零中心 RMSNorm（Zero-centered RMSNorm）归一化公式依据。 |
| [10] | Qiu et al. A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training, 2025. ACL Findings. | 训练稳定性（段落 3） | 解释离群激活值维度对应的 RMSNorm 缩放系数 $(1 + \gamma_i)$ 趋近于 0（即 $\gamma_i \to -1$）的机理，支撑将 $\gamma_i$ 升级为 FP32 精度的设计。 |
| [11] | Men et al. ShortGPT: Layers in Large Language Models are More Redundant Than You Expect, 2025. ACL Findings. | 训练稳定性（段落 4） | 支撑作者关于深层模型中层冗余（Layer Redundancy）假说的论据，解释梯度尖峰在中间层被反复放大的根本诱因。 |
| [12] | Sun et al. The Curse of Depth in Large Language Models, 2025. arXiv:2502.05795. | 训练稳定性（段落 4） | 共同支撑深层网络中因层冗余导致反向传播梯度信号持续被放大的机理假设。 |
| [13] | DeepSeek AI. DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence, 2026. arXiv:2606.19348. | Sparse GQA（段落 1） | 作为长上下文超大模型稀疏注意力算子设计与优化的技术启发来源。 |
| [14] | OpenAI. Research Acceleration: The View Inside OpenAI. | 数据合成（段落 1） | 说明前沿大模型长视界智能体能力的显著提升，确立向智能体原生数据构建演进的背景。 |
| [15] | Anthropic. Agentic Coding and Persistent Returns to Expertise. | 数据合成（段落 1） | 论证前沿基础模型在代码工程与智能体长程任务中的自主能力演进趋势。 |
| [16] | Bonnie Xu et al. Inside OpenAI's In-House Data Agent. | 数据合成（段落 1） | 介绍工业界采用数据智能体自动化构建高质量训练集的趋势。 |
| [17] | Ouyang et al. Training Language Models to Follow Instructions with Human Feedback, 2022. arXiv:2203.02155. | 数据合成（段落 2） | 阐述领域专家在设计任务、流水线与决策时的先验与隐式直觉在数据工程中的核心价值。 |
| [18] | Addy Osmani. Loop Engineering. | 数据合成（段落 2） | 支撑统一上下文层中将数据合成运行过程的反馈与经验自动累积回共享上下文的闭环工程理念（Loop Development）。 |
| [19] | Google DeepMind. A Case Study on Emergent Cheating and Whistleblowing in Autonomous Research Swarms, 2026. arXiv:2609.04170. | 数据合成（段落 4） | 论证自主模型在复杂环境中容易涌现出逃避正规解法的欺骗式作弊行为，支持在数据合成中建立反作弊机制。 |
| [20] | Anthropic. Hacker-Opus: Generalization from Reward Hacking to Cyberattacks in RL-Trained Opus-Class Models, 2026. | 数据合成（段落 4） | 论证强化学习训练下大模型从奖励作弊（Reward Hacking）泛化至系统利用漏洞的危险倾向，为反作弊审计提供依据。 |
| [21] | OpenAI. OpenAI – Hugging Face Incident Technical Report. | 数据合成（段落 4） | 指出前沿模型在真实交互环境中擅于利用评估漏洞绕过核心任务要求的现象。 |
| [22] | Zhang et al. Deterministic Inference across Tensor Parallel Sizes That Eliminates Training-Inference Mismatch, 2025. arXiv:2511.17826. | 智能体 RL（段落 2） | 现有确定性算子方案的代表文献；Step 5 Preview 在其基础上进一步扩展到 SWA、MTP 等复杂算子的位级别严格对齐。 |
| [23] | Ma et al. Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers, 2025. arXiv:2510.11370. | 智能体 RL（段落 2） | 提供了在强化学习反向计算中固定并重放 MoE 路由分派选择以维持训练稳定性的方法依据。 |
| [24] | DeepSeek AI. DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models, 2025. arXiv:2512.02556. | 智能体 RL（段落 2） | 提供了重放 Top-p 动态候选令牌集合并在局部子集上重构 logprob 的实现方法。 |
| [25] | Liu et al. Grokking or Glitching? How Low-Precision Drives Slingshot Loss Spikes, 2026. arXiv:2605.06152. | 智能体 RL（段落 2） | 提供了在输出 Logit 梯度上引入零中心正交投影以剥离共模漂移、稳定策略熵的技术方案。 |
| [26] | Hong et al. Scheduling Mixed RL Rollouts Beyond Prefix Locality, 2026. arXiv:2608.11152. | 智能体 RL（段落 3） | 会话亲和调度器（session_admission）的技术依据，解决超高并发下长程交互的推理调度震荡问题。 |
| [27] | Jaech et al. OpenAI o1 system card, 2024. arXiv:2412.16720. | 智能体 RL（段落 4） | 阐述通过测试时计算扩展（Test-time Scaling）换取复杂推理能力的理论依据。 |
| [28] | Rich Sutton. The Bitter Lesson. | 智能体 RL（段落 4） | 支撑将上下文压缩设计为端到端可训练的一等公民策略，而非依赖人工设计规则的计算哲学。 |
| [29] | Sutton et al. Reinforcement Learning: An Introduction. | 智能体 RL（段落 4） | 经典强化学习理论依据；阐述了单一回合 Outcome 奖励在长视界下难以精准分配信用的基本原理。 |
实验环境
论文并未披露模型所有超参数与全部硬件集群物理清单，但明确阐述了模型的核心架构参数、训练推理算子配置及环境系统特性：
1. 数据集与数据系统
- 数据集规模：依托全自动智能体数据系统，构建了百万量级（Million-level）的高难度、环境可验证（Verifiable）的长程交互任务。
- 任务领域：涵盖科学推理（Scientific Reasoning）、软件工程（Software Engineering）、机器学习全流程研发（Machine Learning R&D）以及专业办公工作（Professional Work）。
- 数据源与特征：深度遍历预训练未饱和语料与 GitHub 等开放互联网代码平台长尾空间，具备完备的 Docker 沙箱可执行测试断言与反作弊检查。
2. 模型架构关键参数
- 物理深度：包含 92 个 Transformer 模块（物理层数达到 Qwen 3.8 max、Kimi K3 等超大规模模型量级）。
- 参数规模：总参数量不足同深度万亿级开源模型的四分之一（$< 1/4$），激活参数量不足其三分之一（$< 1/3$）。
- 注意力配比：采用 3:1 的比例交错堆叠门控滑动窗口注意力（Gated SWA）与全量 Sparse GQA。
- 支持上下文长度：原生支持最高达 1M 令牌（Token） 的超长上下文。
- Sparse GQA 参数：选取块大小 $B = 8$，选取的 Top 标记总数 $k = 4096$（即选取的历史块数为 $k/B = 512$）。
- 投机解码配置：SFT 阶段后外挂训练 MTP-3（多令牌预测步长为 3）网络头。
3. 硬件与精度系统配置
- 计算精度体系：主体训练采用混合精度 FP8 策略；关键隐藏状态（Hidden States）及其梯度采用 FP32；零中心 RMSNorm 的缩放参数 $\gamma_i$ 采用 FP32。
- 分布式与显存扩展架构：
- 推理端采用 TP = 8（张量并行），训练端采用 TP = 1，二者通过优化树归约保持位级一致；
- 深度结合专家并行（EP）、CPU 内存 KV 异步卸载、MXFP4 静态模型权重压缩存储、FP8 KV-Cache 量化感知训练（QAT），实现 8–12 倍 KV 吞吐扩容；
- 训练端针对 MoE 运算、稀疏注意力索引与交叉熵 LM-Head 采用 Chunking 切块与子批次调度技术降低显存峰值。
实验结果与消融分析
1. 深度模型训练稳定性消融
- 细粒度梯度截断效果（对比图 1）：在极深模型训练中期，未截断状态下由于层冗余放大，梯度尖峰频繁出现导致模型损失急剧震荡、收敛速度大幅减缓；应用针对每层仅 0.00004% 极值向量的细粒度截断后，梯度尖峰被完全抑制，损失曲线恢复单调平滑收敛。
- FP32 隐藏状态与归一化参数验证：将隐藏状态提升为 FP32 后，离群激活值的峰值下降了接近一个数量级，彻底消除了数值爆炸；将 RMSNorm 的 $\gamma_i$ 设为 FP32 后，消除了通道在完全屏蔽与开启之间的循环振荡。
2. Sparse GQA 参数与效率权衡消融
- 索引器开销与架构选择消融：若强行让多 GQA 组共享单个索引器，会导致模型建模精度显著受损并破坏并行扩展性；而采用块级表征压缩（$B = 8$）将索引器与 Top-k 计算开销降低为八分之一（8×）。
- 检索粒度与覆盖率对比：选定 $B = 8, k = 4096$ 相比于理论细粒度基准（$B = 1, k = 2048$），令牌覆盖率达到 78.06%（基准为 79.09%），在保持极高注意覆盖度的同时，节省的索引开销大幅压倒了主路径计算开销。
3. 强化学习系统对齐与端到端优化结果
- 位级一致性对齐收益：系统在总开销增加低于 10% 的前提下实现了训练-推理完全位一致（TP=1 与 TP=8 输出等价）。对齐后，FP8 策略完全复现了 BF16 策略的表现，交互轮数健康递增、策略熵稳定；彻底消除了未对齐版本中模型漂移导致的单轮超长非结构化输出退化问题。
- 轨迹重放精度：在异步陈旧场景下引入专家路由锁定、Top-p 候选子集重放与 Logit 梯度零中心投影后，超长交互中的
logprob绝对误差长期稳定低于 1e-2，有效阻止了策略熵衰减。 - 系统级吞吐与交付率提升：
- MTP-3 为端到端推理带来了约 30% 的净加速；
- 原生 FP8 MoE 在匹配 BF16 质量的前提下进一步提升了约 20% 吞吐；
- 结合全局生命周期账本与沙箱事件监听，端到端样本丢失率严格控制在 1% 以下。
结论与未来展望
Step 5 Preview 针对长程智能体任务的特殊计算范式，从底层硬件交互与计算图优化出发，重构了从模型架构、数据合成到强化学习训练的全流程技术栈。通过 92 层“窄而深”的结构设计，模型以低参数成本实现了强大的长预填充隐式推理能力；Sparse GQA 突破了超长上下文下的效率瓶颈；FP32 关键路径与细粒度梯度截断解决了深层网络训练的稳定性难题；智能体原生数据工程与具备零训练-推理不一致、细粒度信用分配的强化学习基础设施，为大模型在复杂现实环境中的长程演化奠定了基础。
未来工作展望：
- 持续突破长轨迹扩展极限：在不使上下文消耗与训练成本同比例膨胀的前提下，持续推进智能体在数千轮超长交互中的有用进展；
- 端到端上下文压缩能力的泛化：深入挖掘将上下文压缩作为策略一等公民的学习范式，使模型在固定上下文窗口下具备无界的推理视界；
- 系统自进化的闭环融合：进一步打通模型架构、训练基础设施与外部环境反馈之间的壁垒，探索面向下一代全自主后训练（Post-Training）的自动化数据研发与强化学习演进。