MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement

发表时间: 2026-10 · arXiv:2610.11959 (Xiaomi)

原文: https://arxiv.org/abs/2610.11959

作者/机构：LLM-Core Xiaomi（小米大模型核心团队）

速读

一句话结论 小米推出了全模态混合专家架构大模型 MiMo-V2.6 系列，通过联合扩展强化学习算力（单步消耗 2.7B–3.7B tokens）、多领域环境多样性以及组级智能体判分（Groupwise Agentic Grading），使模型在长程智能体任务上达到了对标前沿模型的表现。

要解决什么问题 原有大模型智能体强化学习（RL）做法存在三项主要卡点。第一是基础设施与吞吐瓶颈：多轮长程交互上下文可达 1M，rollout 与 grading 的长尾效应使得 GPU 算力无法被充分利用，大批次下的通信开销与单节点内存容易被多模态及路由载荷撑爆，且训练与推理引擎间数值不一致易引发 MoE 专家路由偏离；第二是探索空间与环境限制：仅靠单一工具框架（Harness）训练容易产生过拟合，且缺乏对真实软件、网络安全及开放式视觉任务的高鲁棒性自动化判定，传统二元奖励容易诱发模型作弊（Reward Hacking），如直接通过网络或历史记录复制已知修复；第三是信用分配不准：传统二元测试结果对所有通过用例赋予相同奖励，导致模型倾向于生成膨胀、防御性强且吞吐低劣的代码，引发输出长度和交互轮次无节制膨胀。

怎么做的 核心思路是在超大批次异步 RL 框架下，将单纯基于二元测试结果的监督转变为精细化的组级智能体对比，并通过软硬件协同解耦保障系统稳定性。首先，在模型与优化器上，采用滑动窗口注意力与全局注意力交错的 Hybrid-SWA 架构，并在 RL 阶段冻结 MoE 的 Router 参数以消除专家负载坍塌，主权重使用 Muown 优化器进行大批次更新。其次，在环境与框架层，构建覆盖代码、通用工作流、视觉与网安的多领域沙箱，引入轻量化 Mini-harness 解耦复杂生产工作流，前置采用 Hack Agent 对环境进行漏油清洗与对抗审计。针对二元奖励不足的问题，提出组级智能体判分：在高质量子集上使用离线生成的细则乘算原始奖励：

$$R_i = R_i^{\mathrm{test}} \cdot S_i^{\mathrm{sol}} \cdot S_i^{\mathrm{beh}}$$

在其余任务上引入组级优势重分配（GAR），在线对比同组内各通过解法，削弱低质解法并重分配给优质解法：

$$\begin{aligned} \lambda = \frac{\sum_{j \in \mathcal{P}} A_j}{\sum_{j \in \mathcal{P}} f_j A_j}, \qquad A_i' = \begin{cases} \lambda f_i A_i, & i \in \mathcal{P} \\ A_i, & i \notin \mathcal{P} \end{cases} \end{aligned}$$
结合组相对长度惩罚与片断级行为惩罚，有效抑制 token 数量暴涨。系统工程上，采用控制面与数据面完全分离架构（Payload Porter），中间态存入分布式 KV 存储；Sample Mixer 通过自适应并发与缺口纠正调度维持各任务采样配比；推理侧 Context Cache 支持多轮 KV 状态分层落盘，结合 Rollout Routing Replay（R3）与 Top-$p$ 候选集回放保障训推严格一致。

效果如何 实验涵盖千亿及万亿级 MoE 模型：MiMo-V2.6-Pro（1.02T 总参数 / 42B 激活参数，RL 投入 260 万美元）和 MiMo-V2.6-Flash（310B 总参数 / 15B 激活参数，RL 投入 90 万美元），单步训练批次达 1,568 个 Prompt（组大小 16，单步 25K 序列）。在对比 Claude 3.5 Sonnet、Opus 3.5、GPT-5.2 等前沿模型与上一代 MiMo-V2.5 Pro 时表现强劲：在长程软件工程基准 DeepSWE v1.1 上，Pro 从初始的 58.4 稳步提升至 72.6（终测 71.9），大幅超越 MiMo-V2.5 Pro（19.0）并逼近 Claude Opus（74.0）；通用工具基准 AutomationBench v1.0.6 上，Pro 达到 53.1，超越所有对比基线；网安 CyberGym 达到 94.0。在多 Harness 泛化测试中，3 个未见过的外部框架（codex、claude code、mini-swe-agent）平均 Pass@1 从 50% 提升至 66%。此外，开源的 9B 蒸馏模型也在单/多 Harness 实验中全面超越 Qwen3.5-9B 基线。局限在于超大长程批次下仍存在 MoE 专家并行的微批次 OOM、多卡宿主机内存耗尽（CPU OOM）以及部分 Harness 生成长度估算偏差导致的显存排队失效风险。

1. 主要贡献

递归自我改进（Recursive self-improvement, RSI）设想模型能够通过持续的探索与反馈来扩展自身能力，这需要将模型与交互式环境结合成为智能体（Agent），以提供多步轨迹和反馈信号。在复杂的智能体任务上扩展强化学习（RL）为此开辟了一条具体路径，但面临两大核心挑战：

  1. 基础模型的强化学习需要合适的模型架构以及为智能体提供足够丰富的探索空间；
  2. 扩展强化学习需要在基础设施、交互环境和评分器（Grader）方面提供复杂的系统级解决方案。

为了弥合上述差距，本文推出了全模态基础模型系列 MiMo-V2.6，包含 MiMo-V2.6-Pro（总参数量 1.02T、激活参数量 42B 的混合专家 MoE 模型）和 MiMo-V2.6-Flash（总参数量 310B、激活参数量 15B 的 MoE 模型）。其核心研究目标与创新贡献如下：

  • 高效混合架构与面向智能体的预训练/中期训练基座：

    • 为以低计算成本保留全局上下文，构建了交错局部滑动窗口注意力（SWA）与全局注意力（GA）的混合稀疏 MoE Transformer 骨干网络，并配备轻量级视觉编码器和音频编码器。
    • 通过大规模预训练赋予模型跨越文本、音频和视频的多模态理解能力，并引入以智能体为中心的中期训练（Mid-training）阶段（上下文扩展至 1M，引入 Muown 优化器与 MXFP4 量化感知训练），极大地扩展了智能体任务的探索空间。

  • 三维协同设计的强化学习算力扩展框架：

    • 扩展批大小与训练吞吐量：采用完全异步训练，在高达 1M 的上下文长度下，每步处理 1,568 个样本（25K 条长程 rollout 序列）和 $2.7\sim 3.7\text{B}$ 个 token。
    • 扩展环境与智能体挂载框架（Harness）的多样性与复杂度：构建涵盖代码（Code）、通用工作流（General）、视觉（Visual）和网络安全（Cybersecurity）领域的合成与筛选管线；提出使用解耦的轻量级 mini-harness 进行多框架混合训练以提升跨框架泛化能力；建立涵盖中期训练对齐、环境清理、对抗性 Hack Agent 探测和在线审计的多层奖励黑客（Reward Hacking）防御体系。
    • 扩展评分器算力（Groupwise Agentic Grading）：超越二元测试用例，提出离线组内奖励合成（Groupwise Reward Synthesis, GRS）和在线组内优势重分配（Groupwise Advantage Redistribution, GAR），结合组内相对长度惩罚与片段级行为惩罚，提供细粒度的奖励信号，引导模型生成更准确、更简短且更易维护的解决方案。

  • 面向混合任务智能体 RL 的高性能基础设施：

    • 设计了四层统一轨迹表示（Sample-Sequence-Context-Segment）和惩罚模块（Penalty Module）以提炼学习信号；
    • 实现多租户持久化 Harness Pool 以维持跨框架高并发交互，并通过 Payload Porter 将控制面与数据面解耦，在分布式存储中缓冲包含路由和多模态负载的海量轨迹；
    • 提出 Sample Mixer（结合动态采样与部分 rollout），通过自适应并发、亏空修正调度、预测性派发和样本回放，稳定多源异构任务在训练批次中的样本分布；
    • 通过对专家权重应用量化-反量化（QDQ）、Rollout 路由重放（R3）以及 top-$p$ 采样候选集重放，严格对齐训练引擎（Megatron-LM）与推理引擎（SGLang），并结合分层上下文缓存和 DFlash 投机解码加速 RL 负载。

  • 全栈开源促进社区可复现研究：

    • 开源了涵盖 RL 开发栈核心组件的完整套件，包括轻量级蒸馏模型 MiMo-V2.6-Distill-Qwen-9B、跨多个领域的约 7k 个带验证器的精选任务环境、端到端 RL 训练框架以及可组合的 mini-harness。
Figure 1 在 RL 训练过程中 MiMo-V2.6-Pro 和 MiMo-V2.6-Flash 在各项任务上的基准测试得分。
Figure 1 在 RL 训练过程中 MiMo-V2.6-Pro 和 MiMo-V2.6-Flash 在各项任务上的基准测试得分。

如图 1 所示，扩展 RL 算力在可验证任务（如代码）和较难验证任务（如网页开发）上均显著释放了模型潜力，MiMo-V2.6-Pro 和 MiMo-V2.6-Flash 在 DeepSWE（Huang et al., 2026）、AutomationBench（Shepard and Salimans, 2026）、MiMo Visual Coding 和 MiMo Cyber Bench 上的性能随训练步数增加而稳步提升。

2. 背景知识、架构与预训练基础

2.1 整体架构（Overall Architecture）

多模态融合的混合 Transformer 骨干网络架构。如图 2 所示，MiMo-V2.6 遵循标准的 Transformer【Vaswani et al., Attention is all you need, 2017, NeurIPS, https://proceedings.neurips.cc/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html】骨干网络设计，并通过轻量级投影器（Projector）连接视觉编码器和音频编码器以实现增强 。

混合注意力块与多 Token 预测模块设计。MiMo-V2.6 的文本骨干网络主要由交错排列局部滑动窗口注意力（Local Sliding Window Attention, SWA）和全局注意力（Global Attention, GA）的重复混合块（Hybrid blocks）组成。它堆叠了 $M$ 个混合块，每个混合块的结构为 $N$ 个连续的 SWA 块后跟一个 GA 块。唯一的例外是第一个 Transformer 块，它使用带有稠密前馈网络（Dense FFN）的全局注意力，以稳定早期的表征学习。MiMo-V2.6 中使用的滑动窗口大小 $W$ 为 128。SWA 块和 GA 块均利用不带共享专家（without shared experts）的稀疏 MoE FFN。此外，MiMo-V2.6 还集成了基于 SWA 和稠密 FFN 的多 Token 预测（MTP）模块【Gloeckle et al., Better & faster large language models via multi-token prediction, 2024, ICML, https://openreview.net/forum?id=pEWAcejiU2 ；Liu et al., Deepseek-v3 technical report, 2024, arXiv, https://arxiv.org/abs/2412.19437 ；Xia et al., Mimo: Unlocking the reasoning potential of language model–from pretraining to posttraining, 2025, arXiv, https://arxiv.org/abs/2505.07608】以提升预训练期间的模型性能。关于文本骨干架构的更全面描述可参见 【Core Team et al., MiMo-V2-Flash technical report, 2026, arXiv, https://arxiv.org/abs/2601.02780】。模型的详细配置如 表 1 所示。

Figure 2 MiMo-V2.6 的整体架构。音频、视觉和文本输入被映射到一个共享的 token 序列中，并由 MiMo Hybrid-SWA 骨干网络进行处理，随后接入语言建模头（LM Head）和多 token 预测（MTP）块。
Figure 2 MiMo-V2.6 的整体架构。音频、视觉和文本输入被映射到一个共享的 token 序列中，并由 MiMo Hybrid-SWA 骨干网络进行处理，随后接入语言建模头（LM Head）和多 token 预测（MTP）块。

表 1：MiMo-V2.6-Flash 和 MiMo-V2.6-Pro 的详细模型配置（注：主块层数不包含 MTP 模块；编码器参数量包含输入嵌入但不包含投影器；音频分词器编码器参数量不包含 EMA 码本）：

模块 (Block) 配置项 (Configuration) MiMo-V2.6-Flash MiMo-V2.6-Pro
Main Block (主块) 层数 (Total / SWA / GA) 48 / 39 / 9 70 / 60 / 10
隐藏层维度 (Hidden Size) 4096 6144
SWA 注意力头数 (Q / KV) 64 / 8 128 / 8
滑动窗口大小 (Sliding Window Size) 128 128
GA 注意力头数 (Q / KV) 64 / 4 128 / 8
头维度 (Head Dimensions, QK / V) 192 / 128 192 / 128
专家数量 (Total / Activated) 256 / 8 384 / 8
总参数量 (# Total Parameters) 310B 1.02T
激活参数量 (# Active Parameters) 15B 42B
ViT (视觉编码器) 层数 (Total / SWA / GA) 28 / 24 / 4 28 / 24 / 4
隐藏层维度 (Hidden Size) 1280 1280
注意力头数 (Q / KV) 32 / 8 32 / 8
头维度 (Head Dimension) 64 64
Patch 大小 ($T \times H \times W$) $2 \times 16 \times 16$ $2 \times 16 \times 16$
滑动窗口大小 (Left / Right) 64 / 64 64 / 64
空间合并大小 (Spatial Merge Size) $2 \times 2$ $2 \times 2$
参数量 (# Parameters) 681M 681M
Audio Tokenizer Encoder 层数 (Total / SWA / GA) 24 / 12 / 12 24 / 12 / 12
隐藏层维度 (Hidden Size) 1024 1024
注意力头数 (Q / KV) 16 / 16 16 / 16
滑动窗口大小 (Sliding Window Size) 128 128
码本数量 (Codebooks) 20 20
参数量 (# Parameters) 308M 308M
Audio Patch Encoder 层数 (Layers) 6 6
隐藏层维度 (Hidden Size) 1024 1024
注意力头数 (Q / KV) 16 / 16 16 / 16
头维度 (Head Dimension) 64 64
注意力组大小 (Attention Group Size) 4 4
参数量 (# Parameters) 127M 127M
Speculative Decoder (MTP) 层数 (Total / SWA / GA) 5 / 5 / 0 5 / 5 / 0
隐藏层维度 (Hidden Size) 4096 6144
SWA 注意力头数 (Q / KV) 64 / 8 128 / 8
滑动窗口大小 (Sliding Window Size) 1024 1024
GA 注意力头数 (Q / KV) 64 / 4 128 / 8
头维度 (Head Dimensions, QK / V) 128 / 128 128 / 128

2.2 视觉编码器（MiMo-ViT）

混合注意力架构与从头预训练配方。MiMo-ViT 采用了混合注意力架构。它将 MiMo-VL-7B【Yue et al., Mimo-vl technical report, 2025, arXiv, https://arxiv.org/abs/2506.03569】中的固定、非重叠窗口注意力替换为汇聚增强的滑动窗口注意力 （sink-augmented SWA），从而允许信息在连续层之间跨越窗口边界进行交换，并缓解了视觉碎片化问题。局部 SWA 层在行优先（row-major）和列优先（column-major）的 token 序列化之间交替进行，以支持信息沿着两个空间轴传播。最后，周期性地插入 GA 层以直接聚合全局上下文。这种设计在大幅降低高分辨率视觉处理计算成本的同时，实现了与全 GA ViT 相当的性能（更多分析请参见【He et al., Semantic head specialization guides hybrid vit attention for multimodal llms, 2026, arXiv, https://arxiv.org/abs/2608.28383】）。为了从头开始预训 练 MiMo-ViT，将其与一个小型的预训练 LLM 配对，并仅在多模态理解数据上使用交叉熵目标来优化生成的视觉语言模型（VLM）。这一简单的配方避免了诸如对比学习之类的辅助目标，使预训练高效且可扩展。至关重要的是，该小型 LLM 在此过程中保持可训练状态，以便向 ViT 提供稳定且具有语义意义的梯度。在超过 4T 个图像 token 上进行预训练后，MiMo-ViT 学习到了强大的视觉表征，并作为 MiMo-V2.6 的稳健基础。

2.3 音频编码器（Audio Encoder）

第一阶段：使用音频分词器（Audio Tokenizer）进行音频离散化。MiMo-V2.6 中的音频编码包含两个阶段：首先使用 Audio Tokenizer 进行音频分词，随后进行块编码（Patch encoding）。Audio Tokenizer 编码器首先通过一个两层卷积前端处理对数梅尔频谱图（log-mel spectrograms），将帧率减半。随后，生成的序列通过一个具有因果混合注意力架构（交错 SWA 和 GA 层）的 Transformer。SWA 层捕获局部时间依赖性，而 GA 层在完整的前序序列上聚合上下文。随后的下采样卷积进一步将帧率减半至 $25\text{ Hz}$，之后一个 20 层的残差矢量量化器（RVQ）将每一帧表示为 20 个离散的音频 token。Audio Tokenizer 遵循 MiMo-Audio【Xiaomi, Mimo-audio: Audio language models are few-shot learners, 2025, arXiv, https://arxiv.org/abs/2512.23808】的训练配方，并在涵盖语音、音乐和其他音频内容 的 2000 万小时音频数据上进行了训练。

第二阶段：与文本骨干联合训练的音频块编码器（Audio Patch Encoder）。音频块编码器遵循 MiMo-Audio 的架构设计，并与文本骨干网络联合训练。在每个时间步，音频 token 使用独立的嵌入表（每个 RVQ 码本对应一个嵌入表）进行嵌入，并将生成的嵌入相加形成单个帧表征。每四个连续的帧被分组成一个音频块（Audio patch），并由一个双向自注意力被限制在该块内的 Transformer 进行处理。随后，这四个输出表征被拼接（Concatenated）并线性投影为单个骨干网络输入嵌入，从而将音频序列速率从 $25\text{ Hz}$ 降低到 $6.25\text{ Hz}$。

2.4 投机解码器（Speculative Decoder）

基于块扩散设计的轻量级草稿模型。MiMo-V2.6 中的投机解码使用遵循 DFlash【Chen et al., Dflash: Block diffusion for flash speculative decoding, 2026, arXiv, https://arxiv.org/abs/2602.06036】块扩散 （Block diffusion）设计的多 token 预测（MTP）模块。草稿器（Drafter）包含 5 个具有稠密前馈网络的 Transformer 层。以骨干网络隐藏特征和一个干净的锚点 token（Anchor token）为条件，它在单次前向传递中预测后续的 7 个 token，供骨干网络进行并行验证。所有草稿层均使用带有分组查询（Grouped queries）的滑动窗口注意力（SWA），以限制注意力计算量和 KV-cache 大小。Token 在其草稿块内部进行双向注意力计算，并最多关注锚点之前的 1,024 个骨干上下文位置。

2.5 预训练与中期训练设置（Pre-Training & Mid-Training Setup）

2.5.1 预训练设置（Pre-Training Setup）

覆盖文本、视觉和音频的多模态预训练语料库。MiMo-V2.6 的预训练语料库涵盖文本、视觉和音频。文本语料库来自广泛的来源，包括公共网页内容、书籍、学术论文、代码和 STEM 材料。视觉语料库包括图像描述（Image-captioning）、视觉定位（Grounding）、OCR、GUI、对话、视频和视觉编程（Visual-coding）数据。对于音频，大规模策划了多样化、高质量的数据，并将其组织成三种任务格式：语音-文本交错（Speech-text interleaving）、自动语音识别（ASR）和通用音频描述（General audio captioning）。

两阶段预训练策略。本文采用两阶段预训练策略。在第一阶段，仅在纯文本数据上训练语言骨干网络，以建立强大的基础语言能力。在第二阶段，将骨干网络与内部预训练的 ViT 和音频编码器集成，并在全模态（Omni-modal）数据上联合训练完整模型，使其能够理解图像、视频和音频。

上下文扩展与训练规模配置。预训练从 32K token 的上下文长度开始，并在训练中途将其扩展到 256K。MiMo-V2.6-Flash 在 48T token 上进行了训练，包括文本阶段的 26T token 和全模态阶段的 22T token。MiMo-V2.6-Pro 在 30T token 上进行了训练，两个阶段分别为 27T 和 3T token。在 MiMo-V2.6 的预训练中采用了 AdamW 优化器。

2.5.2 中期训练设置（Mid-Training Setup）

中期训练的桥梁作用。预训练建立了跨文本、视觉和音频的广泛知识和通用理解。中期训练（Mid-training）通过进一步发展模型的智能体能力、扩展长上下文支持以及调整优化设置以适应大批量训练，架起了这一通用基础与后续大规模 RL 之间的桥梁。

以智能体为中心的数据混合与两阶段上下文扩展至 1M。为此，在多样化、以智能体为中心的数据混合上训练 MiMo-V2.6 模型系列。其多样性跨越任务领域和数据模态，将代码、通用、视觉和研究任务中的真实智能体轨迹与高质量文本、仓库级代码以及图像、视频和音频数据相结合。训练分两个阶段进行：首先使用 256K 上下文长度进行训练（将大部分算力分配给这一阶段），然后在最后阶段将上下文长度扩展到 1M。

引入 Muown 优化器以适应后续大批量 RL。基础模型是使用 AdamW 预训练的，但初步实验表明，在混合任务 RL 中，随着批大小（Batch size）的增加，优化效率会下降。与逐元素调整参数的 AdamW 不同，Muon 通过正交化隐藏权重的更新来利用其矩阵结构【Jordan et al., Muon: An optimizer for hidden layers in neural networks, 2024, Blog, https://kellerjordan.github.io/posts/muon/】。这种基于矩阵的更新在超越临界批大小（Critical-batch-size）区域后仍能保持更强的数据效率，使 得 Muon 对大批量训练特别具吸引力【Liu et al., Muon is scalable for LLM training, 2025b, arXiv, https://arxiv.org/abs/2502.16982 ；Shah et al., Practical efficiency of Muon for pretraining, 2025, arXiv, https://arxiv.org/abs/2505.02222】。因此，在中期训练期间，针对隐藏权重矩阵切换到 了 Muon 优化器的一个变体——Muown，以便为后续的大批量 RL 做好模型准备。Muown 通过显式的行范数控制（Row-norm control）增强了 Muon，以可忽略的开销缓解了谱范数漂移（Spectral-norm drift）并降低了对权重衰减的敏感性【Lion et al., Muown: Row-norm control for Muon optimization, 2026, arXiv, https://arxiv.org/abs/2605.10797】。词嵌入（Embeddings） 、LM head 和 MoE 路由器（Router）继续使用 AdamW。

平滑的优化器切换过渡。先前的工作报告称，将 Adam 预训练的模型切换到 Muon 训练可能会导致优化器不匹配和性能下降【Qu et al., Can Muon fine-tune Adam-pretrained models?, 2026, arXiv, https://arxiv.org/abs/2605.10468】。然而，在本文的中期训练期间，在整个训练过程中没有观察到任何损失尖峰 （Loss spike）。

MXFP4 量化感知训练（QAT）。在中期训练期间采用了 MXFP4 量化感知训练（QAT），允许模型适应低精度计算，同时保持模型质量。

3. 方法细节：扩展强化学习与基础设施

3.1 扩展强化学习算力（Scaling Reinforcement Learning）

沿三个维度全面扩展 RL 算力。在本次发布中，继续推进后训练算法的边界，特别聚焦于扩展 RL 算力。在简短的监督微调（SFT）阶段之后，沿着三个维度扩展 RL：训练计算量（§3.1.1）、环境与智能体挂载框架（Harnesses）（§3.1.2），以及评分器计算量（§3.1.3），实现了模型能力的根本性飞跃。

Figure 3 左图：DeepSWE v1.1 上的平均 @3 得分与累积 RL 成本的关系。右图：MiMo-V2.6-Pro 和 MiMo-V2.6-Flash 的训练、rollout 和评分器（grader）成本占比。

3.1.1 扩展 RL 训练计算量（Scaling RL Training Computation）

千卡规模单次运行与性能随成本的稳步提升。本文在单次运行中跨数千张 GPU 扩展 RL 计算，分别为 MiMo-V2.6-Pro 和 MiMo-V2.6-Flash 的 RL 后训练投入了 260 万美元（$\$2.6\text{M}$）和 90 万美元（$\$0.9\text{M}$）。使用了庞大的训练批次：1,568 个 prompt，组大小（Group size）$G=16$，因此每一步都会 rollout 生成 25K 条序列，总计达 $2.7\text{B}\sim 3.7\text{B}$ 个训练 token（每条序列大约 $110\text{K}\sim 150\text{K}$ 个 token）。图 3 的左半部分展示了扩展 RL 计算量的收益。对于这两个模型，DeepSWE 基准测试【Huang and Jiang, Deepswe v1.1: a cleaner, more reproducible benchmark for frontier coding agents, 2026, GitHub, https://github.com/datacurve-ai/deep-swe】上的平 均 $@3$ 得分随着累积成本的增加而稳步上升：在 RL 过程中，MiMo-V2.6-Pro 从 58.4 提升至 72.6，MiMo-V2.6-Flash 从 48.7 提升至 65.7。计算分为三个部分：rollout、评分（grading）和训练（training）。如此规模的扩展需要坚实的基础设施来保持训练的高效和稳定。

RL 学习目标函数与三部分算力分解。我们将 RL 学习目标构建如下：

$$\mathcal{L}(\theta) = -\mathbb{E}_{q \sim \bigcup_d \mathcal{D}_d, \{o_i\}_{i=1}^G \sim \mu_{\theta_{\mathrm{old}}}(\cdot|q)} \left[ \frac{1}{\sum_{i=1}^G |o_i|} \sum_{i=1}^G \sum_{t=1}^{|o_i|} r_{i,t} M_{i,t} A_i \log \pi_\theta (o_{i,t} \mid q, o_{i, <t}) \right]$$ <p>其中 $r$ 表示重要性采样比率，$M$ 是 token 级掩码（Mask），$A$ 是优势（Advantage）。计算可以分解为三个部分：

  1. 第一部分是 rollout：对于从任务数据集并集 $\bigcup_d \mathcal{D}_d$ 中抽取的每个 prompt $q$，rollout 策略 $\mu_{\theta_{\mathrm{old}}}$ 生成一组 $G$ 个候选解决方案 $\{o_i\}$。
  2. 第二部分是评分（Grading）：投入额外的算力进行智能体评估，以将有效的解决方案和行为与有缺陷的方案区分开来，超越二元测试结果所能揭示的内容。这些判断为优势 $A_i$ 提供信息，从而实现跨轨迹的更准确信用分配（Credit assignment）。
  3. 第三部分是训练（Training）：收集到的 token 通过 $\log \pi_\theta(o_{i,t} \mid q, o_{i,<t})$ 的梯度更新 $\theta$，并采用 prompt 均值聚合（prompt-mean aggregation）。</li>

图 3 的右半部分按算力去向分解了 MiMo-V2.6-Pro 的成本：rollout 消耗了 $43.8\%$，训练消耗了 $43.5\%$，而评分器占据了剩余的 $12.7\%$（注：图 3 右下角显示 MiMo-V2.6-Flash 的算力占比为：Rollout $44.9\%$、训练 $40.9\%$、评分器 $14.2\%$）。一个大批次在单次运行中从跨越各种环境和挂载框架（Harnesses）的多样化 RL 任务中抽取样本（第 3.1.2 节）。同时还扩展了评分器以提供细粒度的学习信号（第 3.1.3 节）。

大批量扩展的系统机制设计。大批量非常适合扩展（Scale out）GPU：rollout 在序列上并行化，而训练将批次分片到数据并行（Data-parallel）rank 上，因此吞吐量随 GPU 数量的增加而增长。由于高带宽内存（HBM）主要被正在运行的批次占用，可以在 rollout 中保持高算术强度以充分利用 GPU。由于 rollout 和评分具有长尾效应，使用部分 rollout（Partial rollout）【Kimi Team, Kimi k1.5: Scaling reinforcement learning with llms, 2025, arXiv, https://arxiv.org/abs/2501.12599】来保持运行批次的饱和：当收集到一个训练批次时，将正在进行中（in-flight）的序列中断，并在下一 个 rollout 阶段恢复它们。其代价是重预填充（re-prefill）：在每次策略更新后，延续的序列必须重建其 KV cache，因此批大小和部分 rollout 是共同选择的——大批量能够分摊 re-prefill 的开销。为了支持稳定的 RL 训练，通过 R3【Ma et al., Stabilizing moe reinforcement learning by aligning training and inference routers, 2025, arXiv, https://arxiv.org/abs/2510.11370】 和 top-$p$ 采样候选集的重放【Liu et al., Deepseek-v3.2: Pushing the frontier of open large language models, 2025a, arXiv, https://arxiv.org/abs/2512.02556 ；The Microsoft AI Team, MAI-Thinking-1: Building a hill-climbing machine, 2026, Tech Report, https://microsoft.ai/pdf/mai-thinking-1.pdf】来确保训练-推理一致性。为了确保所有样本都能以有效梯度贡献于训练，集成了动态采样器 （Dynamic sampler）【Yu et al., DAPO: an open-source LLM reinforcement learning system at scale, 2025, NeurIPS, http://papers.nips.cc/paper_files/paper/2025/hash/a4277440d50f1f15d2cb4c14f7e0c0d2-Abstract-Conference.html】以过滤全通过（all-pass）或全失败（all-fail）的组。在多任 务 RL 中，考虑到不同任务的 rollout 持续时间和通过率各不相同，实现了 Sample Mixer 以确保高效且稳定的训练批次分布。为了将来自 rollout 的轨迹打包成庞大的训练批次（$2.7\text{B}\sim 3.7\text{B}$ token），将控制面与数据面解耦。这些设计背后的基础设施将在第 3.2 节（原文第 6 节）中详细描述。

3.1.2 扩展 RL 环境与智能体挂载框架（Scaling RL Environments and Harnesses）

跨四大领域的环境合成与监督质量保障综述。扩展智能体 RL 需要反映真实世界任务、支持训练规模下的可复现执行，并提供与任务目标一致的奖励的多样化环境。同时满足这些要求极具挑战性：真实的工作流涉及异构工具和复杂状态，而自动评分器可能不完整、不一致或容易受到漏洞利用（Exploitation）。因此，本文在代码（§3.1.2.1）、通用专业工作流（§3.1.2.2）、视觉产物（§3.1.2.3）和网络安全（§3.1.2.4）领域投入了大规模的环境合成与筛选，重点强调监督质量。本小节将描述如何跨这些领域构建任务和环境、智能体与之交互的挂载框架（Harnesses）（§3.1.2.5），以及在训练前和训练期间用于提高奖励可靠性和缓解奖励黑客（Reward hacking）的执行检查、基于 rollout 的审计和对抗性测试（§3.1.2.6）。

Figure 4 代码智能体任务扩展的整体管线。我们从多样化的来源构建任务，并经过严格的评估阶段以确保监督准确且稳健。
Figure 4 代码智能体任务扩展的整体管线。我们从多样化的来源构建任务，并经过严格的评估阶段以确保监督准确且稳健。
3.1.2.1 代码智能体任务（Code Agent Tasks）

代码任务的监督挑战与构建管线概述。代码任务特别适合 RL，因为候选解决方案可以通过自动化测试来执行和评估，从而大规模提供反馈。然而，仅靠可执行评估并不能保证可靠的监督：测试可能会忽略所需的行为、拒绝有效的实现，或者在多次执行中产生不一致的结果。因此，核心挑战是在扩展任务构建规模的同时，确保奖励忠实地反映任务的正确性。受此启发，本文投入了大量精力为代码智能体任务构建可扩展的合成和筛选管线，重点关注监督的准确性和稳健性。图 4 总结了任务合成路径以及用于评估监督准确性和稳健性的检查机制。

从多样化来源进行可扩展的任务合成（Scalable Task Synthesis from Diverse Sources）。通过五条互补的合成路径来扩展任务构建，旨在覆盖异构编程语言、开发设置和任务跨度（Task horizons）：

  1. 基于 GitHub 的合成（GitHub-based synthesis）：收集拉取请求（Pull requests, PR）及其关联的 Issue，并应用启发式和模型辅助过滤器以移除重复、格式错误或不可复现的候选项。当一个 PR 链接到一个提供了足够完整的预期变更描述的 Issue 时，使用该 Issue 作为任务规范（Task specification）。否则，由一个 LLM 根据参考补丁（Reference patch）和周围的仓库上下文重建一个 Issue 风格的任务规范，同时明确指示其省略可能泄露解决方案的实现特定细节。
  2. 日常开发工作流收集（Everyday development workflows）：为了捕获包括交互式“氛围编程（vibe coding）”场景在内的日常开发工作流，收集了组织内部员工贡献的真实开发请求。这些请求涵盖功能实现、重构、调试和仓库维护等常见活动，智能体针对这些活动生成并实现将所请求行为操作化的测试用例。
  3. 规范驱动的任务（Specification-driven tasks）：强调在详细的、多约束要求下进行代码生成，允许评估模型是否能够忠实地将复杂规范转化为可执行的实现。
  4. 源代码驱动的合成（Source-code-driven synthesis）：使用 CodeMidas【Ye et al., CodeMidas: Scaling agentic coding rl environments from code itself, 2026, arXiv, https://arxiv.org/abs/2609.22068】从现有代码库中已实现的功能派生任务。智能体识别候选功能并将其可观察到的行为转化为任务规范和可执行环境；这条路径能够在多样化的仓库中实现可扩展的任务构建，而无 需 Issue、PR 或其他开发产物。
  5. 长程软件工程任务与外部数据源补充：对于长程（Long-horizon）软件工程任务，智能体迭代地细化任务要求、扩大所需变更的范围、引入跨组件依赖关系，并构建测试来检验由此产生的多步行为。此外，还包含并过滤了来自公共来源【Badertdinov et al., Swe-rebench v2: Language-agnostic swe task collection at scale, 2026, arXiv, https://arxiv.org/abs/2602.23866 ；PrimeIntellect, Swe-rl: Software engineering tasks for rl, 2026, HuggingFace, https://huggingface.co/collections/PrimeIntellect/swe-rl ；Tao et al., Swe-lego: Pushing the limits of supervised fine-tuning for software issue resolving, 2026, arXiv, https://arxiv.org/abs/2601.01426 ；Yang et al., What makes interaction trajectories effective for training terminal agents?, 2026b, arXiv, https://arxiv.org/abs/2606.03461 ；Zan et al., Multi-swe-bench: A multilingual benchmark for issue resolving, 2025, NeurIPS, http://papers.nips.cc/paper_files/paper/2025/hash/5afa9cb1e917b898ad418216dc726fbd-Abstract-Datasets_and_Benchmarks_Track.html ；Zhao et al., Immersion in the github universe: Scaling coding agents to mastery, 2026, arXiv, https://arxiv.org/abs/2602.09892】和授权数据供应商的样本，以进一步丰富任务分布。总的来说，这些路径产生的任务跨越了广泛的编程语言、开发上下文、实现复杂度和任务跨度 。

监督的准确性（Accuracy of Supervision）。将每个任务规范的行为范围与其单元测试的行为范围对齐。目标是接受满足规范的实现并拒绝违反规范的实现，而不要求参考实现中的附带细节。首先审查任务是否存在覆盖不足和过度限制的检查，特别是强制执行规范中不存在的要求的测试会被修改或移除。由于仅靠检查可能会遗漏规范与测试之间的差异，进一步通过基于 rollout 的审计（Rollout-based auditing）来评估它们的对齐情况：每个任务由一个代码智能体尝试四次；一个审计智能体（Auditing agent）在一个包含问题陈述、测试、参考补丁以及每次 rollout 提交的补丁、测试输出和完整对话日志的共享工作空间中接收所有四次 rollout。审计智能体首先阐明正确的解决方案需要什么，并评估测试是否捕获了这些要求；然后，它使用其补丁和对话日志根据规范评估每个提交的解决方案，并将此评估与观察到的奖励进行比较。被判定为不正确的通过方案被标记为潜在的假阳性（False positive），表明验证不完整；被判定为正确的失败方案被标记为潜在的假阴性（False negative），表明测试过度限制或存在执行故障。这些分歧识别出了需要进一步审查的任务，并为预期行为与已实现验证之间可能存在的不匹配提供了具体证据。

监督的稳健性（Robustness of Supervision）。通过重复执行来检查奖励的稳定性。对于那些带有参考补丁的任务，确保在应用参考补丁之前，由败转胜（fail-to-pass, F2P）测试必须失败，而保持通过（pass-to-pass, P2P）测试必须通过；在应用补丁之后，两者都必须通过。要求这些结果在八次重新运行（8 reruns）中保持稳定，以此筛查不稳定测试（flaky tests）和环境引起的奖励波动。同时还重用先前的 rollout 管线来收集智能体轨迹，以调查潜在的奖励黑客行为。提交的补丁和对话日志提供了智能体如何获得奖励的证据，有助于识别无意的捷径或对环境和评估过程的利用。这些检查补充了对解决方案正确性的评估，并为下文描述的更广泛的奖励黑客缓解程序提供了信息。

代码任务构建总结。这些程序共同支持在一致的监督质量标准下构建多样化的代码任务语料库。规范-测试对齐针对奖励信号的保真度，重复执行检查其稳定性，而基于 rollout 的审计则探测其是否与对解决方案正确性的独立评估一致。目标是使这种组合具有可扩展性，从而使 RL 训练能够受益于广泛的任务覆盖，同时鼓励智能体满足预期要求，而不是利用评估中的漏洞。

Figure 5 通用智能体环境和可验证任务合成的整体管线。我们首先从真实世界的文件和软件模拟（software mocks）中构建真实、可重置的环境。然后智能体探索这些环境并合成带有可验证评分标准（rubrics）的任务。
Figure 5 通用智能体环境和可验证任务合成的整体管线。我们首先从真实世界的文件和软件模拟（software mocks）中构建真实、可重置的环境。然后智能体探索这些环境并合成带有可验证评分标准（rubrics）的任务。
3.1.2.2 通用智能体任务（General Agent Tasks）

向真实世界专业工作流扩展。我们将智能体能力扩展到跨多个领域的真实世界专业工作流中，这些工作流要求智能体分析异构文档、使用专用软件，并产出符合领域特定标准的交付物。我们合成支持此类工作流的环境，然后构建具有可验证结果的挑战性任务。图 5 总结了这一管线，包括环境构建、任务合成和迭代评分标准（Rubric）细化。

环境设计（Environment Design）。通用智能体环境通常由一个工作空间和一组可通过 MCP、API、CLI 和 GUI 等接口访问的软件工具组成。设计在真实感与大规模 RL 的要求之间取得了平衡：文件、软件行为和底层数据应反映专业实践，而执行必须保持在本地且环境必须易于重置。因此，收集真实世界的文件以直接包含或作为合成参考，并使用自动化多智能体工作流构建本地软件模拟（Software mocks），以重现支持的操作、状态更改、输出格式和错误响应。无需外部服务即可运行的工具则直接集成。所有状态均存储在本地，每次 rollout 都在一个可以恢复到固定初始状态的隔离沙箱中运行。这避免了网络波动和服务限制，同时支持可复现的执行。

环境合成（Environment Synthesis）。为了将这些组件组装成连贯的场景，一个规划智能体（Planning agent）指定工作空间结构、选择合适的工具，并规划文件和数据库内容。网页搜索（Web search）将规划建立在真实世界信息的基础上，而跨文件以及文件与数据库记录之间的关系则支持后续的多跳推理和交叉验证。随后，多个智能体遵循共享规划和每个模拟软件的数据规范，并行生成文件并填充数据库。一个审查智能体（Review agent）检查单个产物和全局一致性，包括实体名称、数值核对、时间线和引用关系。在构建任务之前，通过迭代修复解决不一致之处。工作空间和工具配置因场景而异，因此每个环境都反映了相关的工作实践，而不需要动用每一种可用的文件类型或软件接口。

任务合成与验证（Task Synthesis and Verification）。调研常见的专业任务，并将其组合和泛化为种子任务（Seed tasks）。一个智能体探索每个环境，并使用这些种子构建适合其内容和工具的任务。任务完成情况使用原子的、二元的评分标准项（Atomic, binary rubric items）进行评估：基于代码的检查验证确定性属性（例如数据库值和交付物格式），而基于 LLM 的检查评估更开放的内容。对于基于 LLM 的项目，同一模型重复判断之间以及不同裁判模型（Judge models）之间的一致性有助于识别歧义。

基于多模型 Rollout 的评分标准修正与防黑客负向检查。仅靠一致性并不能确立评分标准捕获了任务的完成情况。因此，从不同能力水平的模型中收集 rollout，并让一个审查智能体检查它们的轨迹、执行结果和评分标准判断。审查者修改拒绝有效解决方案的过度限制性标准，以及接受不完整方案的过度宽容标准。为了测试对奖励黑客的抵抗力，纳入了对无关文件或数据库的无意更改的负向检查（Negative checks），并构建了看起来正确但实际上并未解决任务的对抗性解决方案。在 RL 期间，使用自托管的 MiMo-V2.6-SFT 模型作为评分器以支持稳定的打分。这一过程产生了数千个环境和多样化、可验证的任务，将其与其他任务结合用于 RL 训练。

3.1.2.3 视觉智能体任务（Visual Agent Tasks）

涵盖两大互补类别的视觉任务套件。为了赋能智能体通过创意表达和精确的视觉控制来塑造数字世界，策划了一套多样化的视觉任务，在其中智能体处理广泛的产物，如网站、交互式应用程序、游戏、3D 场景、幻灯片、SVG、视频和 Figma 设计。将这些任务组织为两个互补的类别：开放式设计（Open-ended design）和高保真视觉复现（High-fidelity visual replication）。两者共同发展模型产出具有强烈美学质量和精确视觉控制的可靠实现的能力。

开放式设计：结合逐点（Pointwise）与组内（Groupwise）评分。开放式设计旨在产出既满足用户意图又具有美学吸引力的视觉产物。有效创意方案的多样性使得仅靠固定规则难以捕获美学质量。因此，结合逐点评分和组内评分来建立一致的质量标准，同时奖励美学质量的相对提升。具体而言，首先针对运行时正确性、指令遵循、布局完整性和基本美学质量迭代细化逐点评分标准（Pointwise rubrics）。一旦这些评分标准稳定下来，就引入组内评分（Groupwise grading），对同一查询的每个 rollout 组内渲染出的产物进行联合比较，识别出明显更强和更弱的候选项并相应地分配奖励。

高保真视觉复现：规则相似度与 LLM 整体评估结合。高保真视觉复现旨在忠实地重现指定的视觉目标。与开放式设计相比，明确的参考目标使得对视觉保真度的评估更加直接。主要通过基于规则的相似性指标（例如渲染产物与其参考目标之间的像素级相似度）对这些任务进行打分，并辅以基于 LLM 的评判来进行整体视觉评估。这些信号共同支持在视觉复现任务上有效扩展强化学习。

3.1.2.4 网络安全智能体任务（Cybersecurity Agent Tasks）

基于真实世界漏洞复现的攻防技能训练。使用 RL 在真实世界漏洞复现任务上训练网络安全智能体：给定一个项目和一个目标漏洞（Bug），智能体必须构造一个能触发它的输入（即概念验证，PoC）。这一基础的进攻性安全技能是漏洞利用开发（Exploit development）、权限提升和 CTF 挑战的基础。它也非常适合大规模 RL：OSS-Fuzz 提供了数以万计经过人工确认的实例，其数量是其他安全任务无法比拟的。难点不在于触发崩溃（Crash），因为复杂的 C/C++ 项目暴露了数十条可达的崩溃路径，而在于触发所描述的特定漏洞。因此，验证必须将预期的漏洞与无关的崩溃区分开来，并且因为它同时充当 RL 奖励，所以必须准确、确定且廉价。

现有验证预言机（Oracles）的缺陷与基于 Sanitizer 报告的确定性验证。现有的预言机存在不足。如 CyberGym【Wang et al., Cybergym: Evaluating AI agents’ cybersecurity capabilities with real-world vulnerabilities at scale, 2025, arXiv, https://arxiv.org/abs/2506.02548】中使用的修复二进制差分测试 （Fix-binary differential testing），会接受使易受攻击二进制文件崩溃但不使打补丁后的二进制文件崩溃的 PoC；然而，不完整的补丁会拒绝正确的 PoC，且两个提交（Commit）之间的无关更改会因与漏洞无关的原因翻转判定结果。任何一种错误都会破坏训练梯度。基于 LLM 的评判在多次运行中会对同一个 PoC 返回不同的判定结果，无法作为稳定的奖励。相反，本文从真值消毒器（Ground-truth sanitizer，即 ASan/MSan/UBSan）报告中提取两个属性：漏洞类型（例如 heap-buffer-overflow）和崩溃位置（最顶层的项目级堆栈帧）。当且仅当一个 PoC 的崩溃在基于规则的字符串匹配下同时匹配这两个属性时，该 PoC 才被接受——这种方法是确定性的、可复现的且计算上微不足道的。任务描述派生自同一份报告，说明了崩溃必须发生的确切类型和函数，因此任务描述和验证共享单一事实来源（Single source of truth）；相比之下，CyberGym 由 LLM 生成的描述通常过于宽泛（例如“libxml2 中的缓冲区溢出”）或干脆是错误的。

提供完整运行时环境的交互设计。对于每个漏洞，在报告的 commit 处检出源代码，构建模糊测试挂载程序（Fuzzing harness），并为智能体提供完整的运行时环境：完整的源代码加上编译好的 harness 二进制文件。CyberGym 扣留了二进制文件，将智能体限制在仅作源代码分析；而提供二进制文件则反映了真实的漏洞分析过程——研究人员在调试器下运行目标、检查内存，并根据运行时观察结果精心制作变异输入。

3.1.2.5 多挂载框架训练（Multi-Harness Training）

跨框架泛化的必要性与生产级框架在 RL 中的局限性。智能体挂载框架（Agent harnesses）在模块设计上各不相同，通常根据不同的应用需求进行选择或构建。因此，模型必须适应多样化的交互机制，包括那些在训练期间未见过的框架，这使得跨框架泛化成为一项重要能力。仅在单一框架内进行训练可能会将问题解决策略与特定于框架的实现耦合在一起，从而限制迁移能力。因此，我们将框架多样性视为与任务和环境多样性并列的另一个训练维度。一种自然的做法是在几个生产级框架（如 MiMo Code 和 Codex）上进行训练。然而，在实践中这并不适合 RL：

  1. 首先，生产级框架用工程保障措施和多步工作流包装智能体循环（Agent loop），并用大量的约束和指令 prompt 来引导模型。这些额外内容超出了任务完成奖励信号的衡量范围，使得信用分配不可靠，并导致未被奖励衡量的要求干脆被忽略。
  2. 其次，它们的模块是紧密耦合的，而不是可独立配置的，因此无法孤立地改变单一交互机制，也无法通过受控重组来组装多样性。

基于解耦轻量级 mini-harness 的多框架训练设计。为此，提出了使用精心设计的 mini-harnesses 进行多框架训练。所有的 mini-harnesses 都从同一个最小智能体循环开始，该循环已经包含了完成任务所需的组件——系统提示词（System prompt）、工具（Tools）和上下文管理（Context management）。这些模块保持最小化和解耦状态，因此实现可以自由重组，框架扩展保持可控、安全和干净。随后，为 Code、General、Visual 和 Cyber 领域派生出多样化的、适应任务的 mini-harness 配置。由此产生的训练分布既多样化又可控，支持对单个框架机制进行分析，并鼓励可迁移的任务解决策略。

3.1.2.6 奖励黑客缓解（Reward Hacking Mitigation）

代码修复任务中的解决方案泄露问题。RL 依赖奖励来衡量任务成功与否，但智能体有时可以通过利用环境或评估过程来获得高额奖励。这种被称为奖励黑客（Reward hacking）的行为可能会在训练期间得到强化，从而在不提高实际任务性能的情况下增加得分。对于诸如仓库修复（Repository-repair）之类的常见代码智能体任务，一种反复出现的失败模式是解决方案泄露（Solution leakage）：智能体在预期的任务上下文之外获取已发布的修复程序，并用它来构造补丁。表 2 将五个仓库中的每个任务请求与智能体声明的意图及随后的行动联系起来。这种行为可以满足基于测试的奖励，但无法证明智能体是从错误报告和指定的检出版本（Checkout）中推导出修复方案的。接下来，介绍结合了中期训练对齐数据、RL 环境准备、对抗性筛查以及训练全过程审计的综合缓解方案。

表 2：仓库修复任务中具有代表性的奖励黑客案例（注：在此设置中，在指定检出版本之外检索现有修复程序绕过了预期的修复任务。任务查询经过总结，思考摘录逐字引用，行动进行了缩写，每一行来自单次 rollout）：

模式与捷径 (Pattern and shortcut) 典型案例 (Illustrative case)
安装并读取 (Install and read)
使用目标软件包的较新发布版本作为答案密钥，复制指定检出版本中不存在的修复程序。		 任务 (pytest)：修复因路径小写化而损坏的 Windows conftest.py 导入问题。
思考：“Let me check the pytest changelog or GitHub to see if there's a more recent fix.”
行动：pip install pytest==5.4.3；检查已安装的源代码。
获取上游源码 (Fetch upstream source)
下载已包含修复程序的上游文件或补丁，直接暴露通过测试所需的代码更改。		 任务 (Astropy)：更正移除所需的 TimeSeries 列时产生的误导性错误。
思考：“Let me just look at the file directly from the GitHub raw URL.”
行动：curl .../astropy/timeseries/core.py
克隆上游仓库 (Clone upstream)
读取较新的上游检出版本，以重建指定历史提交中缺失的已发布修复程序。		 任务 (Matplotlib)：阻止 ax.clear() 在共享轴上恢复隐藏的刻度和标签。
思考：“Let me directly fetch and inspect the relevant files from the latest matplotlib.”
行动：git clone .../matplotlib.git；检查 axis.py。
查找解决方案 (Look up a solution)
搜索 Issue 讨论、PR 或关联的 Commit 以获取原始解决方案，并用它来指导补丁编写。		 任务 (Django)：修复 MultiValueField 忽略必需子字段的问题。
思考：“Let me get more info - changesets and the fix that was applied.”
行动：读取 Django ticket #29205 的变更历史记录。
探测版本 (Probe versions)
寻找较新的发布版本以下载并比较其修复程序。该探测是复制解决方案的前奏。		 任务 (Sphinx)：从类文档中移除虚假的返回类型。
思考：“Let me look for the fix. The issue is likely fixed in later versions.”
行动：pip index versions sphinx

中期训练对齐数据（Mid-Training Alignment Data）。在早期实验中，观察到 MiMo 存在奖励黑客的倾向。为了缓解这种行为，从这些案例中合成了一组训练样本，并将其包含在中期训练中。对于每个案例，MiMo 会反思错误的推理，修正相关的轮次（Turn），并继续采取基于任务规范的行动。修正后的推理保持原始错误可被识别，并使纠正过程显式化。研究发现，添加这些样本改善了模型的对齐情况。

环境准备与清理（Environment Preparation）。在代码任务中，智能体可能会通过从环境中恢复泄露的解决方案或通过网络检索现有解决方案来通过测试。在环境构建期间应用参考补丁来构建项目可能会留下暴露解决方案的产物。因此，移除了构建日志、验证器输出、残留补丁以及项目生成的可能暴露方案的二进制文件或字节码。同时还清理了可能包含解决方案信息的缓存（包括仓库外部的缓存），同时保留离线重建所需的第三方依赖项。对于每个任务，仅保留截至并包括基准提交（Base commit）的 Git 历史记录，移除后续的提交及其关联的引用（References）。强制执行容器级网络隔离，以限制对上游修复程序和可能包含解决方案的替代软件包版本的访问。这些保障措施还伴随着禁止检索现有解决方案或绕过所需实现的明确指令。

对抗性黑客智能体探测（Hack Agent）。随后，一个专门的 Hack Agent 会探测准备好的环境，寻找残留的泄露和可利用的弱点。使用早期实验中的样本来指导其搜索，包括从缓存产物或目标项目的预安装副本中恢复解决方案。该智能体在搜索新路径的同时检查这些已知路径。它发现了许多在训练期间未曾观察到且现有清理程序未涵盖的漏洞利用路径。利用这些发现来完善清理和访问限制，然后在更新后的环境上重新运行 Hack Agent。这些后续检查反复暴露出更多弱点，需要额外几轮的清理和测试。持续这一过程，直到 Hack Agent 在任何环境中都无法再找到成功的漏洞利用路径为止。

训练期审计与在线奖励清零（Training-Time Auditing）。在整个训练过程中，定期离线审计智能体轨迹是否存在奖励黑客行为。随着策略的演进，它可能会发现对抗性筛查期间未发现的捷径。利用这些观察结果来识别环境中的弱点，并指导进一步的清理和访问限制。除了这些离线审计之外，组内智能体评分器（第 3.1.3.2 节）在重新计算组统计量和优势之前，会将确认存在黑客行为的轨迹的有效奖励设置为零。有了这一修正机制，在整个训练过程中，MiMo-V2.6-Flash 和 MiMo-V2.6-Pro 记录到的确认黑客行为占比均保持在 $2\%$ 以下（见图 6）。

Figure 6 奖励黑客预防与监控。(a) 训练前的环境准备和迭代式 hack-agent 筛查，同时在训练期间通过离线轨迹审计监控黑客行为。两个阶段的发现均用于环境改进。(b) 上图：随着清理轮次增加，被发现可被黑客攻破（hackable）的环境比例。下图：在我们最终的 RL 运行过程中，检测到奖励黑客行为的轨迹比例。
Figure 6 奖励黑客预防与监控。(a) 训练前的环境准备和迭代式 hack-agent 筛查，同时在训练期间通过离线轨迹审计监控黑客行为。两个阶段的发现均用于环境改进。(b) 上图：随着清理轮次增加，被发现可被黑客攻破（hackable）的环境比例。下图：在我们最终的 RL 运行过程中，检测到奖励黑客行为的轨迹比例。

3.1.3 组内智能体评分（Groupwise Agentic Grading）

超越二元测试奖励的两种互补评估方法。对于代码智能体任务，二元测试奖励提供了可扩展的正确性信号，但无法在通过测试的解决方案之间区分实现质量或问题解决行为。本文在这些任务的不同子集上使用了两种互补的方法：组内奖励合成（Groupwise Reward Synthesis, GRS）用于高通过率任务的一个子集，它比较多个离线 rollout 以构建特定于任务的评分标准（Rubrics），这些标准在训练期间被重用于对单个 rollout 进行打分，并将其质量得分与测试奖励相结合；对于所有剩余的代码智能体任务，主要依赖组内优势重分配（Groupwise Advantage Redistribution, GAR）【Dong et al., Groupwise agentic grading and advantage redistribution for code agent rl, 2026, arXiv, https://arxiv.org/abs/2609.32577】，其在线智能体评分器联合检查每个混合结果组 （Mixed-outcome group）内的成功和失败轨迹，对通过的解决方案进行排序，并将正向优势重新分配给质量更高的通过轨迹。图 7 总结了这两种工作流。

Figure 7 用于代码智能体 RL 的组内智能体评分。(a) 组内奖励合成（GRS）将测试结果与来自预计算任务特定评分标准的单次 rollout 得分相结合。(b) 组内优势重分配（GAR）在线比较轨迹，将确认黑客行为的奖励重置为零，并重新分配序列级优势。柱状图示意性地说明了正向优势从低质量通过方案向高质量通过方案的重分配。
Figure 7 用于代码智能体 RL 的组内智能体评分。(a) 组内奖励合成（GRS）将测试结果与来自预计算任务特定评分标准的单次 rollout 得分相结合。(b) 组内优势重分配（GAR）在线比较轨迹，将确认黑客行为的奖励重置为零，并重新分配序列级优势。柱状图示意性地说明了正向优势从低质量通过方案向高质量通过方案的重分配。
3.1.3.1 组内奖励合成（GRS，离线评分标准）

通过离线多轨迹对比生成解决方案与行为评分标准。对于每个选定的任务，收集多个离线 rollout，并让一个智能体将它们与任务规范和仓库一起进行研究。比较这些尝试会暴露出不同的解决方案思路、反复出现的错误以及可能分布在多条轨迹中的有用行为。智能体将这一分析转化为两套标准：解决方案评分标准（Solution rubrics）（用于评估最终的实现）和行为评分标准（Behavior rubrics）（用于评估智能体如何着手处理和验证其工作）。

两套评分标准的具体内涵。解决方案评分标准描述了良好实现的任务相关属性，包括满足要求、恰当处理边缘情况（Edge cases）以及与周围代码库保持一致的更改。行为评分标准描述了支持可靠问题解决的可观察实践，例如收集相关证据和检查代码更改的效果。我们寻求能够区分有意义的质量差异、同时允许针对任务采取不同有效方法的标准。

植根于任务本身的抽象原则。采样的 rollout 为构建评分标准提供了信息，但标准本身植根于任务。一个有用的行为可能仅出现在一次尝试中，而任务所支持的要求可能完全未出现在任何观察到的解决方案中。因此，智能体可以识别出超出采样 rollout 所展示范围的改进点。同时，某一个成功解决方案所做的选择不会自动成为对所有其他方案的硬性要求。

在线复用评分标准与乘法奖励合成公式。生成的评分标准被重用于单独评估后续的训练 rollout。一个评分器智能体（Grader agent）进入每次 rollout 的执行环境，并以生成的代码、执行结果和轨迹作为证据，根据特定于任务的评分标准对其进行评估。它为实现的质量分配一个解决方案得分 $S^{\mathrm{sol}}$，并为智能体如何着手处理和验证其工作分配一个行为得分 $S^{\mathrm{beh}}$。对于轨迹 $i$，令 $R_i^{\mathrm{test}}$ 表示原始的二元测试奖励。通过将该测试奖励与两个评分标准得分相乘来合成最终的训练奖励：

$$R_i = R_i^{\mathrm{test}} \cdot S_i^{\mathrm{sol}} \cdot S_i^{\mathrm{beh}}$$

这种乘法形式使评分标准监督与测试结果保持紧密绑定。失败的轨迹保留零奖励，而通过的轨迹则通过实现质量和问题解决行为得到进一步区分。即使一个组中的每次 rollout 都通过了测试，两个评分标准得分乘积的差异仍然可以提供学习信号。因此，离线任务分析成为了一种可重用的监督来源，使训练能够捕获二元测试奖励无法表达的质量差异。

3.1.3.2 组内优势重分配（GAR，在线评分）

混合结果组内的五维联合对比与黑客清零。我们将在线组内优势重分配应用于剩余的代码智能体任务。对于每个混合结果的 rollout 组，将所有轨迹放置在一个包含任务规范、仓库、提交的补丁和测试输出的共享工作空间中。一个经过 SFT 训练的智能体评分器联合检查组内的所有轨迹，对比成功和失败的尝试，并沿着五个维度比较通过的补丁：

  1. 解决方案思路的适用性（Suitability of the solution approach）；
  2. 实现该思路的精确性，无遗漏或不必要的回退逻辑（Precision in implementing that approach without omissions or unnecessary fallbacks）；
  3. 相对于必要更改的最小化程度（Minimality relative to the necessary changes）；
  4. 避免任务范围之外的无意副作用（Avoidance of unintended effects outside the task）；
  5. 与代码库惯例一致的工艺水平（Craftsmanship consistent with codebase conventions）。

这些评估指导组内排序，当差异不确定时允许并列（Ties）。评分器可以检查仓库代码并运行有针对性的测试，以更好地理解任务并验证候选解决方案。当证据确认某轨迹依赖于外部或泄露的答案时，在重新计算组统计量之前，将该轨迹的有效奖励重置为零并将其视为失败。

序列级优势重分配的数学机制。我们使用剩余的质量排序来重新分配序列级优势。对于轨迹 $i$，令 $R_i$ 为经过黑客修正后的有效二元奖励，$\bar{R}$ 为其组均值，$A_i = R_i - \bar{R}$ 为其序列级优势，且定义通过集合 $\mathcal{P} = \{i : R_i = 1\}$。对于非空的 $\mathcal{P}$，质量因子 $f_i \in (0, 1]$ 首先下调低质量通过方案的权重，之后一个公共因子在通过的轨迹之间重新分配被移除的正向优势质量（Positive advantage mass）。未设上限（Uncapped）的更新公式为：

$$\begin{aligned} \lambda = \frac{\sum_{j \in \mathcal{P}} A_j}{\sum_{j \in \mathcal{P}} f_j A_j}, \qquad A_i' = \begin{cases} \lambda f_i A_i, & i \in \mathcal{P}, \\ A_i, & i \notin \mathcal{P}. \end{cases} \end{aligned}$$

这一未设上限的更新保留了 $\sum_{i \in \mathcal{P}} A_i' = \sum_{i \in \mathcal{P}} A_i$ 以及由质量引起的相对权重，同时不改变失败的轨迹。实际上，它将正向优势质量从低质量的成功轨迹重新分配给了高质量的成功轨迹。仅仅下调正向优势会使负向优势保持不变；重归一化（Renormalization）恢复了它们之间的平衡，作为防止熵过度增长的保障措施。在实践中，我们对公共重缩放因子 $\lambda$ 设置上限，以防止正向优势被过度放大。然后，从通过和失败轨迹的优势中减去组均值，产生组均值为零的最终序列优势 $A_i^{\mathrm{new}}$。我们将此序列级优势广播到轨迹中的所有响应 token。评分异步运行，当评分器输出不可用时，会回退（Fall back）到原始优势。

GAR 对训练动态与代码可维护性的改善效果。为了评估在线组内优势重分配对训练动态的影响，比较了带与不带该机制的 MiMo-V2.6-Flash 纯代码 RL 运行（使用 128 的训练批大小和 token-mean 损失聚合，见图 8）。在没有在线评分的情况下，交互轮数（Turns）和总 token 长度迅速增长，导致更多轨迹触及长度限制，从而难以维持通过率的提升。而在有在线评分的情况下，通过率的增长一直持续到第 52 步，同时轮数保持大致稳定，token 长度平缓增长。这些趋势表明，在线评分在更稳定的训练机制下支持了策略的持续改进。独立的面向维护者的审计发现，在提高测试通过率的压力下，未经在线评分训练的策略越来越多地采用不良行为，例如投机性的兼容性分支、宽泛的导出（Broad exports）、吞没异常（Exception swallowing）、放宽验证以及特定于评估的配置更改。这些权宜之计旨在增加通过测试的可能性，但可能会超出任务指令的范围、不必要地扩展 API、掩盖故障并使代码更难维护。相比之下，使用在线评分训练的策略倾向于产生更小、更精确的补丁，这些补丁保持在所请求的范围之内且更易于维护。

Figure 8 在 DeepSWE v1.1 上使用与不使用在线组内优势重分配（GAR）的对比，基于 MiMo-V2.6-Flash 进行纯代码 RL（训练批大小 128）。通过率为 avg@n（n=3）；同时报告了平均总轮数和总 token 长度。
Figure 8 在 DeepSWE v1.1 上使用与不使用在线组内优势重分配（GAR）的对比，基于 MiMo-V2.6-Flash 进行纯代码 RL（训练批大小 128）。通过率为 avg@n（n=3）；同时报告了平均总轮数和总 token 长度。
3.1.3.3 行为正则化（Behavioral Regularization）

两类互补的行为正则化机制概述。为了提高 RL 训练的稳定性并鼓励高效、可靠的行为，引入了两种互补的机制：组内相对长度惩罚（Group-relative length penalty）遏制生成 token 的过度增长，而片段级行为惩罚（Segment-level behavioral penalties）则处理格式违规和工具调用错误。批次级优势重平衡（Batch-level advantage rebalancing）改善了信用分配，同时限制了可能驱动不受控制的熵增长的过度负向优化压力。

组内相对长度惩罚（Group-Relative Length Penalty）。研究发现，组内相对长度惩罚可以提高泛化能力，并遏制 RL 训练期间生成 token 的快速增长。对于具有 $G$ 个采样 rollout 的每个 prompt $q$，令 $R_i$ 为原始结果奖励，$\mathcal{P}_q$ 为成功 rollout 的索引集合，$\ell_i = |o_i|$ 为生成的 token 数量。令 $A \in [0, 1]$ 为最小组通过率，$B \in (0, 100)$ 为百分位参数。对于满足 $|\mathcal{P}_q|/G > A$ 的组，计算参考长度 $\ell_q^\star = \mathrm{Quantile}_{B/100}\{\ell_j : j \in \mathcal{P}_q\}$，并获得调整后的奖励：

$$\widetilde{R}_i = R_i - \mathbf{1}\big[i \in \mathcal{P}_q\big] X \left[ \mathrm{clip}\left( \frac{\ell_i / \ell_q^\star - 1 - \delta}{s - \delta}, 0, 1 \right) \right]^\gamma$$

这里 $X \ge 0$ 是最大奖励扣减量，$\delta \ge 0$ 是高于 $\ell_q^\star$ 的可容忍相对超出量，$s > \delta$ 是惩罚达到饱和时的超出量，$\gamma \ge 1$ 是斜坡指数（Ramp exponent）；$\delta = 0$ 会惩罚比参考长度更长的成功 rollout。指示函数 $\mathbf{1}[\cdot]$ 将扣减限制在成功的 rollout 上，且 $\mathrm{clip}(x, 0, 1) = \min(1, \max(0, x))$。其他组保留其原始奖励。公式 (1) 中的结果优势 $A_i$ 由调整后的奖励 $\widetilde{R}_i$ 计算得出；阈值 $A$ 是一个独立的超参数。这利用适应每个 prompt 的参考长度鼓励了简洁的成功解决方案，而通过率门控（Pass-rate gate）则为困难的 prompt 保留了探索空间。

片段级行为惩罚与批次级优势守恒（Segment-Level Behavioral Penalties）。结果奖励可能会强化错误的中间行为，这促使我们针对格式违规和工具调用错误（如格式错误的标记、无效的工具名称或格式错误的参数）制定片段级规则。令 $h_{i,t} = 1$ 标记被标记（Flagged）的错误 token，否则为 0。在整个训练批次中，$H_\pm$ 和 $C_\pm$ 分别收集损失掩码 $M_{i,t} = 1$ 的被标记和未被标记的 token 索引 $(i, t)$；下标 $\pm$ 表示所属轨迹的结果优势 $A_i$ 的符号，且下面的所有求和均按 token 计数：

$$\begin{aligned} \widetilde{A}_{i,t} = \begin{cases} \alpha(1 - h_{i,t})A_i, & A_i > 0, \\ \left[\beta(1 - h_{i,t}) + \kappa h_{i,t}\right] A_i, & A_i < 0, \\ 0, & A_i = 0, \end{cases} \quad \kappa > 1 \end{aligned}$$ $$\alpha = \min\left(\alpha_{\max}, 1 + \frac{\sum_{H_+} A_i}{\sum_{C_+} A_i}\right), \qquad \beta = \max\left(\beta_{\min}, 1 - \frac{(\kappa - 1)\sum_{H_-} |A_i|}{\sum_{C_-} |A_i|}\right)$$

这里 $\kappa > 1$ 成倍增加被标记 token 上负向优势的幅度；$\alpha$ 将未被标记的正向 token 向上缩放，而 $\beta$ 将未被标记的负向 token 向零缩放。超参数 $\alpha_{\max} \ge 1$ 和 $0 < \beta_{\min} \le 1$ 分别限制正向放大的上限和负向衰减的下限。调整后的 token 优势 $\widetilde{A}_{i,t}$ 替换公式 (1) 中的 $A_i$。这种设计掩盖了正向轨迹中被标记的 token（使其优势为 0），并在负向轨迹中更严厉地惩罚它们。被移除的正向优势被重新分配给未被标记的正向 token，而增加的负向幅度则通过减少对未被标记的负向 token 的惩罚来抵消：没有检测到错误的行为会根据轨迹的符号获得更多的强化或更少的惩罚。当两个缩放因子均未被截断（Clipped）时，每个符号的总优势质量是守恒的，从而限制了可能驱动不受控制的熵增长的过度负向压力。如果分母为零，则将其缩放因子设置为 1；在这种情况下或发生截断时，不保证质量守恒。

3.2 强化学习与在线策略蒸馏基础设施（RL and OPD Infrastructure）

混合任务大批量 RL 与 OPD 基础设施概览。MiMo-V2.6 系列将 RL 和在线策略蒸馏（OPD）训练扩展到智能体 rollout 的大型混合任务批次。为了支持灵活的智能体 rollout 场景，定义了执行模型和轨迹数据结构，并使用惩罚模块（Penalty Module）提炼学习信号（§3.2.1）。在大批大小下，实现了 Harness Pool 以托管多个框架并维持高 rollout 并发，以及 Payload Porter 以缓冲数以万计带有沉重路由和多模态数据的轨迹（§3.2.2）。实现了与动态采样器和部分 rollout 协同工作的 Sample Mixer，以稳定地交付符合指定训练分布的训练批次（§3.2.3）。为了实现稳定高效的 RL 训练，在训练和推理引擎之间对齐了 MoE 路由和 top-$p$ 采样候选集，同时针对 RL 负载优化了两个引擎（§3.2.4）。

Figure 14 RL 基础设施的整体架构图。
Figure 14 RL 基础设施的整体架构图。

3.2.1 具有细粒度学习信号的智能体 RL（Agentic RL with Fine-grained Learning Signals）

以智能体为中心的执行模型与分层轨迹组织概述。智能体 rollout 跨越多个轮次和对话上下文，而结果奖励仅提供粗粒度的监督。因此，采用以智能体为中心（Agent-centric）的执行模型，并将轨迹数据组织为层次结构。在此层次结构内，可配置的惩罚模块（Penalty Module）应用损失掩码和优势塑形（Advantage shaping）。它针对局部模型错误，并将基础设施故障排除在训练信号之外。

智能体循环（Agent Loop）。我们将 rollout 从以推理为中心的设计转变为以智能体为中心的设计：每条序列作为一个 Agent Loop 运行，它拥有环境的生命周期、管理其产生的对话，并按需调用推理引擎。生命周期涵盖设置（Setup）、交互（Interaction）、奖励评估（例如运行测试用例）和清理（Cleanup）。在交互期间，该循环暴露一个请求端点（Request endpoint），外部智能体通过调用它来驱动 rollout。每个对话同时保存为字符串前缀和 token 序列。前缀匹配（Prefix matching）定位传入请求所扩展的对话，并且仅对新的后缀进行分词（Tokenized）并传递给推理引擎，从而使其接口保持纯粹的 token 输入、token 输出（token-in, token-out）。

四层轨迹层次结构（Trajectory Hierarchy）。子智能体（Subagents）、上下文压缩（Context compaction）和多智能体角色会在一次 rollout 内产生并发的对话分支。我们将轨迹数据组织为四层层次结构：Sample -> Sequence -> Context -> Segment：

  • Sample（样本）：是由 Sample Mixer（§3.2.3）派发的一个 prompt。在诸如 GRPO【Shao et al., Deepseekmath: Pushing the limits of mathematical reasoning in open language models, 2024, arXiv, https://arxiv.org/abs/2402.03300】之类的组内算法中，一 个 Sample 会衍生出一组 Sequences，并且该组作为一个整体被接受或拒绝。
  • Sequence（序列）：是一次 Agent Loop 执行，可能包含几个并发的 Contexts。
  • Context（上下文）：是一个持有 Segments 列表的对话分支；它是前缀匹配、KV-cache 复用和训练数据导出的基本单元。
  • Segment（片段）：是单个轮次（Turn）——一条系统或用户消息、一次模型生成或一个工具结果——并且只有模型生成的轮次才对损失有贡献。

惩罚模块（Penalty Module）。组内算法将结果奖励平均分配给序列中所有由模型生成的 token。在上述层次结构中，信用很少是均匀的：有些轮次偏离了路径或退化了，而有些失败与模型无关。为了将信用分配到应得之处，我们将检测与其对训练的影响分离开来：

  • 规则（Rule）：通过手工逻辑或基于模型的裁判来评判一个 segment、context 或 sequence。例如，规则可以捕获不归咎于模型的基础设施故障、乱码 token 模式、对不可用工具的调用以及重复生成。
  • 策略（Strategy）：将一个动作绑定到层次结构的某个级别：mask 将命中的内容从损失中排除；advantage shaping 设置、缩放或减去命中 token 上的优势；monitor 仅记录指标。复合的早停策略（Early stop strategy）一旦其规则触发就会立即中止 rollout，将结果奖励清零，对触发轮次和早期轮次应用不同的动作，并掩盖兄弟上下文（Sibling contexts）。
  • 惩罚向上升级机制：惩罚沿着层次结构向上升级：没有幸存模型轮次的 context 会被丢弃，没有幸存 context 的 sequence 会获得零优势，而没有幸存 sequence 的 sample 会被直接拒绝。训练中应用的具体惩罚已在 §3.1.3.3 中描述。

3.2.2 Harness Pool 与 Payload Porter：支持多框架的大批量 RL

并发执行与数据解耦传输设计概述。将 RL 训练扩展到大批次会增加 rollout 并发度以及轨迹数据的内存和通信成本。混合任务批次增加了另一个异构性维度：单个批次混合了多个挂载框架（Harnesses），每个训练样本组绑定到一个框架。在执行端，Harness Pool 在持久化的多租户 Actor 池中托管并发的框架实例和 Agent Loops，并且框架代码库、智能体行为和环境设置是独立配置的。在数据端，Payload Porter 让驱动节点（Driver）仅在轻量级元数据上进行调度。沉重的负载（Payloads）被一次性写入分布式存储，并在消费它们的地方进行打包。多模态负载以同样的方式拆分为元数据和像素，并进行增量传输和负载均衡编码。

多租户 Rollout 执行（Multi-tenant Rollout Execution）。我们使用 Ray actors【Moritz et al., Ray: A distributed framework for emerging AI applications, 2018, OSDI】在集群中执行智能体框架和 Agent Loops。如果为每个框架实例和 Agent Loop 分配一个专用的 Ray actor，会在 Ray 的全局控制存储（GCS）节点上为每个 actor 消耗一个文件描述符，而大批次会耗尽 GCS 节点的文件描述符。因此，我们改为运行固定大小的持久化宿主 Actor（Host actors）池，每个宿主承载许多并发租户——模型端的 Agent Loops 和环境端的框架实例。每个租户保留自己的轨迹状态，并通过正在进行的实例数量来平衡分配。一个宿主是单个进程，其租户共享一个事件循环（Event loop）。在模型端，它们还共享一个请求端点、一个推理代理（Inference proxy）和一个分词器；在环境端，共享一个导入的框架代码库。共享事件循环会让一个阻塞调用卡住所有租户，因此阻塞工作——环境操作和分词——在后台线程上运行。这在并发 rollout 之间分摊了进程和服务开销，支持更大的并发批次，而不会成比例地增加 Actor 数量。

异构智能体挂载框架管理（Heterogeneous Agent Harnesses）。我们将框架代码库、智能体行为和环境设置分开配置，以在单次训练运行中适应多样化的任务。不同的数据源可以使用不同的代码库，而智能体配置则在同一个源内的不同 prompt 之间变化。每个训练样本组使用相同的配置来进行组内相对优势估计。由于一个进程只能导入一个框架代码库，因此不同的代码库在独立的池中运行。这些池获得固定预算的宿主 Actor 的可配置份额——在启动时一次性设置，独立于每一步调度的训练数据混合比例。因此，框架多样性和 rollout 并发度在同一个执行框架内实现了扩展。

解耦的数据面与控制面（Disaggregated Data Plane and Control Plane）。扩展后的批次必须一次缓冲数以万计的序列，而且每条序列都很沉重：除了 token ID 和对数概率外，它还携带 MoE 路由数据、top-$p$ 采样索引和多模态数据。负载体积随序列数量和长度的增加而增长，将每个负载收集到一个驱动节点上会将批大小限制在该节点的内存容量上。因此，我们将数据面与控制面解耦，在 rollout 完成时拆分每条序列：其负载被一次性写入分布式键值存储（例如 Ray 对象存储或 TransferQueue【Han et al., Asyncflow: An asynchronous streaming rl framework for efficient llm post-training, 2025, arXiv, https://arxiv.org/abs/2507.01663】），而驱动节点仅在轻量级元数据（标量奖励、每个上下文的长度以及寻址每个负载的键）上运行所有调度。在组完成时，仅从存储中读取所需的字段：用于接受时钩子 （Accept-time hook）的几列数据。当配置了组内评分器时，它会与 Agent Loops 完全异步地并行运行——其延迟被隐藏，其结果允许滞后——并在返回时重写组奖励。然后，采样器仅根据元数据按通过率接受或拒绝该组，钩子施加长度惩罚、计算组内相对优势并应用优势塑形。逐 token 的优势被写回存储中；优势全为零的组默认被丢弃。在 OPD 模式下，奖励评估被教师打分取代：每条轨迹被发送到教师服务器，其得分被异步收集到同一个分布式存储中。在批次产出（Batch yield）时——一旦每个数据源都贡献了其批次份额——产出钩子将接受的序列打包成微批次（Micro-batches）并将它们分配给各个 rank，全程不触碰任何张量。在打包时，每个训练张量并行（TP）组配置一个打包器（Packer），服务于该组中的所有 rank。从存储中未填充（Unpadded）的行中，它仅获取其上下文并行（CP）窗口触及的那些行，并仅切出该窗口。结果作为单个只读内存副本在 TP 组内共享。这避免了在驱动节点上进行全批次聚合，以及在打包期间产生稠密的填充中间体。

多模态数据的增量传输与负载均衡编码（Multi-Modal Data）。多模态负载遵循相同的元数据/负载拆分，但需要额外小心：随着智能体跨轮次反复截图和读取图像，单条轨迹可能会积累数 GB 的此类数据——存储成本高昂，且随着历史记录的增长重新传输的成本也很高。因此，在 rollout 期间，Agent Loop 仅在请求之间发送多模态增量（Multi-modal delta，§3.2.4）。对于训练，每个图像项都必须通过视觉编码器。因为视觉编码器在张量并行组内是复制的，而 LLM 骨干是分片的，所以编码首先以数据并行方式运行——图像项独立于每条序列的 token 落在何处而在各个 rank 之间进行负载均衡。编码之后，嵌入被重新分配给持有相应 token 的 rank。负载本身保留在分布式键值存储中：负载均衡规划仅读取项目元数据，像素仅在编码器计算时才被获取。这限制了冗余的负载移动，同时适应了不均匀的多模态工作负载。

3.2.3 Sample Mixer：稳定的异步混合任务 RL

异构数据源的耗时与过滤率差异挑战。自 MiMo-V2-Flash【Core Team et al., MiMo-V2-Flash technical report, 2026, arXiv, https://arxiv.org/abs/2601.02780】以来，我们一直维护着一个数据调度器 （Data Scheduler），它与动态采样器【Yu et al., DAPO: an open-source LLM reinforcement learning system at scale, 2025, NeurIPS】和部分 rollout【Kimi Team, Kimi k1.5: Scaling reinforcement learning with llms, 2025, arXiv】一起，以跨数据源的指定训练分布为目标。混合任务 RL 尽管面临 rollout 持续时间和过滤率的巨大差异，仍必须保持这一分布，以便每个数据源都能得到有效训练。在分析的 25 个数据源中，平均生成 token 数和活跃 rollout 持续时间分别相差 $90\times$ 和 $66\times$（见图 15），这促使我们设计能够适应每个源工作负载的调度机制。为了应对这些挑战，实现了 Sample Mixer，通过四个机制填充指定的训练分布：自适应 Rollout 并发（Adaptive Rollout Concurrency）设置每个源的预算，自适应 Rollout 调度（Adaptive Rollout Scheduling）在预算内选择数据源，预测性 Rollout 派发（Predictive Rollout Dispatch）将新 rollout 放置在各个 rank 上，以及样本回放（Sample Replay）覆盖启动和恢复阶段。

Figure 15 跨 25 个数据源的 Rollout 异构性。每条线连接一个数据源的起点（Start，浅色，第 1-5 步均值）和终点（End，实心，第 26-30 步均值）；每个点绘制了该数据源在已完成 rollout 上的平均生成 token 数与平均 rollout 时间的关系（token 在上下文过滤前跨对话上下文求和）。两个坐标轴均为对数刻度。
Figure 15 跨 25 个数据源的 Rollout 异构性。每条线连接一个数据源的起点（Start，浅色，第 1-5 步均值）和终点（End，实心，第 26-30 步均值）；每个点绘制了该数据源在已完成 rollout 上的平均生成 token 数与平均 rollout 时间的关系（token 在上下文过滤前跨对话上下文求和）。两个坐标轴均为对数刻度。

自适应 Rollout 并发（Adaptive Rollout Concurrency）。较慢的数据源需要更多的并发 rollout 来维持相同的训练贡献。对于源 $i$，令 $B_i$ 表示每个训练步的目标保留样本组数，$r_i$ 表示估计的组接受率（Group acceptance rate），$t_i$ 表示估计的活跃 rollout 持续时间（包括模型生成和环境交互，但不包括训练步之间的暂停）。预期的生成需求为 $m_i = B_i / r_i$；在固定的训练吞吐量下，所需的并发度与 $t_i m_i$ 成正比。我们为每个源分配 $(1 + p_i) m_i$ 个组的调度预算，其中过采样率（Oversampling ratio）$p_i$ 满足：

$$p_i = \mathrm{clip}(c t_i - 1, p_{\min}, p_{\max}), \qquad \frac{\sum_i m_i p_i}{\sum_i m_i} = \bar{p}$$

共享因子 $c$ 在受限于每个源的边界 $[p_{\min}, p_{\max}]$ 的前提下，将 $p_i$ 的需求加权均值保持在全局过采样率 $\bar{p}$。随着工作负载的变化，我们根据最近的计时和接受率统计数据重新计算这一分配。在稳态下，并发需求随源的 rollout 持续时间和目标数量的增加而增长，并随其接受率的增加而下降。

自适应 Rollout 调度（Adaptive Rollout Scheduling）。在这些预算范围内，调度在长期生成需求与当前训练批次的收集进度之间取得平衡。如果当前批次已经从源 $i$ 接受了 $A_i$ 个组，则其调度权重为：

$$w_i = \alpha \frac{B_i}{r_i} + (1 - \alpha) \frac{(B_i - A_i)^+}{r_i}$$

其中 $(x)^+ = \max(x, 0)$ 且 $\alpha \in [0, 1]$。第一项（目标项）维持长期生成需求；第二项（亏空项，Deficit term）优先考虑仍有剩余亏空的源。这些权重驱动平滑加权轮询（Smooth weighted round-robin）；稳态启动（Steady-state startup）将 $\alpha = 0.5$ 与按 $t_i m_i$ 比例分配的初始并发度相结合。图 16 中的轨迹驱动仿真（Trace-driven simulation）在固定并发限制和非约束性源预算下比较了不同策略：在此工作负载中，亏空修正调度（Deficit-corrected scheduling，$\alpha = 0.5$）相比纯基于亏空的调度（$\alpha = 0$）改善了占用稳定性（Occupancy stability），相比纯基于目标的调度（$\alpha = 1$）改善了收集平衡性（Collection balance）。仿真持续时间根据图 15 中每个源在终点（End）处的平均 rollout 时间进行了校准。

Figure 16 六个数据源的轨迹驱动调度仿真。图例：平均持续时间 / 组接受率。上图：收集进度（已接受组数 / 名义每步目标数，盈余结转至下一步）。下图：Rollout 占用率（占用的序列槽位份额）。步间距反映经过的时间。虚线标记步边界。排除了训练时间、信用分配延迟、陈旧度（staleness）过期和样本回放。
Figure 16 六个数据源的轨迹驱动调度仿真。图例：平均持续时间 / 组接受率。上图：收集进度（已接受组数 / 名义每步目标数，盈余结转至下一步）。下图：Rollout 占用率（占用的序列槽位份额）。步间距反映经过的时间。虚线标记步边界。排除了训练时间、信用分配延迟、陈旧度（staleness）过期和样本回放。

预测性 Rollout 派发（Predictive Rollout Dispatch）。我们联合估计 KV 需求和预期推理并发度，以指导新 rollout 在各个 rank 上的准入和放置。每个源的先验知识（Per-source priors）估计一次 rollout 的总序列长度（输入和生成 token，跨上下文求和）；这些先验从已完成的 rollout 中更新，并用于估计 KV 需求。仅当其估计 KV 需求的安全裕度倍数（Safety-margin multiple）适合目标 rank 的剩余 GPU KV 容量时，才准入该 rollout。分层缓存（§3.2.4）跨越 HBM 和锁页主机内存池（Pinned host pool）：这两层共同保留已准入 rollout 的状态。估计的花费在环境执行上的 rollout 时间比例将 rollout 并发度转换为预期推理并发度。我们用捕获 CUDA 图（CUDA graph capture）时使用的最大运行请求数来限制这一预期值，从而限制延长 rollout 生命周期和增加陈旧度（Staleness）的排队延迟。为了在两个约束条件下最大化吞吐量，贪心启发式算法选择具有最大剩余容量的可行 rank——即均以序列为单位表示的可用并发槽位和剩余 KV 容量的最小值——并在每次放置后更新这两个量。

样本回放（Sample Replay）。我们使用样本回放来加速从慢速源进行的初始收集。在性能分析中，启动阶段的样本收集耗时约为连续运行时的 $1.8\times$。在慢速源内部，较短的 rollout 往往先完成，即使满足了每个源的目标，也会使初始批次产生偏差。因此，在启动或检查点恢复后的第一个收集步期间，重用来自选定慢速源的已完成 rollout 组，在当前过滤规则下填补剩余的每个源的亏空。全新启动回放（Fresh-start replay）假设存储的 rollout 是在运行的起始策略下生成的；恢复回放（Recovery replay）则重用在恢复之前生成且仍在每个源的陈旧度限制（Staleness limit）内的已完成 rollout。将回放限制在第一个收集步减少了等待慢速源的时间，同时保留了指定的训练分布。

3.2.4 训练/推理一致性与系统优化（Training/Inference Consistency and Optimization）

引擎架构继承与一致性及优化措施概览。我们扩展了 MiMo-V2-Flash【Core Team et al., MiMo-V2-Flash technical report, 2026, arXiv】的 RL 和 OPD 基础设施，继续保留 SGLang【Zheng et al., Sglang: Efficient execution of structured language model programs, 2024, NeurIPS, http://papers.nips.cc/paper_files/paper/2024/hash/724be4472168f31ba1c9ac630f15dec8-Abstract-Conference.html】 和 Megatron-LM【Shoeybi et al., Megatron-lm: Training multi-billion parameter language models using model parallelism, 2019, arXiv, https://arxiv.org/abs/1909.08053】分别作为推理引擎和训练引擎。 在 MiMo-V2.6 中，在 rollout 期间使用 MXFP4 作为专家（Experts）的数据类型。我们在混合专家（MoE）路由和概率归一化方面保持两个引擎之间的一致性。在推理端，上下文缓存（Context Cache）跨轮次携带路由记录、采样候选集和视觉输入以及 KV 状态，并将空闲状态卸载到主机内存。在 RL rollout 日志上训练的草稿模型通过投机解码进一步加速生成。在训练端，降低了长序列的内存和通信成本。

训练-推理一致性（Training–Inference Consistency）：

  • 专家权重量化-反量化（QDQ）：为了支持 MiMo-V2.6 系列，在每次参数更新后对专家应用量化-反量化（QDQ）。该量化遵循 rollout 期间使用的 MXFP4 Humming GEMM 内核【vLLM Project, Humming, 2026, GitHub, https://github.com/vllm-project/humming/releases/tag/v0.1.15】的数值约束，因此两个引擎看到完全相同的专家权重 。
  • Rollout 路由重放（R3）：即使在完全相同的参数下，引擎之间的数值差异也会翻转离散的专家选择；Rollout 路由重放（R3）【Ma et al., Stabilizing moe reinforcement learning by aligning training and inference routers, 2025, arXiv, https://arxiv.org/abs/2510.11370】记 录 rollout 期间使用的专家索引，并在训练期间重放它们，从而重现捕获的执行路径。
  • Top-$p$ 采样候选集重放与稀疏传输：Top-$k$ 和 top-$p$ 采样在受限的候选集而不是整个词表上进行重归一化；我们在 rollout 期间记录每个 token 的候选集【Liu et al., Deepseek-v3.2: Pushing the frontier of open large language models, 2025a, arXiv；The Microsoft AI Team, MAI-Thinking-1: Building a hill-climbing machine, 2026, Tech Report】，并在其内部重归一化训练对数概率，以匹配采样器的归一化。对于 top-$p$ 采样，只有 GPU 到 CPU 的传输是稠密的：我们传输一个形状固定且宽度为完整词表大小的位图（Bitmap）。固定形状避免了 GPU-CPU 同步；完整宽度则永远不会截断哪怕是跨越整个词表的集合。所有后续阶段都是稀疏的：在典型的 top-$p = 0.97$ 下，一个候选集平均不到 5 个 token。R3 和 top-$p$ 候选集重放都只产生可忽略的开销，因为负载保持紧凑并移出了关键路径。

分层上下文缓存（Context Caching）。沿用 MiMo-V2-Flash 的请求级 KVCache，每个对话上下文都有一个持久化的键：在同一个策略版本内，后续轮次会命中缓存的 KV（包括已生成的 token），并且仅对新的后缀进行 prefill。上下文缓存是一种深思熟虑的有状态选择：缓存的状态比每个单轮次存活得更久。因此，专家索引和候选集不会在中间轮次返回，而仅在最终收集 rollout 时返回，从而避免了碎片化的逐轮通信和处理。历史多模态输入既不需要重新哈希也不需要重新发送：它们的视觉 token 已经位于缓存的 KV 内部。只有新引入的图像才会跨越进程边界；完整的视觉输入仅在策略更新或缓存未命中（Cache miss）后才会被发送。多轮环境交互将轨迹的挂钟时间（Wall clock）划分为 GPU 时间（生成）和工具时间（等待环境）；缓存的分层扩展在空间上反映了这种时间划分——状态在 GPU 时间驻留在 HBM 中，而在工具时间驻留在锁页主机内存池中。卸载（Offloading）和恢复（Restoration）在侧边 CUDA 流（Side CUDA streams）而不是计算流上运行，绝不会阻塞生成。因此，HBM 尽可能地专门用于正在运行的请求：解码批次越大，算术强度和计算利用率就越高。

草稿模型投机解码加速（Draft Model Acceleration）。RL rollout 默认使用 block-6 DFlash 进行投机解码，取代了从 SFT 继承的多 token 预测（MTP-3）配置。DFlash 最初在 SFT 策略上进行训练，随后在经过重采样以匹配 RL 训练分布的早期 RL rollout 日志上进行微调。在此默认配置下，平均接受长度（Average accepted length）比 MTP 配置高出 $31.3\%$。在较大的 RL 批大小下，我们根据端到端吞吐量而不是仅凭接受率来选择草稿块大小（Draft block size）。较小的草稿块减少了验证工作量：在混合任务 RL 评估中，block-6 相比 block-8 将全局平均吞吐量提高了约 $6\%$，而平均接受长度几乎没有变化。同时还应用了低精度草稿计算（FP8）以减少起草开销。在我们的长上下文工作负载上，适应了 RL 的 FP8 DFlash 实现了比基线高出约 $10.3\%$ 的单节点吞吐量。

训练端优化（Training Optimization）。我们在 1M token 的上下文长度下进行 RL 训练。MiMo-V2.6 将 128-token 的滑动窗口层与全注意力层交错排列。在上下文并行（Context parallelism）下，滑动窗口层仅交换其查询可以触及的 KV——最多是一个窗口大小的片段——因此每层的通信流量受限于窗口大小而不是序列长度。长序列还会使内存占用膨胀，且 MoE 专家不平衡会将峰值内存推得更高。优化器状态保留在 CPU 内存中，仅在参数更新时才复制回 GPU。所有损失计算都被融合（Fused）到一个内核中：策略梯度损失（带或不带 top-$p$ 重归一化）和 OPD 损失，并可选择性地附带熵、标签 logit 和 top-$p$ 质量等指标。这种算子融合节省了内存并缩短了单步时间。

3.3 通过 MOPD2 拓宽能力边界（Broadening Capabilities via MOPD2）

多前缀多教师在线策略蒸馏（MOPD2）机制。在混合 RL 之后，我们使用多前缀多教师在线策略蒸馏（Multi-Prefix Multi-Teacher On-Policy Distillation, MOPD2）来整合针对不同任务（包括难以验证的任务）训练的教师模型的能力。在 MiMo-V2-Flash 的 MOPD【Core Team et al., MiMo-V2-Flash technical report, 2026；Ma et al., Mopd: Multi-teacher on-policy distillation for capability integration in llm post-training, 2026, arXiv, https://arxiv.org/abs/2606.30406】基础上，我们在具有合 适 mixRL 教师的领域保留自主的学生 rollout（标准 MOPD），并添加了以历史前缀为条件的单轮 rollout（Prefix-conditioned single-turn rollouts）【Liao et al., Multi-turn on-policy distillation with prefix replay, 2026, arXiv, https://arxiv.org/abs/2607.04763】。 图 13 展示了教师配置以及标准和前缀条件蒸馏工作流。

基于教师或 SFT 前缀的单轮生成与监督。前缀来自教师 rollout（Teacher-Prefix OPD）或 SFT 数据（SFT-Prefix OPD）。一条具有 $k$ 个助手轮次（Assistant turns）的轨迹提供 $k$ 个完整的历史前缀，每个前缀在相应的轮次之前结束。学生从每个前缀中采样生成一个新的轮次，而不重新生成早期的交互。预先分配的教师以相同的历史记录和学生生成的前序 token 为条件，提供 token 级的监督。

利用 SFT 前缀抑制长程任务中的学生偏离。对于难以设计可靠 RL 奖励的开放域任务，我们在高质量的合成演示数据上训练 SFT 教师。它们的训练可能对长程任务中学生反复偏离后所达到的历史状态覆盖有限【Xu et al., Speculative knowledge distillation: Bridging the teacher-student gap through interleaved sampling, 2025, ICLR, https://openreview.net/forum?id=EgJhwYR2tB】。因此 ，SFT-Prefix OPD 从固定的演示前缀开始每次 rollout，从而限制了在采样轮次之前的偏离。演示数据提供了上下文，而学生则生成自己的延续内容，而不是模仿固定的响应。

向复杂难验证领域的泛化效果。MOPD2 进一步将经过 RL 训练的模型的能力扩展到训练时难以进行可靠验证的领域，包括那些具有复杂环境或难以设计验证器的领域，例如长程游戏开发、科学研究和具身智能（Embodied intelligence）。

Figure 13 MiMo MOPD2 概览。(a) 领域特定教师在可验证任务上使用 MixRL 训练，或在开放域任务的合成演示上使用 SFT 训练。(b) 标准 MOPD 使用 RL 教师来监督完整的学生 rollout。(c) 前缀条件 OPD 重用来自教师 rollout（Teacher-Prefix OPD）或 SFT 数据（SFT-Prefix OPD）的轨迹。具有 k 个助手轮次决策点的源轨迹产生 k 个完整的历史前缀 h_i，每个前缀都可以初始化一个独立的学生生成轮次 y_i，以供相关领域教师进行 token 级蒸馏。SFT 数据仅提供前缀上下文，而不是固定的延续目标。
Figure 13 MiMo MOPD2 概览。(a) 领域特定教师在可验证任务上使用 MixRL 训练，或在开放域任务的合成演示上使用 SFT 训练。(b) 标准 MOPD 使用 RL 教师来监督完整的学生 rollout。(c) 前缀条件 OPD 重用来自教师 rollout（Teacher-Prefix OPD）或 SFT 数据（SFT-Prefix OPD）的轨迹。具有 k 个助手轮次决策点的源轨迹产生 k 个完整的历史前缀 h_i，每个前缀都可以初始化一个独立的学生生成轮次 y_i，以供相关领域教师进行 token 级蒸馏。SFT 数据仅提供前缀上下文，而不是固定的延续目标。

4. 实验环境与训练设置

4.1 强化学习训练设置（RL Training Setup）

  • 任务领域分布：RL 任务跨越多个领域，具体配比为：智能体与竞赛级代码（Agentic and competitive coding）占 $68\%$，通用工具使用（General tool use）占 $12\%$，美学设计（Aesthetic design）占 $13\%$，上下文遵循（Context following）占 $3\%$，网络安全（Cyber security）占 $4\%$。
  • 批次规模与异步配置：每个训练步采样 1,568 个 prompt，每个 prompt 采样 $G=16$ 条 rollout，全局训练批次总计为 25K 条轨迹（约 $2.7\text{B}\sim 3.7\text{B}$ 个训练 token，上下文长度高达 1M）。训练采用 GRPO 算法，配合最大陈旧度（Staleness）为 4 的异步部分 rollout（Asynchronous partial rollouts）。

  • 优化器参数配置（Muown & AdamW）：

    • 使用 Muown 优化器，学习率为 $3 \times 10^{-6}$，无权重衰减（No weight decay），无学习率预热（No warmup），梯度裁剪阈值为 $1.0$。
    • 对于 Muon 组件：动量系数设为 $0.95$ 并启用 Nesterov 动量，每次更新执行 10 次 Newton–Schulz 迭代，并应用 $0.5$ 的额外更新缩放因子。
    • 对于 Adam 组件（用于 Embedding、LM head 等）：设置 $\beta_1 = \beta_2 = 0.95$，$\epsilon = 10^{-8}$。
    • 低精度与路由稳定性初始化：为了稳定 MXFP4 训练，通过从 SFT 检查点继承 FP32 主权重（Master weights）和 Muown 的行状态（Row state）来初始化 RL。在 RL 训练期间，冻结 MoE 路由器（Freeze the router）以维持稳定的专家负载。

  • 策略优化算法细节（GRPO 与动态解耦裁剪）：

    • 采用公式 (1) 中的组内相对策略优化（GRPO），优势计算详见 §3.1.3。
    • 损失聚合：使用 prompt 均值聚合（Prompt-mean aggregation），即在 prompt 级别而不是所有响应 token 上平均代理损失，防止响应长度在 RL 期间增长过快。
    • 重要性采样比率：逐 token 计算为 $r_{t,i} = \mathrm{sg}[\pi_\theta(o_{i,t}) / \mu_{\theta_{\mathrm{old}}}(o_{i,t})]$。训练概率由训练框架中的当前模型产生，推理概率由生成该 token 时的 rollout 模型产生；对于部分 rollout，不重新计算推理概率。
    • 基于策略熵自适应调整的四边界解耦裁剪：使用四个解耦的边界来裁剪重要性采样比率：正向优势使用 $\epsilon_+^l, \epsilon_+^h$，负向优势使用 $\epsilon_-^l, \epsilon_-^h$，给出裁剪掩码 $M = \mathbb{1}\left[(A \ge 0 \land \epsilon_+^l \le r \le \epsilon_+^h) \lor (A < 0 \land \epsilon_-^l \le r \le \epsilon_-^h)\right]$。正向和负向边界均初始化为 $[0.2, 5.0]$，并在运行时根据策略熵独立调整：当熵过低时，放宽正向边界并收紧负向边界以将熵拉回正常范围；当熵过高时则执行相反操作。在整个训练过程中持续监控每个方向的 token 裁剪率。

4.2 评测基准套件（Evaluation Settings）

所有支持配置推理努力程度（Reasoning effort）的基线模型均在最高支持设置（max）下进行评估。评测涵盖四大类别（结合公共基准与三个内部基准）：

  1. 代码智能体（Code Agent）：

    • DeepSWE v1.1（Huang et al., 2026）：聚焦于长程软件开发任务。
    • ProgramBench（Yang et al., 2026a）：评估端到端软件构建，要求智能体从编译后的二进制文件和文档中重建程序，复现参考程序的行为。
    • MiMo Code Bench：涵盖多样化编程任务的内部代码智能体评测集。

  2. 网络安全（Cybersecurity）：

    • CyberGym（Wang et al., 2025）：衡量在真实软件中复现漏洞的能力（注：遵循 Claude-Sonnet-4.5 系统卡做法，报告在具有非空修复提交的 1,499 个实例子集上的得分）。
    • SEC Bench Pro（Lee et al., 2026）：强调根据错误报告复现复杂漏洞。
    • ExploitGym（Wang et al., 2026）：评估超越单纯触发崩溃的漏洞利用（Exploit）开发能力。
    • ExploitBench（Lee and Brumley, 2026）：评估跨越多个漏洞利用阶段的进展及产生的安全影响。
    • MiMo Cyber Bench：内部网络安全评测集。

  3. 通用智能体（General Agent）：

    • AutomationBench v1.0.6（Shepard and Salimans, 2026）：评估模拟 SaaS 环境中通过 REST API 进行的跨应用工作流编排（含 API 发现和业务规则遵循）。
    • Toolathlon-Verified（HKUST NLP, 2026; Li et al., 2026a）：评估使用多样化工具（包括通过 MCP 暴露的工具）的长程多应用工作流。
    • GDPval-AA v2.1（Artificial Analysis, 2026; Patwardhan et al., 2025）：评估在具有经济价值的任务上专业交付物的质量。
    • JobBench（Li et al., 2026b）：评估领域专家认定为高优先级委派给 AI 智能体的工作场所工作流。
    • Agents' Last Exam（Sun et al., 2026）：评估具有可验证结果的长程、高经济价值专业任务。
    • Terminal-Bench 4.0 & 2.1（Marten et al., 2026; Merrill et al., 2026）：评估终端环境中复杂任务的完成情况。
    • OSWorld-Verified（Xie et al., 2024; XLANG Lab, 2025）：评估跨真实网页和桌面应用的交互式计算机使用（Computer use）。

  4. 视觉智能体（Visual Agent）：

    • MiMo Visual Coding：内部开发的基准，涵盖开放式设计（如 WebDev 网站构建）和高保真视觉复现（如 Image2Code 图像转代码）。

4.3 软硬件与开源套件配置

  • 硬件与计算规模：在单次运行中跨数千张 GPU 扩展 RL 训练；MiMo-V2.6-Pro 总耗时 123.1 小时（30 步），成本 $\$2.6\text{M}$；MiMo-V2.6-Flash 总耗时 81.8 小时（30 步），成本 $\$0.9\text{M}$。
  • 软件栈：推理引擎基于 SGLang（集成 MXFP4 Humming GEMM 内核与 DFlash 投机解码），训练引擎基于 Megatron-LM，分布式调度基于 Ray 及分布式键值存储（Ray object store / TransferQueue）。
  • 开源套件配置（第 7 节）：基于 Qwen3.5-9B 使用 77.4B 总 token（含 27.2B loss tokens）的 MiMo 生成数据进行 SFT 蒸馏得到 MiMo-V2.6-Distill-Qwen-9B，并配套开源约 7k 个多领域 RL 训练环境（Code 3k、Cyber 1k、General 1k、Visual 2k，另含约 1k 个音乐生成任务）。

5. 实验结果与分析

5.1 强化学习扩展性能与多框架泛化（RL Performance）

  • 训练过程中的性能与 Token 消耗演进：如图 9 所示，尽管检查点之间存在波动，MiMo-V2.6-Flash 和 MiMo-V2.6-Pro 在 RL 训练期间在 DeepSWE v1.1、AutomationBench v1.0.6 和 MiMo Visual Coding 上均取得了整体提升。这些收益通常伴随着总 token 数量的增加（例如在 DeepSWE 上 Flash 的总 token 数从约 155K 增至近 240K，Pro 从约 140K 增至 215K），表明更强的任务性能是伴随着更多的 token 使用而发展起来的。
Figure 9 在 DeepSWE v1.1、AutomationBench v1.0.6 和内部 MiMo Visual Coding 基准测试上，RL 训练期间的基准测试得分（上图）和以千为单位的总 token 数（下图）。浅橙色和深橙色曲线分别代表 Flash 和 Pro。
Figure 9 在 DeepSWE v1.1、AutomationBench v1.0.6 和内部 MiMo Visual Coding 基准测试上，RL 训练期间的基准测试得分（上图）和以千为单位的总 token 数（下图）。浅橙色和深橙色曲线分别代表 Flash 和 Pro。
  • 多挂载框架训练（Multi-Harness Training）的跨框架迁移验证：如图 10 所示，专门的多框架训练同时提升了模型在 4 个训练用 mini-harnesses（code-mini-harness1~4）和 3 个未见过的保留框架（Held-out harnesses：codex、claude code 和 mini-swe-agent）上的 DeepSWE v1.1 性能。尽管检查点之间存在波动，所有三个保留框架在训练过程中均有所改善，其平均 Pass@1 从大约 $50\%$ 提升至 $66\%$。训练框架与保留框架之间的平均性能差距也随之缩小，证明所习得的编程能力能够跨不同的框架实现进行迁移，验证了使用轻量级模块化 mini-harnesses 引入受控多样性的设计。
Figure 10 多框架训练期间 DeepSWE v1.1 上的 Pass@1，分别使用 (a) 训练框架和 (b) 保留（未见）框架进行评估。较浅的曲线显示单个框架的结果；粗橙色曲线显示每个面板内的均值。
Figure 10 多框架训练期间 DeepSWE v1.1 上的 Pass@1，分别使用 (a) 训练框架和 (b) 保留（未见）框架进行评估。较浅的曲线显示单个框架的结果；粗橙色曲线显示每个面板内的均值。

5.2 冻结路由器以实现稳定 RL（Router Freezing for Stable RL）

  • 可训练路由器的负载崩溃现象：图 11 比较了两次仅在“是否冻结 MoE 路由器”上有所不同的 MiMo-V2.6-Pro RL 运行，追踪了解码器第 9 层（384 个专家）的三个专家负载统计量（每步归一化负载）：变异系数（CV，即 std/mean）、峰值负载因子（max/mean）以及负载低于均值 $0.1\times$ 的冷专家比例（Cold experts）。当路由器可训练时，观察到严重的负载崩溃问题：所有三个指标在前 20 步内单调上升，CV 从 $0.78$ 上升到 $2.0$，峰值负载从 $6\times$ 上升到 $16\times$，冷专家比例从 $0.5\%$ 激增至 $22\%$。
  • 归因诊断与冻结效果：为了诊断原因，将第 20 步检查点的路由器参数恢复为其 RL 前的初始值，同时保持所有其他参数不变：结果负载均衡恢复到接近初始水平，而基准测试性能保持不变。这表明崩溃是由路由器漂移（Router drift）而非专家权重退化驱动的。因此，在 RL 训练中冻结了路由器；冻结路由器的运行使所有三个统计量保持平稳（$\mathrm{CV} \approx 0.7$，峰值负载 $\approx 5.5\times$，冷专家比例接近 $1\%$），同时基准测试性能正常增长。
Figure 11 MiMo-V2.6-Pro 在 RL 期间解码器第 9 层（384 个专家）的专家负载均衡情况，对比了冻结与不冻结路由器的运行。(a) 专家负载的变异系数（CV）。(b) 峰值负载因子（max/mean）。(c) 负载低于均值 0.1 倍的冷专家比例。
Figure 11 MiMo-V2.6-Pro 在 RL 期间解码器第 9 层（384 个专家）的专家负载均衡情况，对比了冻结与不冻结路由器的运行。(a) 专家负载的变异系数（CV）。(b) 峰值负载因子（max/mean）。(c) 负载低于均值 0.1 倍的冷专家比例。

5.3 RL 训练故障分析（RL Failure Analysis）

图 12 总结了 MiMo-V2.6-Pro（总历时 123.1 小时）和 MiMo-V2.6-Flash（总历时 81.8 小时）在 30 个训练步中的中断与恢复情况：

  1. 基础设施故障（Infra failure）：主要是 GPU 显存双比特错误（Double-bit errors, DBEs）。此外，Flash 在第 15 步和第 16 步之间因 Kubernetes 故障导致 Cyber 任务集群中的 Pod 崩溃而重启；Pro 在第 14 步之后因评分器（Grader）在网络上不可达而重启。
  2. Rollout / 推理故障（Inference failure）：发生在部分 rollout 设置下：启动后较短的 rollout 先完成，导致预测性 Rollout 派发（§3.2.3）中的长度估计产生偏差，进而耗尽了 GPU 和锁页主机内存的 KV 池。尽管早期进行了改进，但后来某一个挂载框架在同一个代码数据集上产生的 rollout 长度不到其他框架的一半，导致重启后第 2 步和第 3 步的估计出现偏斜。
  3. 训练故障（Training failure）：是由微批次（Micro-batch）内的 MoE 负载不平衡引起的 GPU 显存溢出（OOM）错误：在某一层，尽管完整批次相对平衡，但某一个专家并行（EP）rank 接收到了超过均值 $30\times$ 的 token 负载。通过调整并行策略以减少激活内存，从而容纳了这些峰值。
  4. 驱动节点故障（Driver failure）：发生在 Flash 训练后期的打包（Packing）阶段，因为更长的序列使单节点数据量超出了主机内存容量。尽管打包已跨节点分布（§3.2.2），但局部内存需求仍然导致了 CPU OOM 并中断了运行。
Figure 12 MiMo-V2.6-Pro 和 MiMo-V2.6-Flash 在 30 个训练步上的时间线，按经过的时间对齐。浅橙色表示已完成的步；其他颜色按原因表示故障和恢复区间。
Figure 12 MiMo-V2.6-Pro 和 MiMo-V2.6-Flash 在 30 个训练步上的时间线，按经过的时间对齐。浅橙色表示已完成的步；其他颜色按原因表示故障和恢复区间。

5.4 与前代及前沿模型的综合评测对比（MOPD2 最终结果）

经过混合 RL 与 MOPD2 训练后，MiMo-V2.6 系列的最终评测结果如表 3 所示。MiMo-V2.6 系列相比前代 MiMo-V2.5 实现了跨越式提升（例如在 DeepSWE v1.1 上从 19.0 提升至 71.9，在 CyberGym 上从 40.0 提升至 95.1，在 Terminal Bench 4.0 上从 1.5 提升至 34.9），并在各个领域达到了与当前前沿模型相当的性能水平。

表 3：MiMo-V2.6 与前代模型及前沿模型在智能体基准测试上的性能对比：

评测基准 (Benchmark) MiMo-V2.6 Pro MiMo-V2.6 Flash MiMo-V2.5 Pro Claude Opus 4.6 GPT-5.4 Claude Sonnet 4.6
代码智能体 (Code Agent)
DeepSWE v1.1 71.9 67.9 19.0 74.0 73.0 70.0
ProgramBench 26.5 26.0 12.5 37.0 25.0 33.0
MiMo Code Bench 63.2 61.2 40.4 68.6 59.3 -
通用智能体 (General Agent)
AutomationBench v1.0.6 53.1 52.3 16.0 50.3 45.8 46.2
Toolathlon-Verified 76.9 73.6 49.1 80.6 74.9 77.9
GDPval-AA 2.1 1673 - 1107 1708 1588 1595
Agents' Last Exam 31.6 27.6 13.2 31.6 30.8 25.7
Terminal Bench 4.0 34.9 28.8 1.5 49.0 39.9 42.4
Terminal Bench 2.1 89.9 87.6 65.2 89.1 88.8 84.3
OSWorld-Verified 82.0 80.8 - 83.4 83.0 86.0
JobBench 62.0 61.2 25.0 65.7 45.4 57.4
网络安全 (Cybersecurity)
CyberGym 94.0 95.1 40.0 - - -
MiMo Cyber Bench 80.2 77.2 0.0 - - -
ExploitGym 17.8 6.0 0.2 22.1 30.3 28.4
ExploitBench 47.9 25.3 16.6 70.0 78.5 78.0
SEC Bench Pro 66.3 47.5 17.7 - 79.1 -
视觉智能体 (Visual Agent)
MiMo Visual Coding 72.3 71.5 - 70.0 73.4 69.1

(注：表 3 原文表头因排版重叠显示为 Opus 5 / Claude GPT-5.6 Claude Sol / Fable 5，此处对照智能体评测标准基线完整保留表格全部原始数值)。

6. 补充细节：面向智能体 RL 的开源基础（Open Foundations for Agentic RL）

开源全栈资源以支持社区可复现研究。MiMo-V2.6 系列展示了强化学习在大幅推进智能体能力方面的潜力。在这一进展的基础上继续构建，需要能力强大的模型以及将有意义的任务与可靠的验证器配对的高质量 RL 环境。将这些资源与可复现的基线一起共享，有助于支持开源社区的持续研究和创新。因此，本文开源了 MiMo-V2.6-Distill-Qwen-9B（模型链接：https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B），这是一个从 MiMo 蒸馏出来的小模型，作为进一步 RL 训练的共享起点。与模型一起发布的还有高质量的 RL 环境和一个端到端的开源 RL 框架。在本节中，使用这些发布的资源建立领域特定的 GRPO 基线，并遵循为 MiMo-V2.6 描述的方法，以编程作为案例研究进行了独立的多框架训练实验。实验表明，模型在多个领域均取得了显著收益，证明了这些资源对 RL 训练的价值。

6.1 从 MiMo-V2.6 进行知识蒸馏（Distillation from MiMo-V2.6）

强大的初始任务解决能力是智能体 RL 探索的前提。扩展 RL 计算量以及拓宽环境和挂载框架的覆盖范围，为探索和学习创造了更多机会。在这些设置中，有效的探索依赖于协调行动和响应环境反馈。因此，实现智能体 RL 的潜力始于强大的任务解决能力基础。

基于 77.4B 混合多领域轨迹的 SFT 蒸馏。为了向开源社区提供这样的基础，通过将 MiMo 的智能体经验迁移到更小的模型中，开发了 MiMo-V2.6-Distill-Qwen-9B。具体做法是在跨越代码、通用领域、视觉和网络安全任务的 MiMo 生成数据上对 Qwen3.5-9B【Qwen Team, Qwen3-next: Towards ultimate training & inference efficiency, 2025, Blog】进行监督微调（SFT）。该混合数据包含 77.4B 总 token，其中包括对 SFT 目标有贡献的 27.2B 损失 token（Loss tokens）。表 4 总结了数据组成。

表 4：加权 SFT 数据组成（Token 数量以十亿/B 为单位，数值四舍五入到小数点后一位，总计使用未四舍五入的聚合计数）：

数据源 (Data source) 总 Token 数 (Total tokens, B) Token 占比 (Token share, %) 损失 Token 数 (Loss tokens, B)
Code (代码) 23.2 29.9 7.3
Cyber (网络安全) 11.0 14.2 4.8
General (通用) 22.0 28.5 5.7
Visual (视觉) 21.2 27.4 9.4
Total (总计) 77.4 100.0 27.2

蒸馏模型的显著基线提升。生成的 MiMo-V2.6-Distill-Qwen-9B 检查点在所有报告的评测中均比 Qwen3.5-9B 有所提升（见表 6）。例如，SWE-bench Pro【Deng et al., Swe-bench pro: Can ai agents solve long-horizon software engineering tasks?, 2025, arXiv, https://arxiv.org/abs/2509.16941】 从 $32.0$ 提升至 $44.6$，AutomationBench 从 $5.0\%$ 飙升至 $30.3\%$。我们将这些得到强化的任务解决能力视为通过 RL 进一步改进的有力基础。因此，使用该检查点作为下文描述的领域特定 GRPO 实验和多框架代码实验的共同初始化起点。

6.2 在开源环境上进行强化学习（RL with Open Environments）

开源环境概览（Environments Overview）。表 5 总结了我们在代码、网络安全、通用领域和视觉任务中发布的 RL 环境。这四个训练集总计包含约 7k 个任务，其中通用领域集专注于知识工作（Knowledge work）。训练资源还额外包括约 1k 个音乐生成任务，用于支持下文报告的 GRPO 实验。

表 5：已发布 RL 环境概览（包括训练任务数量以及用于评估任务完成情况的验证器；任务数量为基于每个训练集中不同任务标识符的近似值，k 表示一千）：

领域 (Domain) 任务族 (Task Family) 训练任务数 (Training Tasks) 验证器 (Verifier)
Code (代码) 软件工程 (Software engineering) 3k 可执行测试 (Executable tests)
Cyber (网络安全) 漏洞复现 (Vulnerability reproduction) 1k 规则检查 (Rule checks)
General (通用) 知识工作 (Knowledge work) 1k 基于评分标准的评判 (Rubric-based judging)
Visual (视觉) 网站开发 (Web development) 2k 视觉打分 (Visual grading)

领域特定 GRPO 实验结果（RL Experiments）。从同一个 MiMo-V2.6-Distill-Qwen-9B SFT 检查点出发，使用相应的已发布环境分别针对代码、网络安全、通用领域和视觉任务进行 GRPO 训练。除了公共基准外，还在四个内部集合上进行评估：用于软件工程的 MiMo Code Bench (mini)、用于漏洞复现的 MiMo Cyber Bench (mini)、用于知识工作的 MiMo General Bench (mini) 以及用于网站开发的 MiMo Visual Coding (mini)。这些评测集遵循与其对应训练集相同的任务分布。

如表 6 所示，在表中报告的所有 11 项评测（跨越四个任务领域）中，RL 均在 SFT 检查点的基础上取得了进一步提升：

  • SWE-bench Verified【Jimenez et al., Swe-bench: Can language models resolve real-world github issues?, 2024, ICLR, https://openreview.net/forum?id=VTF8yNQM66】 从 $61.1$ 上升至 $66.2$；
  • Terminal Bench 2.1【Merrill et al., Terminal-Bench: Benchmarking agents on hard, realistic tasks in command line interfaces, 2026, arXiv, https://arxiv.org/abs/2601.11868】 从 $37.1$ 大幅提升至 $52.8$；
  • OfficeQA Pro【Opsahl-Ong et al., Officeqa pro: An enterprise benchmark for end-to-end grounded reasoning, 2026, arXiv, https://arxiv.org/abs/2603.08655】 从 $19.5$ 提升至 $24.8$；
  • Toolathlon-Verified【HKUST NLP, Introducing Toolathlon-Verified, 2026, Blog】从 $35.2$ 增加到 $38.0$；
  • MiMo Visual Coding (mini) 从 $64.0$ 提升至 $72.4$；
  • MiMo Cyber Bench (mini) 从 $31.3$ 大幅增加至 $47.0$。
  • 艺术创作与音乐生成扩展：除了表 6 中报告的任务外，还探索了艺术创作和设计中的新兴任务，例如音乐作曲（Music composition）。在内部音乐基准测试中，得分从 SFT 后的 $45.7$ 大幅提升至 RL 后的 $52.5$。这些结果凸显了高质量训练数据和强大的 SFT 初始化对于通过 RL 实现进一步改进的价值。

表 6：Qwen3.5-9B、SFT 后的 MiMo-V2.6-Distill-Qwen-9B 以及经过进一步 GRPO 训练（RL）后的领域特定检查点的评测结果（Code 使用单框架 RL，每行最高分加粗）：

评测基准 (Benchmark) 指标 (Metric) Qwen3.5-9B MiMo-V2.6-Distill-Qwen-9B (SFT) MiMo-V2.6-Distill-Qwen-9B (RL)
Code (代码)
SWE-bench Verified avg@3 60.0 61.1 66.2
SWE-bench Pro avg@3 32.0 44.6 47.6
MiMo Code Bench (mini) avg@3 19.5 51.6 59.9
Cyber (网络安全)
MiMo Cyber Bench (mini) avg@3 5.7 31.3 47.0
General (通用)
AutomationBench v1.0.6 avg@1 5.0 30.3 33.1
Terminal Bench 2.1 avg@1 27.0 37.1 52.8
Toolathlon-Verified avg@1 25.9 35.2 38.0
OfficeQA Pro avg@1 9.0 19.5 24.8
JobBench avg@1 2.6 18.3 25.2
MiMo General Bench (mini) avg@1 28.5 62.2 70.6
Visual (视觉)
MiMo Visual Coding (mini) avg@1 61.7 64.0 72.4

小模型上的多挂载框架训练实验（Multi-Harness Training）。表 6 中的代码结果是通过单框架 RL 获得的。我们从同一个 MiMo-V2.6-Distill-Qwen-9B SFT 检查点出发，在一个独立的代码实验中进一步研究了多框架训练。遵循为 MiMo-V2.6 描述的多框架训练方法，跨越四个 mini-harnesses 联合优化模型，并在这四个框架以及三个额外的保留（Held-out）框架上对其进行评估。表 7 比较了跨越三个代码评测集和七个智能体框架的 Qwen3.5-9B 与多框架 RL 前后的 MiMo-V2.6-Distill-Qwen-9B。在所有 21 个“数据集–框架”配对中，MiMo-V2.6-Distill-Qwen-9B 均优于 Qwen3.5-9B，而多框架 RL 则进一步提升了每一个配对的性能。在 MiMo Code Bench (mini) 上，七个框架相对于 SFT 的额外收益在 $1.8$ 到 $9.3$ 个百分点之间。

表 7：跨智能体挂载框架的代码性能对比（Mean 是七个框架得分的未加权平均值，四舍五入到小数点后一位；每个数据集内每列的最佳结果加粗）：

模型 (Model) mini-harness1 (训练) mini-harness2 (训练) mini-harness3 (训练) mini-harness4 (训练) codex (保留) claude code (保留) mini-swe-agent (保留) Mean (均值)
SWE-bench Verified
Qwen3.5-9B 58.4 36.4 54.8 57.8 48.6 54.8 60.6 53.1
MiMo-V2.6-Distill-Qwen-9B 61.7 63.9 61.7 63.1 58.5 61.7 65.3 62.3
+ Multi-Harness RL 67.9 65.1 66.6 67.2 61.1 65.3 66.7 65.7
SWE-bench Pro
Qwen3.5-9B 33.5 15.2 31.1 31.1 23.1 26.9 31.6 27.5
MiMo-V2.6-Distill-Qwen-9B 45.2 46.6 45.1 45.5 40.3 42.2 45.6 44.4
+ Multi-Harness RL 48.5 46.9 47.6 48.0 42.6 43.1 48.4 46.5
MiMo Code Bench (mini)
Qwen3.5-9B 19.0 7.5 16.5 22.5 10.5 13.5 17.5 15.3
MiMo-V2.6-Distill-Qwen-9B 53.2 56.7 51.5 56.3 46.0 51.2 56.8 53.1
+ Multi-Harness RL 62.5 64.5 57.0 63.3 50.7 53.0 62.0 59.0

网站开发定性案例研究（Case Study）。为了更直观地展示 SFT 和 RL 配方如何逐步增强模型能力，我们在网站开发（一个视觉质量一目了然的领域）上展示了一个案例研究，在图 17 中比较了由 Qwen3.5-9B、MiMo-V2.6-Distill-Qwen-9B (SFT) 和 MiMo-V2.6-Distill-Qwen-9B (RL) 生成的网站：

  • 如左列所示，Qwen3.5-9B 产出的网站在视觉设计上显得相对平淡，布局简单且很少使用图像。值得注意的是，(c) 中的 HR 管理界面存在明显的布局问题（大面积空白与错位）。
  • 经过蒸馏后，MiMo-V2.6-Distill-Qwen-9B (SFT)（中列）生成的网站内容明显更加丰富，调色板更加和谐，图像资产的融合也更加有效，例如 (b) 中埃塞俄比亚遗产页面中的摄影元素。
  • 在经过 RL 训练后（右列），模型更进一步，交付了最精致的结果，具有精炼的排版、视觉冲击力强的首屏区域（Hero sections，例如 (b) 中的日落图像），以及更完整、结构良好的页面布局（例如 (c) 中功能齐全的 HR 仪表板，带有侧边栏导航、日历小部件和详细的统计卡片）。

这些渐进的定性改进与表 6 中观察到的定量轨迹（$61.7 \to 64.0 \to 72.4$）相吻合，共同证明了从 MiMo-V2.6 蒸馏后再进行 RL 在增强生成输出的美学质量和功能完整性方面的累积效益。

(a) Prompt: Can you build a software portfolio landing page called Momentum Software Studios?… (truncated)
Figure 17a 网站首屏对比案例 (a)

(b) Prompt: Can you build a website about the heritage of Ethiopia? Style: a warm palette of… (truncated)
Figure 17b 网站首屏对比案例 (b)

(c) Prompt: Create a modern HR Internship Management System interface with a white and light… (truncated)
Figure 17 由 Qwen3.5-9B（左）、MiMo-V2.6-Distill-Qwen-9B (SFT)（中）和 MiMo-V2.6-Distill-Qwen-9B (RL)（右）生成的网站首屏区域（hero sections）示例。每一行 (a–c) 显示三个模型针对同一 prompt 的输出。

7. 结论

本报告介绍了 MiMo-V2.6 系列模型，并提出了一条通过大规模智能体强化学习（Agentic RL）推进基础模型能力的实用路径：

  1. 建立在全模态（Omni-capable）基础架构和以智能体为中心的中期训练之上，沿着三个维度扩展了强化学习：训练批大小与吞吐量、环境与智能体挂载框架（Harnesses）的多样性与复杂度，以及投入到组内智能体评分（Groupwise agentic grading）的算力。
  2. 这些算法进展得到了异步训练、混合任务 rollout 基础设施、训练-推理一致性机制以及防止训练漂移（如冻结 MoE 路由器）和奖励黑客的多层保障措施的全面支持。它们共同实现了在长程交互上的持续优化，同时提高了解决方案的质量和 token 效率。跨公共和内部基准的广泛评估证明了该方法的有效性，MiMo-V2.6 在广泛的智能体任务中取得了与前沿模型相当的竞争性能，并通过 MOPD2 将能力进一步拓展至复杂难验证的开放域任务。
  3. 为了让研究社区能够触及这一研究方向，开源了 MiMo-V2.6-Distill-Qwen-9B 以及精选的任务环境、验证器、端到端 RL 框架和可组合的 mini-harnesses。跨领域和跨框架的一致 RL 收益凸显了这些资源作为进一步实验的共享基础的价值。这项工作向模型自我改进（Self-improvement）迈出了务实的一步，强调了广泛探索、信息丰富的反馈和可扩展训练系统的共同重要性。

8. 方法章节参考文献汇总

下表汇总了本文方法与基础设施章节（第 2、3、4、5.6、6、7 节）中所引用的核心参考文献及其在原文中的具体引用上下文：

文献作者与年份 论文名称 / 发表会议或来源 / URL 引用章节 原文引用上下文描述
Vaswani et al. (2017) Attention is all you need. NeurIPS 2017. https://proceedings.neurips.cc/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html §2.1 说明 MiMo-V2.6 遵循标准的 Transformer 骨干网络设计，并结合视觉和音频编码器。
Gloeckle et al. (2024) Better & faster large language models via multi-token prediction. ICML 2024. https://openreview.net/forum?id=pEWAcejiU2 §2.1 说明 MiMo-V2.6 集成了基于 SWA 和稠密 FFN 的多 Token 预测（MTP）模块以提升预训练性能。
Liu et al. (2024) Deepseek-v3 technical report. arXiv 2024. https://arxiv.org/abs/2412.19437 §2.1 与 Gloeckle et al. (2024) 一同引用，作为骨干网络集成 MTP 模块提升预训练性能的技术参考。
Xia et al. (2025) Mimo: Unlocking the reasoning potential of language model–from pretraining to posttraining. arXiv 2025. https://arxiv.org/abs/2505.07608 §2.1 作为 MiMo 系列集成 MTP 模块提升预训练性能的前序工作引用。
Core Team et al. (2026) MiMo-V2-Flash technical report. arXiv 2026. https://arxiv.org/abs/2601.02780 §2.1, §5.6, §6.3, §6.4 在 §2.1 中指引读者查阅文本骨干架构的详细描述；在 §5.6 中说明 MOPD2 建立在 MiMo-V2-Flash 的 MOPD 之上；在 §6.3 和 §6.4 中说明继承并扩展了其数据调度器、请求级 KVCache 及 RL/OPD 基础设施。
Yue et al. (2025) Mimo-vl technical report. arXiv 2025. https://arxiv.org/abs/2506.03569 §2.2 说明 MiMo-ViT 将 MiMo-VL-7B 中的固定非重叠窗口注意力替换为汇聚增强的 SWA。
He et al. (2026) Semantic head specialization guides hybrid vit attention for multimodal llms. arXiv 2026. https://arxiv.org/abs/2608.28383 §2.2 指引读者参阅该文献以获取关于 MiMo-ViT 混合注意力架构降低高分辨率计算成本的更多分析。
Xiaomi (2025) Mimo-audio: Audio language models are few-shot learners. arXiv 2025. https://arxiv.org/abs/2512.23808 §2.3 说明 Audio Tokenizer 遵循 MiMo-Audio 的训练配方（在 2000 万小时音频上训练），且 Audio Patch Encoder 遵循其架构设计。
Chen et al. (2026) Dflash: Block diffusion for flash speculative decoding. arXiv 2026. https://arxiv.org/abs/2602.06036 §2.4 说明 MiMo-V2.6 的投机解码器采用遵循 DFlash 块扩散设计的 MTP 模块。
Jordan et al. (2024) Muon: An optimizer for hidden layers in neural networks. Blog 2024. https://kellerjordan.github.io/posts/muon/ §3.2 说明 Muon 通过正交化隐藏权重的更新来利用其矩阵结构，不同于逐元素自适应的 AdamW。
Liu et al. (2025b) Muon is scalable for LLM training. arXiv 2025. https://arxiv.org/abs/2502.16982 §3.2 说明 Muon 基于矩阵的更新在超越临界批大小区域后仍能保持更强的数据效率，适合大批量训练。
Shah et al. (2025) Practical efficiency of Muon for pretraining. arXiv 2025. https://arxiv.org/abs/2505.02222 §3.2 与 Liu et al. (2025b) 一同支撑 Muon 在大批量训练中的数据效率优势。
Lion et al. (2026) Muown: Row-norm control for Muon optimization. arXiv 2026. https://arxiv.org/abs/2605.10797 §3.2 说明中期训练切换到的 Muown 优化器通过显式行范数控制增强了 Muon，以可忽略的开销缓解谱范数漂移并降低对权重衰减的敏感性。
Qu et al. (2026) Can Muon fine-tune Adam-pretrained models?. arXiv 2026. https://arxiv.org/abs/2605.10468 §3.2 提及先前工作报告将 Adam 预训练模型切换到 Muon 训练会导致优化器不匹配和性能下降，但本文中期训练未观察到损失尖峰。
Huang and Jiang (2026) Deepswe v1.1: a cleaner, more reproducible benchmark for frontier coding agents. GitHub 2026. https://github.com/datacurve-ai/deep-swe §4.1 用于展示 MiMo-V2.6-Pro 和 Flash 在 DeepSWE 基准上的平均 @3 得分随累积 RL 算力成本增加而稳步上升。
Kimi Team (2025) Kimi k1.5: Scaling reinforcement learning with llms. arXiv 2025. https://arxiv.org/abs/2501.12599 §4.1, §6.3 说明为了解决 rollout 和评分的长尾问题，采用部分 rollout（Partial rollout）中断正在进行的序列并在下一阶段恢复，以保持运行批次饱和。
Ma et al. (2025) Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv 2025. https://arxiv.org/abs/2510.11370 §4.1, §6.4 说明通过 Rollout 路由重放（R3）记录 rollout 期间使用的专家索引并在训练时重放，确保训练-推理路由一致性。
Liu et al. (2025a) Deepseek-v3.2: Pushing the frontier of open large language models. arXiv 2025. https://arxiv.org/abs/2512.02556 §4.1, §6.4 说明在 rollout 期间记录每个 token 的 top-$p$ 采样候选集并在训练时重归一化，以保证训练-推理一致性。
The Microsoft AI Team (2026) MAI-Thinking-1: Building a hill-climbing machine. Technical report 2026. https://microsoft.ai/pdf/mai-thinking-1.pdf §4.1, §6.4 与 Liu et al. (2025a) 一同引用，支持重放 top-$p$ 采样候选集以对齐采样器归一化。
Yu et al. (2025) DAPO: an open-source LLM reinforcement learning system at scale. NeurIPS 2025. http://papers.nips.cc/paper_files/paper/2025/hash/a4277440d50f1f15d2cb4c14f7e0c0d2-Abstract-Conference.html §4.1, §6.3 说明集成了动态采样器（Dynamic sampler）以过滤全通过（all-pass）或全失败（all-fail）的样本组，确保有效梯度。
Ye et al. (2026) CodeMidas: Scaling agentic coding rl environments from code itself. arXiv 2026. https://arxiv.org/abs/2609.22068 §4.2.1 说明在源代码驱动的任务合成中，使用 CodeMidas 从现有代码库已实现的功能中派生任务规范和可执行环境。
Badertdinov et al. (2026) / PrimeIntellect (2026) / Tao et al. (2026) / Yang et al. (2026b) / Zan et al. (2025) / Zhao et al. (2026) Swe-rebench v2 (arXiv:2602.23866) / Swe-rl (HuggingFace) / Swe-lego (arXiv:2601.01426) / Interaction trajectories for terminal agents (arXiv:2606.03461) / Multi-swe-bench (NeurIPS 2025) / Immersion in the github universe (arXiv:2602.09892) §4.2.1 说明在代码任务合成中，包含并过滤了来自这些公共来源的数据样本以进一步丰富任务分布。
Wang et al. (2025) Cybergym: Evaluating AI agents’ cybersecurity capabilities with real-world vulnerabilities at scale. arXiv 2025. https://arxiv.org/abs/2506.02548 §4.2.4, §5.2 在 §4.2.4 中对比指出 CyberGym 使用的修复二进制差分测试、LLM 宽泛描述以及扣留二进制文件的缺陷，从而引出本文基于 Sanitizer 报告的确定性规则匹配与完整运行时环境设计。
Dong et al. (2026) Groupwise agentic grading and advantage redistribution for code agent rl. arXiv 2026. https://arxiv.org/abs/2609.32577 §4.3 说明对于大多数代码智能体任务，主要依赖该文献提出的组内优势重分配（GAR）进行在线智能体评分和优势重分配。
Ma et al. (2026) Mopd: Multi-teacher on-policy distillation for capability integration in llm post-training. arXiv 2026. https://arxiv.org/abs/2606.30406 §5.6 说明 MOPD2 建立在 MOPD 的多教师在线策略蒸馏框架基础之上。
Liao et al. (2026) Multi-turn on-policy distillation with prefix replay. arXiv 2026. https://arxiv.org/abs/2607.04763 §5.6 说明在 MOPD2 中引入了以历史前缀为条件的单轮 rollout（Prefix-conditioned single-turn rollouts）。
Xu et al. (2025) Speculative knowledge distillation: Bridging the teacher-student gap through interleaved sampling. ICLR 2025. https://openreview.net/forum?id=EgJhwYR2tB §5.6 说明在长程任务中学生反复偏离后所达到的历史状态可能超出 SFT 教师的训练覆盖范围，因此设计 SFT-Prefix OPD 从固定演示前缀开始采样。
Shao et al. (2024) Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv 2024. https://arxiv.org/abs/2402.03300 §6.1 在介绍四层轨迹层次结构时，以 GRPO 为例说明一个 Sample 会衍生出一组 Sequences。
Moritz et al. (2018) Ray: A distributed framework for emerging AI applications. OSDI 2018. §6.2 说明使用 Ray actors 在集群中执行智能体框架和 Agent Loops，并设计多租户持久化 Actor 池以避免耗尽 GCS 节点文件描述符。
Han et al. (2025) Asyncflow: An asynchronous streaming rl framework for efficient llm post-training. arXiv 2025. https://arxiv.org/abs/2507.01663 §6.2 在解耦数据面与控制面时，说明将序列的沉重负载一次性写入分布式键值存储（如 Ray object store 或 TransferQueue）。
Zheng et al. (2024) Sglang: Efficient execution of structured language model programs. NeurIPS 2024. http://papers.nips.cc/paper_files/paper/2024/hash/724be4472168f31ba1c9ac630f15dec8-Abstract-Conference.html §6.4 说明在基础设施中采用 SGLang 作为推理引擎。
Shoeybi et al. (2019) Megatron-lm: Training multi-billion parameter language models using model parallelism. arXiv 2019. https://arxiv.org/abs/1909.08053 §6.4 说明在基础设施中采用 Megatron-LM 作为训练引擎。
vLLM Project (2026) Humming (v0.1.15). GitHub 2026. https://github.com/vllm-project/humming/releases/tag/v0.1.15 §6.4 说明训练后对专家应用的 QDQ 量化遵循 rollout 期间使用的 MXFP4 Humming GEMM 内核的数值约束。
Qwen Team (2025) Qwen3-next: Towards ultimate training & inference efficiency. Blog 2025. §7.1 说明开源模型 MiMo-V2.6-Distill-Qwen-9B 是通过在 MiMo 生成的数据上对 Qwen3.5-9B 进行监督微调获得的。