Frontier Pre-training at Microsoft AI

发表时间: 2026-10 · Tech report by Microsoft AI (microsoft.ai)

原文: https://microsoft.ai/pdf/Frontier-Pre-training-at-Microsoft-AI.pdf?v=2

作者/机构：Microsoft AI (MAI)

速读

一句话结论 微软推出了拥有 80B 激活参数与 2.8T 总参数的原生视觉语言混合专家（MoE）基础模型 MAI-Base-2，通过源域扩展律梯子、兼顾内存静态化的多轮无丢弃 MoE 调度以及分布式 Muon 优化器与激活梯度裁剪，在 50T tokens 全自研数据上完成了稳定预训练，在留存评测集上全面超越当前前沿开源基模型，且相比 DeepSeek-V4-Pro-Base 实现了 4.2 至 12.3 倍的预训练计算效率提升。

要解决什么问题 推动前沿模型向数万亿参数与数十万亿数据规模扩展时，原有预训练方案在科学预测、系统吞吐与优化稳定性上遇到了三个核心机制卡点。首先是小规模外推失效：小模型在固定计算量下不可避免地经历多轮次重复数据训练，若直接外推架构与超参数，容易筛选出在多轮数据下偏向欠正则化的配置，导致大模型在大规模非重复训练时严重过拟合；同时学习率与权重衰减强烈耦合，常规笛卡尔网格搜索无法高效覆盖极佳参数窄带。其次是 MoE 的工程效率瓶颈：全层 MoE 虽然理论 FLOPs 效率高，但动态路由的不均衡会导致极度的显存碎片化；若为了防止显存溢出（OOM）而强行丢弃超额 token 会导致模型精度下跌，而若按最坏不均衡情况静态预留超大显存，又会挤占激活值重计算所需的显存并恶化利用率，加上细粒度专家带来的通信和内核启动开销，导致实际墙钟吞吐极低。最后是超大规模训练的稳定性断崖：常规 AdamW 优化效率遇到瓶颈，但更高效的新型正交化优化器 Muon 要求全矩阵动量正交，与主流数据并行分片（ZeRO）机制冲突；且传统全局权重梯度裁剪会将少数脏数据引起的局部梯度异常放大到整个 batch，造成良性样本的有效梯度被无差别缩放，进而引发训练发散。

怎么做的 核心思路是以系统与模型协同设计为纲，通过可严格外推的实验梯子与针对性的通信计算重叠，消除大模型在内存、路由与收敛层面的非稳态开销。具体由四大关键设计构成：第一是带源域扩展（Source Scaling）的扩展律梯子与超参外推。团队按层数 $L$ 构建几何级数缩放的模型阶梯，固定每个激活参数所分配的 token 数量；小模型实验中人为将独立数据规模限制在同等比例，强制小模型与 50T 目标大模型经历完全相同的遍历轮次，锁死唯一数据与参数的比例以防止泛化偏离。同时将超参数搜索重构到 $(\log LR, \log(LR \times WD))$ 空间，拟合二维二次曲面解析求得最优解，提炼出跨尺度超参经验定律：

$$LR^* \times WD^* = 17.04 / \mathrm{steps}$$

$$\log LR^* = -1.51 + 0.175 \log \mathrm{TPP} - 0.573 \log \mathrm{steps}$$

$$\mathrm{Dropout} = \mathrm{sigmoid}\left(0.526 \times (\log \mathrm{ActiveParams} - 27.2)\right)$$

第二是固定内存占用的多轮无丢弃 MoE（Multi-round Dropless MoE）。将各卡专家划分为若干专家组并预设固定的 token 容纳上限，遇到专家过载时，优先调拨组内空闲专家的容量；若整组仍溢出，则触发追加轮次（additional rounds）串行处理溢出数据，彻底消除了显存碎片和丢 token 导致的性能损失。通过稳态单轮配置，配合 GPU 直发 NVLink 对称内存通信、层间聚合负载均衡损失，以及正向反向深度流水线重叠（如输入分发重叠于本层激活重计算），将 MoE 层的模型计算利用率（MFU）从 24% 拉升至 35%，使全层 MoE 架构得以落地。第三是适配 ZeRO 的分布式 Muon 优化器。在优化器更新步骤中执行动态重分片：各 GPU 将本地 FP32 动量切片转为 BF16，通过批处理 all-to-all 通信重组为完整矩阵，调用对称感知 Newton-Schulz 迭代核进行正交化计算，再通过反向 all-to-all 交换还原为分片并转回 FP32 应用于权重；路由等特殊矩阵则采用全收集（all-gather）复制策略，将 Muon 开销压低至总迭代时延的 2.1%。第四是激活梯度裁剪。在网络特定激活层实施局部梯度范数裁剪，定向抑制异常 token 的破坏力，避免全局权重梯度被整批抑制，显著收窄了训练过程中的梯度方差。

效果如何 训练使用 16K 块 GB200 GPU 在 38 天内完成，吞吐有效时间比（goodput）为 89%，在 2.5 PFLOPS 标称算力下实现 21% 的全周期平均 MFU。对比基线包括万亿级开源基模型 DeepSeek-V4-Pro-Base（参数量超 1T 的基座参考模型），以及开源后训练模型 Kimi K3、Qwen3.8-2.4T-A95B 与 MiMo-V2.6-Pro-RL。在包含内部代码、QA、数学与 STEM 的四项独立脱敏留存评测中（使用排除分词器差异的每字节比特数 BPB 指标，越低越好），MAI-Base-2 在所有集合上均取得了全场最低 BPB。通过独立扩展律拟合计算量投影，MAI-Base-2 达到 DeepSeek-V4-Pro-Base 相同 BPB 所需的 FLOPs 仅为其 1/12.3 至 1/4.2，实现了 4.2 至 12.3 倍的预训练计算效率跃升；相比前代 MAI-Base-1 也实现了 6.3 至 12.7 倍的效率提升。然而该方案存在明确局限：多轮 MoE 在极端不均衡触发额外轮次时，非溢出专家必须空转跳过计算，会导致瞬时硬件算力利用率下降；Muon 实际测得的 165 ms 单步开销距离 55 ms 的理论通信瓶颈仍有三倍差距，受制于集群掉队节点与跨 GPU 内存拷贝调度；此外，对比的部分外部开源基线仅有后训练检查点可用，后训练过程可能引入评测偏差。

主要贡献

针对前沿基础大模型预训练中计算效率、扩展可预测性、基础设施与模型架构协同以及高质量数据扩展等核心挑战，Microsoft AI 团队完成了新一代前沿基础模型 MAI-Base-2 的预训练，主要贡献包括：

发布前沿级稀疏 MoE 基础模型 MAI-Base-2：模型拥有 800 亿（80B）激活参数和 2.8 万亿（2.8T）总参数。在 16,000 张 NVIDIA GB200 GPU 集群上耗时 38 天（2026年8月至9月）完成了 50T token 的原生多模态（文本与视觉）预训练，达成 21% 的平均模型 FLOPs 利用率（MFU，以 GB200 单卡 2.5 PFLOPS BF16 理论峰值归一化，且排除重计算与优化器 FLOPs）和 89% 的有效训练时间占比（goodput）。
极高的预训练计算效率（FLOPs-Efficiency）：在未见过的内部代码、问答（QA）、数学（Math）和 STEM 评测集上，MAI-Base-2 全面超越了现存所有开源权重基座模型与后训练模型（包括 DeepSeek-V4-Pro-Base、Kimi K3、Qwen3.8-2.4T-A95B、MiMo-V2.6-Pro-RL）。与开源最强基座模型 DeepSeek-V4-Pro-Base 相比，MAI-Base-2 实现了 $4.2\times - 12.3\times$ 的预训练 FLOPs 计算效率提升；相比前代 MAI-Base-1，实现了 $6.3\times - 12.7\times$ 的计算效率提升。
基于源扩展（Source Scaling）的高鲁棒性扩展阶梯（Scaling Ladders）：提出了在小规模模型上模拟多轮（multi-epoch）训练的“源扩展”技术，通过人工限制独立样本集，保持每个数据集的重复次数及数据-参数比率跨尺度恒定，从而彻底消除了小模型过度调优导致的低正则化和在大规模训练时的过拟合倾向，实现了对 2.8T 模型最终表现的精准外推。
超参数联合扩展定律（Hyperparameter Scaling Laws）：揭示了学习率（$\mathrm{LR}$）与权重衰减（$\mathrm{WD}$）的强耦合性，在 $(\log \mathrm{LR}, \log(\mathrm{LR} \times \mathrm{WD}))$ 空间内拟合二维二次曲面，推导出了以训练步数（$\mathrm{steps}$）和每个激活参数的训练 token 数量（$\mathrm{TPP}$）为自变量的解析解闭式扩展定律，并给出了激活参数量对 Dropout 的扩展规律。
模型与基础设施深度软硬协同设计（Model-Infrastructure Co-design）：
- 多轮无丢弃 MoE（Multi-round Dropless MoE）：设计了具有可配置、固定内存占用的 MoE 架构，通过专家组内共享未用容量与溢出多轮调度，在杜绝丢弃 token 的同时彻底消除内存碎片与显存溢出（OOM），使 MoE 层的 MFU 从 24% 跃升至 35%，支撑了全层 MoE 设计。
- 大规模分布式 Muon 优化器：攻克了 ZeRO 数据并行切分与 Newton–Schulz 矩阵正交化要求全矩阵之间的冲突，通过跨参数动态重分片（resharding）、通信与计算流水线重叠、路由权重跨卡复制等优化，将 16K 卡集群上的 Muon 步进开销压缩至单步总时长的 2.1%（165 ms）。
- 激活值梯度截断（Activation Gradient Clipping）：打破仅针对全局权重梯度范数截断的局限，针对网络关键位置的激活梯度进行精细截断，显著稳定了超大规模训练动态，并作为数据诊断工具成功溯源并修复了数据预处理管线中的缺陷。
纯原生有机数据驱动与多模态原生扩展：坚持端到端自建数据管线，完全基于有机数据（Organic Data）训练，杜绝从其他模型进行蒸馏。训练语料较前代扩增 36% 独立 token，涵盖包含图文对及图文交错文档的 4.5T 独立 token 原生视觉语料（在 50T 总训练配比中占 18%），构建了免编码器（encoder-free）原生视觉语言大模型（VLM）。

图 1：在内部代码、问答（QA）、数学（Math）和 STEM 评测集上的留出每字节比特数（BPB，越低越好）。*MiMo-V2.6-Pro-RL、Qwen3.8-2.4T-A95B 和 Kimi K3 均为后训练模型。

背景知识、关键观察与设计原则

全栈自研与数据可溯源性原则：拥有端到端的完整模型研发管线使微软能够提供差异化的技术方案。微软对进入模型的所有训练 token 拥有严格的数据溯源性保证。MAI 系列的预训练严格建立在原生数据之上，完全不依赖、不涉及对其他大模型的知识蒸馏（distillation）。这一数据纯洁性使得微软能够通过 Foundry 平台向受信任的合作伙伴进行模型权重授权，为企业客户提供符合合规要求且性能顶尖的智能基座。

全栈软硬协同调优原则：拥有从基础设施、系统框架到模型算法的完整技术栈，使得团队能够将模型架构特性与底层硬件基础设施结合进行联合优化，首先在微软自有产品中实现最低成本与最高性能的最佳折中，并随后开放给 Foundry 客户。在完成 MAI-Base-1 训练后，团队明确了预训练的核心路径即为规模扩展（Scale up）。尽管 MAI-Base-1 在同尺寸模型中表现强劲，但与业界前沿的开源及闭源模型相比，其绝对规模仍存在差距。为此确立了三大核心支柱：

扩展科学（Scaling Science）：建立能够精确涵盖重复训练数据的扩展阶梯，并构建经验超参数扩展定律。
模型-基础设施协同设计（Model-Infrastructure Co-design）：研发改进型 MoE 算子架构、大规模 Muon 优化器实现以及激活梯度截断机制。
数据规模化扩展（Scaling Data）：扩建高吞吐数据管线并原生整合多模态视觉数据。

架构演进与对比基准：MAI-Base-2 相比 MAI-Base-1 采用了更大、更稀疏的架构，并在大幅增加的数据集上进行了训练。两代模型的核心架构与训练规格对比如下表所示：

架构 / 训练配置参数	MAI-Base-1	MAI-Base-2
激活参数量 / 总参数量	35B / 1T	80B / 2.8T
Transformer 层数 ($L$)	78	102
隐层维度 (Hidden Dimension)	6656	8704
MoE 布局结构	稠密 FFN 与 MoE 逐层交替 (Alternating)	全层 MoE (MoE in every layer)
稠密 FFN 中间维度	13312	不适用 (n/a)
MoE 降维投影维度 (Down Projection)	3072	4096
MoE 专家 FFN 中间维度	10240	8704
MoE 路由与专家数量	0 共享 + 8 / 512 路由专家	1 共享 + 7 / 512 路由专家（共享专家不经过降维/升维投影）
注意力头数 (KV / Q)	全局：8 / 80 (每 6 层一次)；局部：8 / 80	全局：2 / 96 (每 6 层一次)；局部：16 / 96
词嵌入层 (Embeddings)	权重绑定 (Tied)	权重解绑 (Untied)
训练数据量 (Tokens)	30T	50T
优化器 (Optimizer)	AdamW	Muon (用于非嵌入 2D 参数矩阵) + AdamW
低精度量化方案 (FP8)	张量级 (Tensor-wise) 延迟缩放 E4M3 / E5M2	显式微缩放格式 MXFP8E4M3
梯度截断策略 (Gradient Clipping)	全局权重梯度截断	全局权重梯度截断 + 激活值梯度截断
视觉能力 (Vision)	仅纯文本 (Text only)	原生多模态视觉语言模型 (Native VLM)

跨分词器无偏评测准则：在模型评估中，为了消除各家模型分词器（Tokenizer）压缩比与词表设计差异所带来的评测偏差，团队采用留出文本上的每字节比特数（Bits-per-byte, BPB）作为统一度量标准。BPB 严格独立于具体的分词策略。留出代码评测集直接采用微软内部 MAI 自身的真实代码库；STEM、数学以及问答（Q&A）评测集则委托外部独立供应商定制构建，以最大程度规避训练集污染隐患。同时，团队使用去重程序对所有外部评测集与内部训练语料进行了严格的双向去污染（decontamination）清洗。评测基线选用了 2026 年 10 月之前可获取的业界前沿检查点：包括目前开源权重中最强的基座模型 DeepSeek-V4-Pro-Base，以及 Kimi K3、Qwen3.8-2.4T-A95B 和 MiMo-V2.6-Pro-RL（这三者仅有后训练检查点，评测时考虑了后训练可能带来的分布偏移）。

方法细节

1. 鲁棒扩展阶梯与源扩展（Robust Scaling Ladders & Source Scaling）

确定性单参数模型阶梯族构建：团队通过构建一组具有统一训练配方的不同规模模型族（即“扩展阶梯”）来系统评估模型改动。阶梯中的每个梯级均直接以其层数 $L$ 进行命名，并且层数 $L$ 作为单一自变量完全决定了该梯级模型的完整架构。具体而言，模型的隐层维度被严格定义为 $(256/3) \times L$，注意力查询头（Query Heads）的数量设定为 $L$ 并向最近的 16 的倍数取整。在训练递增尺寸的模型时，团队保持每个激活参数所分配的训练 token 数（Tokens Per active Parameter, TPP）为常数常项。

源扩展（Source Scaling）机制消除小尺度多轮偏差：为了在较小尺度的低梯级模型上准确模拟在全尺度下可能面临的多轮（multi-epoch）训练效应，团队提出了一种称为“源扩展”（Source Scaling）的技术。在扩展阶梯的底层梯级中，源扩展人为地限制了模型能够接触到的独立样本集合的大小，从而确保无论训练步长和总 token 预算如何缩小，各个数据集在整个训练周期内被遍历重复的次数保持绝对一致。举例而言，如果某特定子数据集在全规模 50T token 训练过程中被计划重复遍历 8 次，那么在一个总预算仅为 5T token 的缩小版梯级训练中，源扩展会强行将其数据源裁剪至仅包含原数据量的 $1/10$，使这十分之一的数据在该 5T 预算内同样精准地循环循环 8 次。

数据-参数比率锁定与跨尺度迁移：在固定的 TPP 约束下，源扩展在数学上恒定了独立数据量与模型参数量之间的比例关系，从而保障了实验结论能够平滑、单调且无失真地跨越模型尺度进行迁移。如果缺乏源扩展，在小规模算力下进行的探索性实验极易误导研究人员选择那些正则化不足的架构或超参数配置，此类配置虽在小样本下拟合迅速，但放大至超大规模参数时极易出现严重的过拟合。在阶梯体系中引入源扩展，是团队能够高置信度、零故障地将模型放大至 2.8T 巨量参数的核心科学基石。

图 2：MAI-Base-2 扩展阶梯。图表证实通过 L18 至 L42 梯级拟合的外推曲线，能够以极高精度提前预测 MAI-Base-2 在实际全尺度训练下的最终收敛表现。

2. 算力与模型配方效率隔离评测（Isolating Modeling Efficiency from Compute）

外部强基准投影与配方隔离法：在以往的大模型直接横向对比中，不同模型架构配方的优劣往往与模型自身参数体量、总训练算力（FLOPs）的差异严重混淆在一起。为了精准剥离计算资源投入的影响，团队设计了一种基于算力投影的配方评估法，量化计算团队的训练配方若要达到与外部顶尖基准模型完全相同的评估性能，理论上需要消耗多少计算量。团队选取了 DeepSeek-V4-Pro-Base 作为核心对照基准——这是目前唯一公开发布的总参数量超过 1 万亿的预训练基座模型，尽管其训练所消耗的总 FLOPs 明显低于 MAI-Base-2 的总预算。

独立扩展定律拟合与 FLOPs 效率倍数推导：针对留出评估中的四项核心基准（代码、问答、STEM、数学），团队分别在 BPB 与训练 FLOPs 之间独立拟合了精确的扩展定律曲线，并依此反推扩展阶梯上的模型配方匹配 DeepSeek-V4-Pro-Base 的 BPB 水平所需的理论算力。由于 MAI-Base-2 的实际最终评测点已经实测完成并直接参与了曲线拟合，因此目标匹配点完全落在拟合曲线的数据内插区间内，而非具有不确定性的外推区间。对比计算结果表明，MAI 的训练配方相比 DeepSeek-V4-Pro-Base 展现出了 $4.2\times - 12.3\times$ 的 FLOPs 计算效率提升；与 2026 年 6 月发布的 MAI-Base-1 相比，亦实现了 $6.3\times - 12.7\times$ 的计算效率跃升。

图 3：留出评测集上的 BPB 扩展曲线：MAI 阶梯与 DeepSeek-V4-Pro-Base 及 MAI-Base-1 的投影对比。MAI-Base-2 家族在达到基线模型相同 BPB 表现时，所需训练算力呈现数量级级别的缩减。

3. 超参数联合扩展定律（Scaling Laws for Hyperparameters）

LR 与 WD 耦合维度的重参数化搜索：在大规模预训练中，寻找最优超参数配置常常受限于组合爆炸难题，改变单一超参数往往会剧烈改变其他超参数的最优解分布。团队在 MAI-Base-2 中彻底重构了超参数优化流程。由于学习率（$\mathrm{LR}$）与权重衰减（$\mathrm{WD}$）在模型权重更新动力学上存在高度耦合，实验发现模型最终性能对乘积项 $\mathrm{LR} \times \mathrm{WD}$ 展现出极高敏感性，优异配置全部集中在 $(\log \mathrm{LR}, \log \mathrm{WD})$ 平面上的一条狭窄对角带内。若采用传统的矩形网格搜索，会在无效区域浪费大量算力，因此团队创新性地在对角坐标系 $(\log \mathrm{LR}, \log(\mathrm{LR} \times \mathrm{WD}))$ 下开辟网格进行联合扫描。

加权负对数似然的二维二次曲面解析极值提取：针对多组不同模型规模以及不同 TPP 设置，团队沿着网格进行了密集的训练与留出评测。在每个评估截面上，团队使用加权负对数似然（NLL）拟合二维二次曲面，样本点的权重随其实测 NLL 与该截面最小 NLL 的相对差距扩大而衰减。通过对拟合出的平滑曲面求解一阶导数，团队解析提取出理论极值点坐标对 $(\mathrm{LR}^*, \mathrm{LR}^* \times \mathrm{WD}^*)$。

图 4：上两行：针对不同模型大小与 TPP 的 $(\log \mathrm{LR}, \log(\mathrm{LR} \times \mathrm{WD}))$ 扫描。圆圈表示训练实验，颜色表示实测 NLL，圆圈大小对应拟合加权权重，背景显示拟合的 2D 二次曲面预测。下行：$\mathrm{LR}^* \times \mathrm{WD}^*$ 与 $\mathrm{LR}^*$ 的扩展定律曲线与拟合分析。

解析扩展方程推导与物理意义验证：团队进一步将提取出的极值点 $\log(\mathrm{LR}^* \times \mathrm{WD}^*)$ 与 $\log \mathrm{LR}^*$ 对模型尺寸、TPP 以及总训练步数（$\mathrm{steps}$）等变量进行符号回归与模型选择。研究发现，$\mathrm{LR}^* \times \mathrm{WD}^*$ 几乎完全受控于训练步数，而 $\log \mathrm{LR}^*$ 则额外受到 $\log \mathrm{TPP}$ 的调制。实证数据显示，$\mathrm{LR}^* \times \mathrm{WD}^*$ 关于步数的幂律指数无限趋近于 $-1$，这一结论深刻印证了优化理论视角：解耦权重衰减的时间尺度 $(1 / (\mathrm{LR} \times \mathrm{WD}))$ 应当占据总训练历程的固定比例。同时，$\mathrm{LR}^*$ 关于训练步数的经验指数极其贴近 $-0.5$，完美吻合工业界“批大小（Batch Size）每翻倍，学习率应放大 $\sqrt{2}$ 倍”的经典经验法则。最终确立的核心超参数扩展定律如下：

$$ \mathrm{LR}^* \times \mathrm{WD}^* = \frac{17.04}{\mathrm{steps}} $$ $$ \log \mathrm{LR}^* = -1.51 + 0.175 \log \mathrm{TPP} - 0.573 \log \mathrm{steps} $$

通过相似的曲面扫描与回归拟合方法，团队推导出了针对网络正则化参数 Dropout 的定量扩展定律（以模型激活参数量 $\mathrm{ActiveParams}$ 为变量）：

$$ \mathrm{Dropout} = \mathrm{sigmoid}\Big(0.526 \times \big(\log \mathrm{ActiveParams} - 27.2\big)\Big) $$

上述定律在小规模验证后，直接输入至中等规模阶梯验证，均展现出对传统经验启发式方法的显著优势，最终被固化为 MAI-Base-2 全程预训练的超参数设定基准。

图 5：MAI-Base-1 与 MAI-Base-2 的训练损失收敛轨迹对比。得益于精密的扩展阶梯与配方调优，MAI-Base-2 在超长周期内呈现出高度平滑稳健的收敛曲线。

4. 模型与基础设施协同设计（Codesigning Infrastructure and Model）

双重效率收益度量体系：在固定算力预算内训练前沿模型，要求在评测质量与计算硬件效率两端进行严格协同。团队确立了效率收益（Efficiency Gain, EG）作为核心指导指标，即候选方案与基线方案达到相同评估损失值时所需的计算量比值。指标划分为互补的两个维度：以理论计算量衡量的 $\mathrm{EG}_{\mathrm{FLOPs}}$，以及以端到端物理运行耗时衡量的 $\mathrm{EG}_{\mathrm{time}}$。团队在工程决策中以 $\mathrm{EG}_{\mathrm{time}}$ 作为首要依据以适配当前集群物理限制；同时以 $\mathrm{EG}_{\mathrm{FLOPs}}$ 作为技术潜力风向标，如果某项架构改动在 FLOPs 上大幅占优但在物理耗时上落后，即明确指示了底层系统软件与通信库必须突破和重构的方向。

MoE 全层化改造的系统瓶颈破除：历史建模实验表明，在每一层均使用 MoE（全层 MoE）相比稠密 FFN 与 MoE 隔层交替排布具有确定性的 $\mathrm{EG}_{\mathrm{FLOPs}}$ 优势。但在 MAI-Base-1 研发期，由于旧版 MoE 系统实现的性能瓶颈，隔层交替 MoE 反而在实际耗时度量 $\mathrm{EG}_{\mathrm{time}}$ 上表现更优。为解除该限制，团队定位出导致 MoE 计算利用率（MFU）低下的两大根因：

动态路由导致的显存碎片化与预留浪费：极度罕见的极端专家负载不均衡迫使系统预留巨量显存裕量以防 OOM，这挤占了本可用于激活重计算缓存的宝贵物理显存；
细粒度多专家带来的巨量核函数开销：专家切分越细、单卡专家数越多，引发的内核启动（kernel launch）与碎片化开销越大。通过针对性重构，MoE 层的 MFU 成功从 24% 提升至 35%，使得全层 MoE 架构在 MAI-Base-2 中成为时间最优解。

可调固定显存的多轮无丢弃 MoE（Multi-round Dropless MoE）：在 MoE 结构中，各专家接收的 token 数量具有随机动态性，易导致过载专家显存耗尽。常规丢弃 token 的方案经实验证明会严重劣化模型建模能力；而简单按最大负载静态分配显存则会导致稳态下的巨大显存浪费。团队提出了如图 6 所示的“多轮无丢弃 MoE 架构”：

图 6：包含三个专家组的多轮无丢弃 MoE 前向传播时间线示意图（附上方图例）。专家组 0 和 1（EG0 与 EG1）在第一轮中发生溢出。调度轮数在全局严格对齐同步，因此 EG2 在第二轮即使接收到 0 个 token 仍正常进位（内部计算算子被跳过）。在额外轮次中 MFU 虽有所下降，但稳态运行下通常仅为单轮，整体性能极其优异。
图 6 调度流水线执行图

该方案的核心执行步骤与设计机制包括：

专家分组与动态容量借用：将位于同一专家并行卡（EP rank）上的物理专家划分为一个或多个具备可配置规模的“专家组”（Expert Group, EG）。每个专家组以预设的固定单专家 token 容量基准执行“分发（Dispatch）-计算（Compute）-收集（Collect）”调度轮次。当单个专家接收 token 超出容量时，系统优先允许该超载专家借用组内其他低负载专家未使用的空闲 token 槽位。
全局多轮推进与反向重计算调度：若整组容量仍被突破，溢出 token 将进入追加的后续轮次中进行处理。由于多卡轮次全局对齐，未溢出组在追加轮次中跳过算子计算。反向传播阶段，系统遵循完全一致的多轮调度模式对各专家组执行极细粒度的激活值重计算。这一机制使得无论路由分布如何失衡，显存开销被严格锚定为静态固定值，从根本上消除了显存碎片与 OOM 隐患。在实际部署中，容量阈值被精确配置为稳态工况下 99% 以上保持单轮执行。
全阶段无缝通信计算流水线隐藏（Overlap）：跨所有专家组的所有调度轮次中，分发、计算与收集三大阶段被深度流水线化。除全流程中首个分发操作与最后的收集操作无法隐藏外，其余通信全部与专家 GEMM 计算完美重叠。在前向传播中，静态暴露的首尾通信被权重量化算子和共享专家（Shared Expert）的计算彻底覆盖；在反向传播中，暴露的输入分发与当前层的激活重计算重叠，暴露的梯度收集则与权重梯度（Weight Gradient）计算重叠，实现了专家通信的全面隐藏。

专家级系统开销四重消减技术：

GEMM 与 NVLink 算子融合同构化：将组内所有专家的计算内核与 NVLink 通信聚合处理，大幅压减了 GPU Kernel 启动频次，消除了小算子尾部等待延迟；
GPU 自主通信与零主机同步：将所有 token 路由元数据全部常驻于 GPU 设备端显存，实现由 GPU 硬件流直接发起 All-to-All 集合通信，阻断了主机端（Host）与设备端（Device）之间的同步阻塞；
对称显存（Symmetric Memory）直通 All-to-All：利用对称内存架构，使 token 跨卡交互直接通过 NVLink 进行点对点读写，彻底摒弃了本地中间暂存（Staging Copies），在释放高带宽显存（HBM）压力的同时，消除了后台通信与并发 GEMM 之间的显存总线争用；
跨层负载均衡损失聚合归约：彻底摒弃逐层执行 All-Reduce 收集辅助损失指标的旧逻辑，改为将全网络所有 Transformer 层的负载均衡损失统计量进行单次批量全局规约（Batched Reduction），大幅降低跨节点通信频率。

5. 分布式 Muon 优化器超大规模扩展（Scaling Muon to 16K GPUs）

Newton–Schulz 正交化与 ZeRO 数据并行的冲突破除：Muon 优化器相较于传统 AdamW 能够展现出大幅提升的训练稳定性与优化效率。然而其核心数学步骤需要采用 Newton–Schulz 迭代算法对权重矩阵的动量进行正交化，这涉及多轮高精度矩阵乘法，强依赖于参数矩阵的全局完整形状。这与大规模训练中普遍采用的 ZeRO 分布式技术（将优化器动量状态沿数据并行维度进行分片切分）构成了底层架构冲突。

跨卡动态重分片流水线（Resharding Pipeline）：团队遵循并发展了优化器步进期间的动量重分片机制：

各 GPU 节点首先就地完成其本地负责的 FP32 动量分片的更新，随后将其截断转换为 BF16 精度；
将具备相同张量形状的参数矩阵打包批处理，执行一次跨 GPU 的全局 All-to-All 集合通信；通信完成后，每张 GPU 分配并持有若干完整动量矩阵的绝对控制权；
各 GPU 利用专为对称矩阵定制的 Newton–Schulz 算子，在本地独立并发完成所持完整动量矩阵的正交化处理；
随后触发第二次 All-to-All 集合通信，将正交化后的更新量无损分发归还至其原始的各数据并行分片切片位置；
各 GPU 将收到的更新量重新转回 FP32 精度，并将其施加于模型最终的物理权重之上。

16K GPU 超大规模集群深度调优：

批次预取与多流重叠：引入跨批次预取（Prefetching）调度，实现动量 All-to-All 跨节点传输与本地 Newton–Schulz 浮点计算的双缓冲重叠；
重分片寻址元数据常驻缓存：在包含数千个相同形状专家参数的 MoE 网络中，寻址与切片逻辑极其复杂。团队将所有重分片索引元数据计算固化至常驻缓存中进行复用，消除了运行时的元数据计算开销；
高频敏感路由权重跨卡完全复制：针对 MoE 门控路由权重（Router Weights）等关键非稀疏矩阵，采取在所有 GPU 上全局全量复制而非 ZeRO 切分的策略。在执行更新时跳过第一阶段的通信，在 Newton–Schulz 完成后通过单次 All-Gather 操作广播最新的复制更新量；
开销分析与理论极限逼近：在经过上述极致调优后，在 16,000 张 GB200 GPU 的全规模集群上，Muon 优化器的步进耗时被牢牢压缩在平均训练单步迭代耗时的 2.1%（仅占 165 ms）。系统分析表明，该训练拓扑下 Muon 的纯通信物理理论极限制约为 55 ms，当前实测值与理论极限之间的微小差距主要来源于大规模集群的长尾跨节点掉队者（Stragglers）、底层微小内核分发时延、轻微负载扰动以及重分片过程中的本地显存搬移开销。

6. 激活值梯度截断（Activation Gradient Clipping）

样本级局域梯度污染机理与解耦：传统的梯度截断机制主要针对整个 Batch 汇总后的全局权重梯度范数（Global Weight Gradient Norm）设定固定上限阈值。然而真实的大规模分布式预训练中，异常梯度突刺（Outlier Gradients）通常仅由单批次中极少数甚至单个畸变、格式损坏的数据样本引发。在全局权重梯度截断机制下，单点数据引发的范数暴增会导致系统等比例缩减整个 Batch 的梯度向量，连带压制了批次中绝大多数处于正常状态的高质量样本的正常更新。

激活梯度精细截断机制与稳定性增益：针对上述缺陷，团队在网络中选取的特定关键激活值位置上直接部署激活值梯度截断算子。该机制不仅从源头上精准遏制了坏样本梯度的非线性扩散，还成功将全局梯度范数的波动范围锁定在极窄的平稳区间内。

图 7：MAI-Base-1 与 MAI-Base-2 预训练全程的梯度范数轨迹对比（单步值与 1000 步滑动中位数）。得益于激活值梯度截断与 Muon 优化器的联合应用，MAI-Base-2 的梯度范数分布表现出极其严格的收敛边界。

随算力规模扩大的收益非线性放大现象：如图 8 所示，传统的大多数模型改动在跨模型尺度扩展时，其带来的效率增益（$\mathrm{EG}_{\mathrm{FLOPs}}$）通常维持在近似水平的常数线。与之形成鲜明对比的是，激活梯度截断所带来的效率收益呈现出伴随训练算力规模放大而持续非线性递增的特征（在 L42 梯级上效率收益达到 +28%）。这一现象表明越是超大规模训练，优化动态对激活层局域稳定性的依赖度越高。

图 8：激活梯度截断在留出评估集上带来的计算效率收益（$\mathrm{EG}_{\mathrm{FLOPs}}$）随训练算力（FLOPs）及模型梯级（从 L18 至 L42）的放大而持续呈单调爆发式增长。

作为数据质量清洗的在线诊断追踪探针：除了作为优化稳定手段，激活梯度截断还被创造性地作为大规模数据管线的在线调试探针。图 9 揭示了一个通过该机制拦截出的典型代码数据损坏案例：在抓取自真实 PR 提交的代码片段中，一段 Apache 开源许可证文本在行中被意外截断。追踪该被截断 token 的激活梯度，工程团队迅速定位并修复了底层数据预处理清洗流程中存在的一处隐蔽切分 Bug。

图 9：被激活梯度截断机制在线标记出的异常代码训练序列。高亮标红的“#”即为激活梯度产生严重突刺并被硬件算子强制截断的具体异常 Token。

7. 数据管线规模化扩建与原生多模态注入（Scaling Data & Native Vision）

纯有机自研语料扩增与知识截断：MAI-Base-2 坚定不移地践行有机数据驱动准则，拒绝任何第三方模型知识蒸馏。自研清洗管线相较 MAI-Base-1 实现了 36% 的独立训练 token 净增长。在管线中系统整合了更高级别的质量分类模型、主题分桶聚类、网页结构化解析引擎、全局去重算法以及严格的双向留出测试集去污染校验。整个语料库的知识截止日期（Knowledge Cutoff）统一推进至 2026 年 3 月。

基于嵌入向量的多样性重采样机制：为了在高吞吐吞吐下打破重复低质内容造成的过拟合，团队引入了基于密集嵌入向量（Embedding-based）的多样性采样算法。通过在潜在空间内度量新数据与已选数据的覆盖度，主动对相似冗余样本进行衰减降权，优先抽取表征空间内处于稀疏区域的全新高价值样本，实证表明该策略对最终模型评测指标带来了决定性的拉升。

4.5T 原生免编码器视觉语言多模态语料库：MAI-Base-2 完全打破了前代 MAI-Base-1 的纯文本架构设计，转为采用免视觉编码器（Encoder-free）的统一原生 VLM 架构。为此，团队从底层构建了高达 4.5T 独立 token 的图文多模态数据库，在经历多轮调度重复后，多模态数据在最终 50T 预训练总混合配比中占据了整整 18% 的份额。多模态任务谱系全面覆盖：网页原生长图文配对描述、密集图表数据剖析（Chart Understanding）、视觉目标细粒度定位（Visual Grounding）、空间多步几何推理（Spatial Reasoning）、专业医学影像图文理解、图形用户界面电脑操作代理（Computer Use）、五线谱复杂乐谱阅读等众多复杂垂直场景。

图 10：MAI-Base-1 与 MAI-Base-2 预训练数据配比全景对照图。深色块代表各领域独一无二的独立 Token 数量，浅色块代表训练中按策略重复遍历的 Token 数量；展示了从 30T 扩展至 50T 过程中各垂直数据领域的增长比例。

实验环境

1. 数据集配置与训练语料配比

预训练语料总体规模：总计 50T tokens（MAI-Base-1 为 30T tokens），独立 token 数量较前代增加约 36%。
知识截止日期：2026 年 3 月。
配比组成（参见图 10）：
- 代码数据（Code）：在 50T 总量中占比 45%（独立 token 量较前代增长 +34%）；
- 网页数据（Web）：在 50T 总量中占比 12%（独立 token 量较前代增长 +16%）；
- PDF 文档（PDFs）：在 50T 总量中占比 9%（独立 token 量较前代爆发式增长 +104%）；
- STEM 学科数据：在 50T 总量中占比 9%（独立 token 量较前代增长 +24%）；
- 图书语料（Books）：在 50T 总量中占比 5%（独立 token 量较前代跃升 +194%）；
- 数学数据（Math）：在 50T 总量中占比 4%（独立 token 量较前代增长 +37%）；
- 原生视觉专用数据（Vision-only/VLM）：在 50T 总量中占比 14%（在总 50T 混合配比中涵盖文本与图文交互共计占比 18%，独立 token 达 4.5T）；
- 其他混合语料（Other）：在 50T 总量中占比 2%（独立 token 量较前代增长 +22%）。
留出评测集（Held-out Evaluations）：
- 内部代码（Held-out Code）：直接提取自微软内部真实自研工程代码库（MAI's codebase）；
- 留出问答（Held-out QA）：外部独立第三方供应商独立定制标注；
- 留出数学（Held-out Math）：外部供应商定制，确保不进入公开抓取域；
- 留出 STEM（Held-out STEM）：外部供应商定制高难度理工科综合测试集；
- 数据清洗：所有评测集均与 50T 预训练语料库执行严格的多阶段去污染查重。

2. 模型关键架构参数（MAI-Base-2 最终检查点）

总参数量：2.8 万亿（2.8T parameters）；
单 Token 激活参数量：800 亿（80B active parameters）；
Transformer 层数：102 层；
隐层维度 ($d_{\text{model}}$)：8704；
注意力机制设计：
- 全局注意力层（每 6 层出现一次）：96 个 Query 头，2 个 KV 头；
- 局部注意力层：96 个 Query 头，16 个 KV 头；
前馈网络 (FFN) 与专家结构：全层 MoE（无稠密 FFN 层）；
- 路由设计：1 个共享专家（Shared Expert，不经过维度升降投影）+ 7 个选通路由专家（Top-7 Routed）；
- 专家池总数：每层 512 个专家；
- 专家 FFN 中间维度：8704；
- 专家降维投影维度：4096；
嵌入层策略：输入词表与输出层权重解绑（Untied Embeddings）；
视觉架构：免视觉编码器原生端到端架构（Encoder-free Native VLM）。

3. 硬件与基础设施配置

计算集群卡数与型号：16,000 张（16K）NVIDIA GB200 GPU；
单卡理论算力基准：按单卡 GB200 在 BF16 精度下的理论峰值 2.5 PFLOPS 进行 MFU 归一化；
节点内及节点间网络：NVLink 高速互联网络支持对称显存技术（Symmetric Memory），支持全拓扑 GPU 间直接内存访问与全向通信；
训练物理耗时周期：在 2026 年 8 月至 9 月期间，全程连续运行 38 天。

4. 软件与数值系统配置

数值精度格式：全网络采用微缩放显式 FP8 格式（MXFP8E4M3）；
优化器引擎：Muon 优化器（应用于所有非嵌入 2D 权重矩阵参数，内部采用对称感知 Newton–Schulz 核函数）联合 AdamW 优化器（用于其余标量与嵌入层参数）；
动态正则与梯度控制：全网络配置解析导出的动态 Dropout（遵循 Sigmoid 连续扩展律）+ 全局权重梯度范数截断 + 关键层激活值梯度自适应截断。

实验结果与分析

1. 留出数据集综合能力测试（Held-Out BPB Benchmarks）

实验内容：在与分词器无关的留出每字节比特数（BPB，指标越低代表模型困惑度越低、预测概率分布越准确）度量下，横向比对 MAI-Base-2、前代基座 MAI-Base-1 以及业界领先的超万亿总参数量级开源模型。
实验数据（图 1 详尽提取）：
- 留出代码（Held-Out Code）：
  - MAI-Base-2：0.2203（全场最优）
  - Kimi-K3（104B/2.8T，后训练）：0.2264
  - DeepSeek-V4-Pro-Base（49B/1.6T，基座）：0.2370
  - Qwen3.8（95B/2.4T，后训练）：0.2400
  - MAI-Base-1（35B/1T，基座）：0.2401
  - MiMo-V2.6-Pro-RL（42B/1.02T，后训练）：0.2446
- 留出问答（Held-Out QA）：
  - MAI-Base-2：0.4162（全场最优）
  - Kimi-K3（104B/2.8T，后训练）：0.4269
  - DeepSeek-V4-Pro-Base（49B/1.6T，基座）：0.4351
  - Qwen3.8（95B/2.4T，后训练）：0.4427
  - MAI-Base-1（35B/1T，基座）：0.4440
  - MiMo-V2.6-Pro-RL（42B/1.02T，后训练）：0.4513
- 留出 STEM（Held-Out STEM）：
  - MAI-Base-2：0.3653（全场最优）
  - Kimi-K3（104B/2.8T，后训练）：0.3761
  - DeepSeek-V4-Pro-Base（49B/1.6T，基座）：0.3968
  - Qwen3.8（95B/2.4T，后训练）：0.3978
  - MiMo-V2.6-Pro-RL（42B/1.02T，后训练）：0.3975
  - MAI-Base-1（35B/1T，基座）：0.4026
- 留出数学（Held-Out Math）：
  - MAI-Base-2：0.3561（全场最优）
  - Kimi-K3（104B/2.8T，后训练）：0.3589
  - Qwen3.8（95B/2.4T，后训练）：0.3752
  - MiMo-V2.6-Pro-RL（42B/1.02T，后训练）：0.3803
  - DeepSeek-V4-Pro-Base（49B/1.6T，基座）：0.3862
  - MAI-Base-1（35B/1T，基座）：0.3939
分析结论：MAI-Base-2 在全部四个未见过的核心领域留出数据集上均以确定性优势击败了业界现存的所有开源模型。值得注意的是，对比基线中的 Kimi K3、Qwen3.8 与 MiMo 均为经历了密集后训练（Post-training/RL）强化后的检查点，而 MAI-Base-2 仍为纯预训练基座模型。这证明了 MAI-Base-2 展现出的纯粹知识吸收能力和表征下限已经全面跨越了当前工业界前沿水位线。

2. 计算利用率与生产稳定性评估（MFU & Goodput）

实验内容：在 16,000 张 GB200 规模下，全周期持续监控模型计算利用率（MFU）与系统有效推进时间（Goodput）。
实验结果：在长达 38 天的 50T token 训练历程中，全系统维持了高达 89% 的 Goodput（即有效推进训练步数的时间占据集群物理挂钟时间的 89%），实现了 21% 的平均 MFU（排除了梯度重计算和优化器相关的额外 FLOPs 计算，以 2.5 PFLOPS 纯 BF16 硬件峰值计算）。
分析结论：由于 MAI-Base-2 采用了 80B 激活参数/2.8T 总参数的极其稀疏架构（激活比率极低），同时采用了端到端全层 MoE 布局，在超大规模集群下面临着极度复杂的网络全对全交互阻滞。取得 21% 的高 MFU 和 89% 的高有效率，强有力地证明了多轮无丢弃 MoE、对称显存 NVLink 优化以及 Muon 动态重分片技术在规避集群拖尾抖动与显存瓶颈方面的强大效能。

3. 配方算力投影与效率倍数评估（FLOPs-Efficiency vs. Frontier Models）

实验内容：将 MAI 扩展阶梯所拟合的各基准 BPB 曲线投影至外部模型实测点，测算匹配目标性能所需的理论 FLOPs，并与基线实际消耗算力相除（图 3）。
实验结果：
- 相较于前沿开源基座 DeepSeek-V4-Pro-Base：MAI-Base-2 配方在达到其相同 BPB 水平时，所需的 FLOPs 仅为其实际消耗量的几分之一，实现了 $4.2\times$ 至 $12.3\times$ 的计算效率收益（在代码基准上达到 $12.3\times$，在问答上达到 $4.2\times$，在 STEM 上达到 $8.3\times$，在数学上达到 $6.6\times$）；
- 相较于前代 MAI-Base-1：实现了 $6.3\times$ 至 $12.7\times$ 的计算效率跃升（在代码基准上达到 $12.7\times$，在问答上达到 $6.3\times$，在 STEM 上达到 $8.3\times$，在数学上达到 $7.5\times$）。
分析结论：该结果有力证明了 MAI-Base-2 的性能突破并非单纯依赖算力堆砌（Brute-force Scaling），其底层架构革新、Muon 优化动态以及基于有机语料的多样性采样筛选，为整个预训练系统注入了巨大的纯配方增益。

4. 激活梯度截断的规模增益与收敛平稳性测试

实验内容：在扩展阶梯的不同尺寸梯级（L18、L24、L30、L36、L42）上，逐一对比启用与禁用激活梯度截断时的计算效率提升率（$\mathrm{EG}_{\mathrm{FLOPs}}$），并追踪全程训练损失与梯度范数波动（图 5、图 7 与图 8）。
实验结果：
- 效率收益随规模扩展单调爆发式攀升：在 L18 梯级上效率增益约为 +2%，到 L24 梯级达到约 +7%，L30 梯级达到约 +10%，L36 梯级达到约 +16%，而在 L42 梯级上效率收益直接飙升至 +28%；
- 梯度范数控制力：图 7 清晰展现，相较于 MAI-Base-1 在训练中后期出现的剧烈高频毛刺与范数发散漂移，MAI-Base-2 在整个 50T 周期内，梯度范数的 1000 步滑动中位数被极其稳定地锁定在 [0.02, 0.1] 的超窄动态范围区间内；
- 训练损失收敛性：图 5 表明 MAI-Base-2 在整个生命周期内未出现任何发散（Divergence）或突发性 Loss 尖刺回滚，收敛平滑度显著优于前代。
分析结论：激活梯度截断打破了传统技巧“随模型规模扩大边际效应递减”的魔咒，展现出极强的规模正相关性。它成功切断了单样本异常激活向全局梯度的恶性污染传导，从底层巩固了超大规模 MoE 优化的理论鲁棒性。

结论与未来工作

MAI-Base-2 标志着微软在完全自主自研前沿基础大模型（Frontier Foundation Models）预训练领域取得了阶段性的重大飞跃。通过深度融合高鲁棒性的源扩展阶梯科学、解析形式的超参数二维扩展定律、全栈系统架构协同设计（包括多轮无丢弃全层 MoE、16K 规模分布式 Muon 优化器、激活梯度截断）以及全有机的原生图文多模态数据基础设施，该模型在 16,000 张 GB200 集群上实现了兼具前所未有的 FLOPs 效率与极致评测表现的超万亿稀疏模型训练。

未来工作展望：

全面启动后训练（Post-training）：MAI-Base-2 基座目前正在经历密集的后训练流水线流程（涵盖指令微调、复杂数学/代码强化学习推理强化等），以将其强大的基座知识储备转化为面向具体终端交互与企业任务的最佳效能；
下一代 MAI-Base-3 预训练研发：团队已经全面展开了下一代基座模型 MAI-Base-3 的工程与理论筹备工作；
坚持底层科学原则：团队确立了指引未来所有模型迭代的三大核心哲学基石：
- 智能应当基于第一性原理进行学习（Intelligence should be learned from first principles）；
- 最纯粹简单的方法最具扩展潜力（Simple methods scale best）；
- 坚守科学严谨性，绝不走投机捷径（Scientific rigor over shortcuts）。

方法细节中的引用汇总

在本文的方法细节中，作者针对关键技术设计所关联的学术脉络与文献进行了明确的分析性引用与技术沿革说明。下表汇总了相关引用内容及其在文中的原意表述：

引用技术领域 / 关联模块	论文原文描述要点及技术上下文	对应文献标准学术索引（展开）
分布式 Muon 优化器设计 (Scaling Muon)	论文描述：“Following prior work, we reshard the momentum during the optimizer step. Each GPU updates its local FP32 momentum shard and casts it to BF16... Then gives each GPU ownership of a subset of full momentum matrices... Local with a symmetry-aware Newton–Schulz kernel.” (阐明在大规模分布式训练环境下，将 ZeRO 动量分片与 Newton–Schulz 矩阵正交化需求相结合时，借鉴了前人对动量进行跨数据并行动态重分片的方法。)	[Keller Jordan et al., 2024] Muon: An optimizer for hidden layers in neural networks, 2024. URL: https://github.com/KellerJordan/Muon
学习率与步数经验定律 (Hyperparameter Scaling Laws)	论文描述：“The empirical exponent of LR with respect to steps was close to -0.5, which matches the widely used rule of thumb that when doubling the batch size, one should multiply the learning rate by $\sqrt{2}$.” (验证了学习率随训练步数呈 -0.5 幂律衰减的物理本质，严格对应工业界批大小翻倍则学习率乘以 $\sqrt{2}$ 的经典经验缩放法则。)	[Krizhevsky, 2014 / Goyal et al., 2017] Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour, arXiv:1706.02677, 2017.
权重衰减与优化器时间尺度 (Hyperparameter Scaling Laws)	论文描述：“The empirical exponent for $\mathrm{LR}^* \times \mathrm{WD}^$ with respect to steps was very close to -1, which matches the view that the decoupled weight decay time scale $(1 / (\mathrm{LR} \times \mathrm{WD}))$ should be a fixed fraction of training.” (指出解耦权重衰减参数所对应的时间尺度倒数与训练步数呈反比，印证了权重衰减有效时间窗应当占总优化历程固定比例的解耦优化器经典理论。)*	[Loshchilov & Hutter, 2019] Decoupled Weight Decay Regularization (AdamW), ICLR 2019.

PaperCache

Frontier Pre-training at Microsoft AI

Frontier Pre-training at Microsoft AI