GLM-5.3-Flash: Frontier Intelligence, Flash Cost
发表时间: 2026-08 · Blog post by Z.ai (z.ai)
原文: https://z.ai/blog/glm-5.3-flash
速读
一句话结论 GLM-5.3-Flash 是一个拥有 320B 总参数和 18B 激活参数的原生多模态模型，通过引入线性与稀疏混合注意力机制及底层推理栈优化，在成本降至 1/10 的情况下，其代码与智能体能力大幅超越 GLM-5.2，并逼近 Claude Opus 4.8。
要解决什么问题 大模型在处理长达 1M tokens 的超长上下文时，注意力机制的计算量和 KV 缓存带来的显存开销会急剧膨胀，导致推理成本居高不下。这一卡点在显存容量和内存带宽相对受限的国产 AI 芯片集群上尤为致命，严重制约了前沿模型的大规模经济部署。此外，在代码生成领域（如前端、游戏开发和 3D 模拟），传统的纯文本输出无法覆盖最终产品的交互与渲染效果，模型如果缺乏原生的视觉能力，就无法在测试阶段通过观察渲染界面来发现布局错误或交互失效，从而导致代码生成任务在实际应用中出现断层，无法形成从生成到视觉反馈再到自我修正的完整闭环。
怎么做的 核心思路是对模型架构、训练配方和底层推理栈进行全链路的极致效率重构，并原生融入视觉反馈机制。首先，为了绕开长上下文带来的显存与计算卡点，模型在 GLM 系列中首次采用了线性注意力与稀疏注意力相结合的混合架构。其机制是：线性注意力通过状态建模来捕获局部依赖关系，而稀疏注意力则通过一个轻量级的索引器（indexer）来检索相关的全局上下文。为了进一步降低 1M 上下文长度下索引器的延迟和显存开销，作者设计了 IndexPool 技术，其核心操作是通过加权池化将四个索引器键（Key）向量压缩为一个，其压缩过程可抽象表示为 $K_{pooled} = \sum_{i=1}^{4} w_i K_i$，从而大幅压缩缓存体积。此外，模型引入了流形约束超连接（mHC）以提升扩展效率，并将网络层数从 92 层缩减至 45 层。在多模态与训练数据层面，模型使用了 30T tokens 的多模态预训练语料。针对视觉代码任务，构建了专门的数据合成流水线，强调视觉自我评估和测试时改进。模型能够渲染其生成的代码，检查用户实际看到的界面，识别视觉问题并迭代修改底层代码。对于前端代码，还引入了带有环境反馈的强化学习，并通过基于真实用户流的智能体验证来增强 GUI 评估。在工程实现与部署层面，为了在内存和带宽受限的国产 AI 芯片上实现高效服务，团队基于 SGLang 构建了专用推理引擎，采用了以计算换带宽和以通信换带宽的激进显存优化策略。关键组件包括：针对线性注意力和 LM head 的节点内张量并行、ReplaySSM、W8A8 量化、INT8/FP8/BF16 混合缓存量化以及 Layer Split 技术。在集群规模上，采用了生产级的编码-预填充-解码（EPD）分离架构，将多模态编码、提示词预填充和逐词元解码拆分为独立调度、可扩展的工作池。
效果如何 实验基于 320B 总参数（18B 激活参数）的模型，在 1M 上下文设置下，于国产 AI 芯片集群上进行测试。对比的基线模型涵盖了多个路线：代表上一代内部基线的 GLM-5.2 和 GLM-5.3，代表内部基础模型路线的 GLM-4.5-Base 和 GLM-5-Base，代表近期开源模型的 DeepSeek-V4-Flash 和 Kimi-K3，以及代表前沿智能路线的 Claude Opus 4.8、GPT-5.6 Terra、Gemini 3.7 Flash 和 DeepSeek-V4-Vision-Exp。在量化结果上，GLM-5.3-Flash 的每任务成本仅为 0.045 美元，在 Artificial Analysis Intelligence Index v4.1.1 中得分为 57，以 1/10 的成本提供了极具竞争力的性能。在代码与智能体任务中，它全面超越 GLM-5.2，例如在 DeepSWE v1.1 上得分为 63.4（基线为 46.2），在 AutomationBench 上得分为 48.8（基线为 26.2）；在内部的 Z.ai Code Bench v1.0 最大努力级别下，以 29.0 的得分逼近 Claude Opus 4.8 的 29.5。在架构效率对比中，计算每层每个注意力头的开销时，GLM-5.3-Flash 的注意力计算量比 GLM-5.3 减少了 3.0 倍，是所有对比模型中最低的；其 KV 缓存比 GLM-5.3 缩小了 4.4 倍。在国产芯片的端到端服务性能上，相比初始基线实现了 3 倍提升，达到了与主流 NVIDIA GPU 相当的硬件效率。作者也坦诚了当前方法的局限性：尽管 KV 缓存大幅缩小，但其绝对尺寸仍然略大于 Kimi-K3 和 DeepSeek-V4-Flash，在此维度上仍有进一步优化的空间。
主要贡献
本文介绍了GLM-5系列中首个原生多模态模型GLM-5.3-Flash。该模型总参数量为320B，但激活参数仅为18B，以十分之一的成本在多项基准测试和实际工作负载中超越了GLM-5.2，同时在编码和Agentic基准测试中逼近了Claude Opus 4.8。
GLM-5.3-Flash从一个全新训练的基础模型开始，其架构和训练方案围绕能力和效率进行了重新设计。在GLM系列中，本文首次引入了结合稀疏注意力和线性注意力的混合架构，大幅降低了长上下文服务成本，同时保留了精确的长上下文能力。该模型还采用了流形约束超连接（Manifold-Constrained Hyper-Connections, mHC）以进一步提高扩展效率。结合最新的30T-token多模态预训练语料库，这些改变使得GLM-5.3-Flash能够以更少的计算量提供更高的智能。在发布之前，GLM-5.3-Flash作为ox-alpha在OpenCode和OpenRouter上进行了匿名测试以收集用户反馈，并迅速成为当周最受欢迎的模型——且所有这些流量均由国产AI芯片提供服务。
背景知识与设计原则
视觉编码的边界扩展：视觉编码不仅是处理图像，它更扩展了编码所能触及的边界。对于前端开发、游戏开发和3D模拟等任务，最终输出不仅是代码本身，而是用户体验的界面、交互或世界。许多失败案例只能通过渲染、交互或游戏测试才能暴露出来。CUA进一步将编码从可编程系统扩展到可见和交互式环境中。因此，视觉能力需要原生集成到模型中，使其能够决定何时进行观察，并使用视觉反馈来指导后续的操作。
视觉编码的数据合成与闭环验证：我们针对视觉编码开发了数据合成管道，重点关注视觉自我评估和测试时的改进（test-time improvement）。由此产生的轨迹（trajectories）要求模型与环境进行交互，检查其自身的输出，并迭代地对其进行改进。对于前端编码，我们还探索了带有环境反馈的强化学习，并通过基于真实用户流（user flows）的代理验证进一步加强了GUI评估。这使得验证过程超越了单纯的功能正确性，延伸到了渲染和交互式产品层面。代码让模型构建和改变世界，视觉让它进入人们看到和使用的世界。这里的关键是闭合生成和视觉反馈之间的循环：模型可以渲染其输出，检查用户实际看到的内容，识别视觉问题，并相应地修改底层的工件。这不仅适用于界面和游戏，也适用于视觉结构化输出（如演示文稿）。在下面的例子中，GLM-5.3-Flash检测到生成幻灯片中的布局问题，并通过视觉自我验证完善了排版。
超越编码的专业工作伙伴：编码能力为智能知识工作提供了重要基础，而视觉智能将这些能力扩展到更广泛的专业任务中。专业活动中很大一部分涉及解释异构的视觉和结构化信息，包括文档、电子表格、演示文稿、仪表板、界面和会议工件。视觉智能通过使模型能够联合推理文本、视觉和结构上下文，将模型的能力扩展到以代码为中心的环境之外。模型可以直接解释与任务相关的工件并识别相关信息，而不需要用户将他们的工作环境明确翻译成文本指令。它还可以根据视觉上下文和预期结果评估自己的输出，从而实现更有效的自我验证和改进——包括对演示文稿质量和美学的更强判断能力。
方法细节
超低成本推理架构设计：与GLM-4.5系列相比，GLM-5.3-Flash专门为超低成本推理而设计。尽管两者的总参数量相似（320B对比355B），但GLM-5.3-Flash将激活参数量（18B对比32B）和层数（45层对比92层）几乎减半。
混合注意力机制与IndexPool：为了最小化长上下文场景中的注意力计算成本，我们采用了一种结合线性注意力（linear attention）和稀疏注意力（sparse attention）的混合架构。线性注意力通过状态建模捕捉局部依赖关系，而稀疏注意力则通过轻量级索引器（indexer）检索相关的全局上下文。为了进一步降低在1M-token上下文长度下索引器的延迟和内存开销，我们引入了IndexPool技术，该技术通过加权池化（weighted pooling）将四个索引器键向量（key vectors）压缩为一个。
计算与KV Cache效率对比：为了说明我们架构的效率，我们将GLM-5.3-Flash的每个token计算量和KV缓存大小与GLM-5.3以及最近的两个开源模型（DeepSeek-V4-Flash和Kimi-K3）进行了比较。为了在不同规模的模型之间进行公平比较，我们计算了每层每个头（per head per layer）的注意力计算量和每层平均KV缓存大小（BF16格式）。与GLM-5.3相比，GLM-5.3-Flash使用的注意力计算量减少了3.0倍，KV缓存缩小了4.4倍。在所有比较的模型中，GLM-5.3-Flash的注意力计算量最低。其KV缓存大小仍略大于Kimi-K3和DeepSeek-V4-Flash，这留下了进一步改进的空间。整体架构的改进，结合优化的预训练语料库，使得GLM-5.3-Flash能够以更少的计算量产生更多的智能。
国产AI芯片集群上的大规模服务：在过去的一周里，我们在一个大规模的国产AI芯片集群上提供了GLM-5.3-Flash服务，该集群由高带宽互连和针对底层硬件优化的服务栈提供支持。
基于SGLang的专用推理引擎开发：为了克服单个芯片相对有限的计算和内存容量，我们在SGLang之上为这种架构构建了一个专用的推理引擎。值得注意的是，这项工作得到了由GLM-5.3驱动的基础设施代理（infrastructure agent）的加速，该代理协助工程师开发和优化内核（kernels），诊断性能瓶颈，并改进服务栈——从而创造了一个反馈循环，在这个循环中，模型帮助优化了服务于模型本身的系统。
针对内存和带宽受限的优化技术：这些芯片主要受限于内存容量和带宽，特别是在支持高达一百万token的上下文长度时。这要求进行积极的内存优化，包括针对底层架构量身定制的以计算换带宽（compute-for-bandwidth）和以通信换带宽（communication-for-bandwidth）技术。我们的技术栈结合了用于线性注意力和LM head的节点内张量并行（intra-node tensor parallelism）、ReplaySSM、W8A8量化、混合INT8/FP8/BF16缓存量化以及层拆分（Layer Split）技术。
集群规模的EPD解耦架构与端到端性能提升：在集群规模上，我们生产级的编码-预填充-解码（Encode–Prefill–Decode, EPD）解耦架构将多模态编码、提示预填充（prompt prefill）和逐token解码分离到独立调度和可扩展的工作池（worker pools）中，从而实现高效可靠的服务。与我们在相同硬件上的初始基线相比，我们在端到端服务性能上实现了3倍的提升，达到了与主流NVIDIA GPU相当的硬件效率和单token成本。这证明了国产芯片可以大规模、高效且经济地支持前沿模型推理。
实验环境
- 模型架构关键参数：GLM-5.3-Flash总参数量320B，激活参数量18B，网络层数为45层。采用线性注意力与稀疏注意力的混合架构，引入IndexPool池化压缩技术，支持最大上下文长度达1M tokens。
- 硬件配置：部署于具备高带宽互连的大规模国产AI芯片集群，受限于单卡内存容量和带宽。
- 软件配置：基于SGLang构建专用推理引擎。采用节点内张量并行、ReplaySSM、W8A8量化、混合INT8/FP8/BF16缓存量化和Layer Split技术；集群服务采用EPD解耦架构。开源模型权重支持SGLang、vLLM和TokenSpeed等推理框架进行本地部署。
- 数据集与语料库：采用30T-token的多模态预训练语料库。
实验结果
性价比与综合智能评估：
GLM-5.3-Flash推动了Artificial Analysis Intelligence Index v4.1.1的帕累托前沿（Pareto frontier），其得分为57，而每个任务的成本仅为0.045美元（折扣后）——这种智能水平以前通常需要大约10倍的成本才能获得。这使其成为广泛工作负载中极具竞争力的默认选择。
编码与Agentic基准测试对比：
在六个编码和Agentic基准测试中，GLM-5.3-Flash持续超越GLM-5.2，且通常优势显著。例如在DeepSWE v1.1上得分为63.4（GLM-5.2为46.2），在AutomationBench上得分为48.8（GLM-5.2为26.2），总体表现逼近Claude Opus 4.8。
内部编码评估：
在Z.ai Code Bench v1.0内部编码评估中，GLM-5.3-Flash在每一个努力水平（effort level）上都明显优于GLM-5.2，并且在最大努力（max effort）下几乎追平了Claude Opus 4.8（29.0对比29.5）。
基础模型能力对比测试：
下表比较了GLM-5.3-Flash-Base与之前的Base模型以及DeepSeek-V4-Flash-Base。GLM-5.3-Flash-Base总体上优于GLM-4.5-Base，并在大多数基准测试中与参数量大得多的GLM-5-Base（744B）保持竞争力。
| GLM-4.5-Base | GLM-5-Base | DeepSeek-V4-Flash-Base | GLM-5.3-Flash-Base | |
|---|---|---|---|---|
| Activated Params | 32B | 40B | 13B | 18B |
| Total Params | 355B | 744B | 284B | 320B |
| MMLU | 86.1 | 88.3 | 88.5 | 88.1 |
| BBH | 86.2 | 87.4 | 84.9 | 86.6 |
| HellaSwag | 87.1 | 88.1 | 85.3 | 87.1 |
| LiveCodeBench-Base | 28.1 | 34.4 | 29.9 | 37.6 |
| SimpleQA | 30 | 36 | 31.2 | 33.5 |
(DeepSeek-V4-Flash-Base的结果使用内部评估框架进行评估，以控制实现差异)
多模型综合能力全面对比：
在涵盖Coding、Agentic和Vision三大类的综合测试中，GLM-5.3-Flash展现出强大的原生多模态与推理能力。
| GLM-5.3-Flash | GLM-5.2 | DeepSeek-V4-Vision-Exp | Opus 4.8 | GPT-5.6 Terra | Gemini 3.7 Flash | |
|---|---|---|---|---|---|---|
| Coding | ||||||
| Terminal Bench 2.1 | 84.3 | 81 | 83.9 | 85 | 87.4 | 85.8 |
| DeepSWE (v1.1) | 63.4 | 46.2 | 59.3 | 58 | 69.6 | 65.3 |
| NL2Repo | 56.3 | 48.9 | 57.7 | 69.7 | ||
| Agentic | ||||||
| Toolathlon Verified | 78.4 | 59.9 | 75.9 | 76.2 | 74.9 | |
| AutomationBench (v1.0.6) | 48.8 | 26.2 | 38.8 | 41 | 37.2 | 52.3 |
| Agents' Last Exam | 26.3 | 20.4 | 27.3 | 27 | 28 | |
| HLE w/ Tools | 55.3 | 54.7 | 55.1 | 57.9 | ||
| GDPval-AA v2 | 1773 | 1504 | 1675 | 1582 | 1571 | 1527 |
| Vision | ||||||
| OfficeQA Pro | 62.4 | 57.9 | 48.9 | |||
| CharXiv Reasoning (w/ Tools) | 89.4 | 80.4 | 89.9 | 88 | 88.7 | |
| Chartography (w/ Tools) | 78 | 64.3 | 75 | 68 | 65 | |
| BabyVision | 53.4 | 35.1 | 46.8 | 61.6 | 70.9 | |
| MVbench | 77.8 | 69.4 | 67.1 | 75 | 82.2 | |
| MMVU | 80.5 | 72.7 | 67.4 | 75.8 | 82.3 |
结论
GLM-5.3-Flash表明，前沿智能不一定需要付出前沿的成本。这并非任何单一技巧的结果，而是三个层面共同作用的产物：一个用更少计算量提供更强能力的架构、一个更丰富的多模态预训练语料库，以及与推理硬件协同设计的基础设施。目前，该方案正在向更大的模型扩展——GLM-5.3-Flash推动了性价比的前沿，而从构建它中汲取的经验已经开始塑造下一个前沿模型。
补充细节
模型发布与应用集成：
GLM-5.3-Flash已向所有GLM Coding Plan用户推出，提供3倍于GLM-5.3的可用配额。用户可以在ZCode中通过Browser Use和Computer Use解锁其多模态能力：代理可以通过点击和视觉验证网页，并操作桌面应用程序。GLM-5.3-Flash的模型权重已在Hugging Face上公开。对于本地部署，GLM-5.3-Flash目前支持SGLang、vLLM和TokenSpeed等推理框架，对更多框架的支持正在开发中。
详细评估参数与策略配置：
* HLE w/ tools (full set)：使用采样参数temperature=1.0和top_p=0.95进行评估，最大生成长度为163,840 tokens。评估在最大上下文长度300,000 tokens下进行，使用上下文管理策略。使用GPT-5.6-luna (medium)作为裁判模型。
* NL2Repo：在1M上下文中，使用temperature=1.0、top_p=1.0和max_new_tokens=64k评估NL2Repo。为了防止黑客攻击，使用了基于规则和基于LLM的判断来防止恶意行为（例如未经授权的pip或curl操作）。
* DeepSWE：使用mini-swe-agent测试工具运行DeepSWE，参数为temperature=0.95、top_p=1.0、timeout=6h，上下文长度为400K。
* Terminal-Bench 2.1：在Claude Code 2.1.207中评估，参数为temperature=1.0、top_p=1、max_new_tokens=65536，6小时超时。
* Agent’s Last Exam (ALE)：使用官方评估协议和Claude Code测试工具评估ALE（推理努力=max，1M上下文，64K最大输出）。工具搜索被禁用，结果由官方ALE评估器评分。
* Toolathlon Verified：通过官方评估服务获取所有结果，并报告3次独立运行的平均pass@1。
* AutomationBench：在AutomationBench v1.0.6上进行评估，包含了修复PR #13中引入的null类型处理问题的补丁。
* GDPval-AA v2：模型由Artificial Analysis进行独立评估。
* BabyVision：使用temperature=1.0、top_p=0.95，最大上下文长度为164K tokens。将输入图像调整大小，使其较短边至少为1.5K像素，这与其他基线的设置保持一致。
* OfficeQA Pro：在不提供嵌入文本访问权限的情况下，在Treasury Bulletin PDF语料库上评估代理。使用temperature=1.0、top_p=0.95，最大上下文长度为512K tokens。
* CharXiv Reasoning与Chartography：使用temperature=1.0、top_p=0.95，最大上下文长度为256K tokens。
* MVBench和MMVU：使用temperature=1.0、top_p=0.95，最大上下文长度为256K tokens。对于原生接受视频输入的模型（如Gemini 3.7 Flash），直接输入原始视频进行评估。对于不支持视频输入的模型，采用默认的1 fps帧提取策略。如果提取的总帧数超过API的最大限制，则在视频中执行均匀帧采样，直到达到此最大帧数限制。