编辑｜杜伟、陈陈
一边放出新一代旗舰基座模子 GLM-5 手艺报告，，，， ，展现其从底层架构到异步强化学习基准设施的深层立异硬实力；；；；； ；；；一边马年港股首个生意日收盘暴涨近 43%，，，， ，市值突破 3200 亿港元。。。。。。。这一波，，，， ，智谱属实「两着花」了。。。。。。。
到今天，，，， ，关于打工人来说，，，， ，这个「AI 味」浓重的马年春节即将迎来尾声！
已往一周多的时间，，，， ，机械人无疑是顶流中的顶流，，，， ，「机械人周全入侵春晚」的词条更是一度占有了各大社交平台的热搜榜首。。。。。。。与此同时，，，， ，作为目今主流机械人「大脑」的 AI 大模子，，，， ，其范式与手艺立异同样值得我们复盘。。。。。。。
这个春节，，，， ，DeepSeek V4「鸽了」，，，， ，但以字节 Seedance、智谱为代表的大厂及 AI 明星独角兽相继宣布模子，，，， ，同样是在手艺路径上的一次「强势亮剑」。。。。。。。
其中，，，， ，依附新一代旗舰基座大模子 GLM-5 引爆全球开发者社区的智谱，，，， ，在几天前将该模子完整的手艺报告放了出来。。。。。。。
我们先往返首一下 GLM-5 的焦点亮点：
它面向 Agentic Engineering 打造，，，， ，依附更强的代码能力、更长的 200K 上下文、更好的 Agent 工具挪用能力，，，， ，尤其擅优点理重大系统工程与长程 Agent 使命，，，， ，准确率攀升显着。。。。。。。
在 Coding 与 Agent 使命上，，，， ，GLM-5 在 SWE-bench、Terminal-Bench、BrowseComp、MCP-Atlas 等多个主流基准测试中取得开源 SOTA 级体现。。。。。。。这使得 GLM-5 成为构建通用 Agent 助手的理想基座选择，，，， ，并推动 Agent 从「跑通 Demo」的玩具阶段跨越到「解决现实天下重大工程问题」的生产力临界点。。。。。。。
随着手艺报告的释出，，，， ，我们得以揭开其强悍性能背后的手艺窍门。。。。。。。总结来看，，，， ，GLM-5 的焦点立异点可以归纳为三点：
首先，，，， ，GLM-5 在底层架构层面接纳DSA（DeepSeek Sparse Attention），，，， ，在「长文本推理能力」与「训推本钱」之间取得绝佳平衡。。。。。。。
其次，，，， ，GLM-5 通过异步强化学习基础设施 —— Slime 框架，，，， ，将「天生历程」与「训练历程」解耦，，，， ，显著提升后训练阶段的效率。。。。。。。
最后，，，， ，Agent 强化学习算法是 GLM-5 能够更高效地从重大、长时序交互中学习的要害。。。。。。。
针对 GLM-5 的一系列立异，，，， ，X 平台上一些大 V 给出了极高评价，，，， ，「在处置惩罚端到端的软件工程挑战时，，，， ，GLM-5 显著逾越现有基线，，，， ，标记着模子能力从『片断式响应』进化到『系统级交付』。。。。。。。」
图源：X@omarsar0
在大模子的生长历程中，，，， ，很少有能力是凭空爆发的。。。。。。。无论是架构设计、训练范式，，，， ，照旧数据处置惩罚与优化技巧，，，， ，险些所有领先模子都建设在既有研究效果与工程实践的基础之上。。。。。。。
从 Transformer 的提出到注重力机制的演进，，，， ，再到强化学习与知识迁徙要领的成熟，，，， ，每一次突破都来自一连的迭代与吸收。。。。。。。
但在仔细研读 GLM-5 的手艺报告之后，，，， ，我们发明了智谱奇异的手艺品味。。。。。。。
手艺报告原文链接：https://arxiv.org/pdf/2602.15763GitHub 开源地点：https://github.com/zai-org/GLM-5
DSA：降低训练与推理本钱
DSA（DeepSeek Sparse Attention）是 DeepSeek 提出的一种高效注重力机制。。。。。。。要明确它解决了什么问题，，，， ，我们先要知道注重力机制是干什么的：模子在明确每一个词时，，，， ，需要参考上下文中其他所有词，，，， ，句子越长，，，， ，需要参考的词越多，，，， ，盘算量呈平方级增添。。。。。。。关于动辄十万词的长文本，，，， ，这个开销是灾难性的。。。。。。。
DSA 的焦点思绪是：不是每个词都一律主要，，，， ，大大都词着实可以忽略。。。。。。。它通过动态打分，，，， ，只挑出真正相关的少数 token 加入盘算。。。。。。。实验证实，，，， ，长文本中约 90% 的注重力盘算是冗余的，，，， ，DSA 把这部分直接省掉，，，， ，在不牺牲明确能力的条件下，，，， ，将长序列的盘算量压缩了 1.5 到 2 倍。。。。。。。
得益于 DSA，，，， ，GLM-5 得以将模子参数规模扩展至 744B（40B 激活参数），，，， ，训练 token 总量提升至 28.5T。。。。。。。但用 DSA 和把 DSA 真正用好之间，，，， ，有一段不短的工程距离。。。。。。。
当 DSA 与 MLA（Multi-Latent Attention）、自研 Muon 优化器等既有组件叠加时，，，， ，团队发明模子在多个基准上泛起性能退化。。。。。。。
为此，，，， ，GLM-5 提出Muon Split 机制：将矩阵拆分为差别头的更小矩阵，，，， ，并对这些自力矩阵应用矩阵正交化，，，， ，使得差别注重力头的投影权重能够以差别标准更新。。。。。。。
另外，，，， ，针对 MLA 解码盘算本钱高难题，，，， ，GLM 团队提出了MLA-256 变体：把 head dimension 从 192 提到 256，，，， ，同时把注重力头数镌汰 1/3，，，， ，使训练盘算量和参数目坚持稳固，，，， ，但解码盘算量显著下降。。。。。。。
为进一步提升基础模子性能，，，， ，智谱还提出在训练阶段共享 3 层 MTP 的参数。。。。。。。这样既坚持了底稿模子与 DeepSeek-V3 相同的内存开销，，，， ，又提升了 token 的接受率。。。。。。。
在目今大模子竞争名堂中，，，， ，参数规模已不再是唯一的护城河。。。。。。。真正的壁垒在于怎样在算力预算、长上下文忠实度与工程稳固性之间取得平衡。。。。。。。
GLM-5 在 DSA 系统上的实践提供了一个清晰的谜底：不再盲目追求无限堆砌算力，，，， ，而是通过重构盘算路径，，，， ，让模子在一律资源下完成更高效的事情。。。。。。。 若是说大模子的前半场是在比拼「谁做得更大」，，，， ，那么 GLM-5 则标记着下半场的开启，，，， ，在长程推理与 Agent 时代，，，， ，谁能把盘算结构设计得更「智慧」，，，， ，谁才华在端到端的软件工程等重大使命中胜出。。。。。。。
异步 RL 基础设施：Slime 框架的工程立异
在从「文本天生」向「自主署理（Agent）」进化的历程中，，，， ，古板同步强化学习的低效与长程推理的腾贵本钱成为了最大的阻碍。。。。。。。
古板同步 RL 的流程是：天生一批轨迹→等所有轨迹完成→送入训练→更新权重→再天生下一批。。。。。。。但问题在于，，，， ，智能体使命的轨迹长度极端不匀称，，，， ，修一个简朴 bug 可能 3 步，，，， ，实现一个重大功效可能需要 50 步以上。。。。。。。同步模式下整批训练的速率由最慢的那条轨迹决议，，，， ，GPU 在期待中大宗空转，，，， ，造成资源铺张。。。。。。。
GLM-5 的焦点解法是将推理引擎与训练引擎安排在差别 GPU 装备上，，，， ，完全异步并行运行。。。。。。。 推理引擎一连天生轨迹，，，， ，积累到预定阈值后批量推送给训练引擎；；；；； ；；；训练引擎一连消耗数据、更新参数，，，， ，每完成 K 次梯度更新后将新权重同步回推理引擎。。。。。。。两条流水线互不壅闭，，，， ，GPU 使用率大幅提升。。。。。。。
但异步 RL 中有一个看似细小但效果严重的问题：若是推理引擎输出文本，，，， ，训练端再重新 tokenize，，，， ，哪怕是空缺符处置惩罚、特殊 token 位置、截断方法的细微差别，，，， ，都可能导致 action 和 reward 之间的对应位置蜕化，，，， ，这种错位会一连累积，，，， ，最终破损 RL 信号的准确性。。。。。。。
TITO Gateway的解法是直接截获推理引擎爆发的 token ID 序列和元数据，，，， ，绕过任何文本中转，，，， ，确保训练端使用与采样完全一致的 token 流。。。。。。。
别的，，，， ，异步训练中，，，， ，一条轨迹的天生历程中模子可能已经更新了多次，，，， ，准确追踪行为战略概率险些不可行，，，， ，不然需要维护大宗历史 checkpoint，，，， ，存储和通讯开销极高。。。。。。。
GLM 团队提出直接双偏主要性采样：直接复用 rollout 时纪录的 log 概率作为行为战略署理。。。。。。。并接纳双侧 token 级掩码：主要性采样比落在区间规模内的 token 正常盘算梯度，，，， ，凌驾规模的 token 梯度直接置零。。。。。。。
这些设计听上去像是工程层面的补丁，，，， ，但它们解决的，，，， ，着实是一个更基础的问题：怎样让大规模 Agent 强化学习在现实算力条件下真正跑得起来、稳得住。。。。。。。若是说同步 RL 更适合短轨迹、规则明确的使命，，，， ，那么 GLM-5 这一套异步机制，，，， ，则是为长程软件工程、重大工具挪用、多轮交互决议场景量身打造的。。。。。。。它让模子不再被训练框架拖慢节奏，，，， ，而是能够在一连交互中一直天生、评估、更新，，，， ，形成近似在线学习的循环。。。。。。。
铸造工业级长程智能体，，，， ，非一役之功
解决了训推效率与工程落地难题，，，， ，接下来就要进入长程软件工程的实战环节了。。。。。。。
GLM 团队发明，，，， ，在将底层 DSA 架构与大规模 RL 训练结适时，，，， ，短短数步之内就会泛起瓦解、损失异常以及模子能力快速退化等情形。。。。。。。在一番摸查之后，，，， ，泉源定位到了 DSA 内部使用的非确定性 CUDA top-k 算子，，，， ，其输出的不稳固性滋扰了 RL 的梯度更新。。。。。。。
因此，，，， ，在将该算子替换为确定性的 torch.topk 之后，，，， ，虽然牺牲了细小的运行速率，，，， ，但可以让训练连忙恢复稳固并带来显著的性能收益。。。。。。。同时，，，， ，为了阻止 RL 阶段的无效学习滋扰，，，， ，还对索引器参数（Indexer）举行了冻结。。。。。。。
不但云云，，，， ，GLM 团队还通过以下一系列立异性解法，，，， ，全方位战胜 RL 在重大智能体使命中的数据欠缺、审美、遗忘等其他难题。。。。。。。
首先，，，， ，软件工程使命的 RL 训练最缺的是「科场」，，，， ，现有数据集不但规模小，，，， ，还极易受到数据污染。。。。。。。
GLM 团队基于 RepoLaunch 框架，，，， ，构建了10000 + 可验证的 SWE 情形，，，， ，笼罩了 Python、Java、Go 等 9 种主流编程语言。。。。。。。并且，，，， ，每个情形支持从依赖装置到测试剖析的全流程自动化。。。。。。。这意味着，，，， ，模子对代码的修改是否有用，，，， ，全凭单位测试说了算，，，， ，不再依赖主观且低效的人工打分，，，， ，从而实现 RL 信号的真实可靠。。。。。。。
其次，，，， ，智能体不但要会写代码，，，， ，还要懂设计。。。。。。。GLM-5 引入了以 HTML 幻灯片为载体的三级奖励系统，，，， ，在结构化文档天生的「审美」方面形成了自己的气概：
Level-1（静态规则）：检查结构、间距、字体等基础属性，，，， ，并使用 AI 识别幻觉与重复图片。。。。。。。Level-2（运行结构）：通过漫衍式渲染，，，， ，抓取渲染后 DOM 节点的宽高、界线框等真实几何指标，，，， ，搞定静态代码看不出的排版冲突。。。。。。。Level-3（视觉感知）：直接从视觉层面检测异�？？？？？？ ？杖被蚬雇际Ш�，，，， ，确�？？？？？？ ？雌鹄淬�。。。。。。。
一套流程走下来，，，， ，效果立竿见影，，，， ，GLM 团队识别并修复了两类奖励破解行为，，，， ，将 16:9 合规率从 40% 提升至 92%。。。。。。。
接下来要面临多阶段 RL 训练中的灾难性遗忘问题。。。。。。。GLM-5 的后训练依次分为推理 RL、智能体 RL、通用对齐 RL 等三个阶段，，，， ，遗忘问题会导致后续阶段笼罩前序积累的能力。。。。。。。
为此，，，， ，GLM 团队引入了「跨阶段蒸馏」，，，， ，将目今战略与各个前序阶段的最优西席模子举行对数概率比照。。。。。。。这样既可以让模子掌握新能力，，，， ，也会靠拢之前的最优状态。。。。。。。一种设计告竣两个目的：在战胜遗忘的同时通过简化算法逻辑提升训练效率。。。。。。。
最后还要为搜索智能体配上「是非期影象」。。。。。。。GLM 团队发明，，，， ，当上下文凌驾 100K 时，，，， ，古板的清空所有工具纪录的计划会造成铺张，，，， ，而保存所有纪录又可能导致杂乱。。。。。。。
GLM 团队提出了分层上下文治理（HCM，，，， ，Hierarchical Context Management）战略，，，， ，在实践中先试着折叠早期纪录，，，， ，并保存最近 5 轮影象。。。。。。。若是照旧太大，，，， ，则清空所有工具挪用历史，，，， ，然后重置。。。。。。。效果显示，，，， ，这种分层组合计划让 GLM-5 在 BrowseComp 使命上的准确率从 55.3% 暴涨至 75.9%，，，， ，一举逾越了现有已知的开源上下文治理计划。。。。。。。
可以看到，，，， ，通过对长程交互中每一个细节的极致掌控，，，， ，包括底层算子、情形构建以及怎样让模子长记性，，，， ，GLM 团队全给理顺了。。。。。。。
虽然，，，， ，GLM-5 还全栈适配了国产 GPU，，，， ，包括华为昇腾、摩尔线程、海光、 寒武纪、昆仑芯、沐曦、燧原等七家主流国产芯片平台，，，， ，进一步拓宽算力生态。。。。。。。
以上组成了 GLM-5 手艺底色的完整轮廓，，，， ，它们不是调参的效果，，，， ，不是重新包装的已有事情，，，， ，而是在真实工程实践中遇到真实问题、提出真实解法的历程。。。。。。。
十天前，，，， ，图灵奖得主、RL 大佬 Richard Sutton 以远程连线的方法，，，， ，在加州大学洛杉矶分校（UCLA）的纯粹与应用数学研究所（IPAM）揭晓了名为《AI 的未来》（The Future of AI）的最新演讲。。。。。。。
图源：https://www.youtube.com/watch?v=lieqoaBV6ww
演讲中，，，， ，Sutton 表达了这样一种看法：只管当下的 AI 仍受限于对人类数据的学习，，，， ，但未来的 AI 将驻足于从交互履历中学习。。。。。。。这样的范式能让模子一连获取新知识，，，， ，从而爆发出远超现状的演进潜力。。。。。。。
这一看法与 GLM-5 发力 Agentic Engineering 并推进「系统级交付」的范式选择不约而同：让 AI 脱离人类预设的指令集，，，， ，转而在长程真实或虚拟情形中通过 RL 实现自我进化。。。。。。。
在长程妄想与资源治理能力上，，，， ，GLM-5 证实晰着实力。。。。。。。如下图左的 Vending-Bench 2（让 AI 模拟自动售货机一整年）和图右的 CC-Bench-V2（智谱 AI 官方内部测试）基准效果所示，，，， ，GLM-5 的体现靠近并在一些使命上能够逾越 Claude Opus 4.5。。。。。。。
凭证 Artificial Analysis 最近的一项数据显示，，，， ，相较于 Anthropic 最强的 Claude Opus 4.6，，，， ，作为开源模子的 GLM-5 与其之间的智能差别已经缩小到史无前例的水平。。。。。。。
在开源步步迫近闭源竞品的路上，，，， ，GLM-5 交出了一份令业界赞叹的答卷。。。。。。。
而这仅仅是智谱在 Agent四川锦里文化旅游有限公司ic Engineering 路径上的首次脱手，，，， ，下一代 GLM 旗舰模子又将进化到何种水平，，，， ，我们拭目以待。。。。。。。