编辑｜杜伟、陈陈
一边放出新一代旗舰基座模子 GLM-5 手艺报告，，，，，展现其从底层架构到异步强化学习基准设施的深层立异硬实力；；；；； ；一边马年港股首个生意日收盘暴涨近 43%，，，，，市值突破 3200 亿港元。。。。。。这一波，，，，，智谱属实「两着花」了。。。。。。
到今天，，，，，关于打工人来说，，，，，这个「AI 味」浓重的马年春节即将迎来尾声！
已往一周多的时间，，，，，机械人无疑是顶流中的顶流，，，，，「机械人周全入侵春晚」的词条更是一度占有了各大社交平台的热搜榜首。。。。。。与此同时，，，，，作为目今主流机械人「大脑」的 AI 大模子，，，，，其范式与手艺立异同样值得我们复盘。。。。。。
这个春节，，，，，DeepSeek V4「鸽了」，，，，，但以字节 Seedance、智谱为代表的大厂及 AI 明星独角兽相继宣布模子，，，，，同样是在手艺路径上的一次「强势亮剑」。。。。。。
其中，，，，，依附新一代旗舰基座大模子 GLM-5 引爆全球开发者社区的智谱，，，，，在几天前将该模子完整的手艺报告放了出来。。。。。。
我们先往返首一下 GLM-5 的焦点亮点：
它面向 Agentic Engineering 打造，，，，，依附更强的代码能力、更长的 200K 上下文、更好的 Agent 工具挪用能力，，，，，尤其擅优点理重大系统工程与长程 Agent 使命，，，，，准确率攀升显着。。。。。。
在 Coding 与 Agent 使命上，，，，，GLM-5 在 SWE-bench、Terminal-Bench、BrowseComp、MCP-Atlas 等多个主流基准测试中取得开源 SOTA 级体现。。。。。。这使得 GLM-5 成为构建通用 Agent 助手的理想基座选择，，，，，并推动 Agent 从「跑通 Demo」的玩具阶段跨越到「解决现实天下重大工程问题」的生产力临界点。。。。。。
随着手艺报告的释出，，，，，我们得以揭开其强悍性能背后的手艺窍门。。。。。。总结来看，，，，，GLM-5 的焦点立异点可以归纳为三点：
首先，，，，，GLM-5 在底层架构层面接纳DSA（DeepSeek Sparse Attention），，，，，在「长文本推理能力」与「训推本钱」之间取得绝佳平衡。。。。。。
其次，，，，，GLM-5 通过异步强化学习基础设施 —— Slime 框架，，，，，将「天生历程」与「训练历程」解耦，，，，，显著提升后训练阶段的效率。。。。。。
最后，，，，，Agent 强化学习算法是 GLM-5 能够更高效地从重大、长时序交互中学习的要害。。。。。。
针对 GLM-5 的一系列立异，，，，，X 平台上一些大 V 给出了极高评价，，，，，「在处置惩罚端到端的软件工程挑战时，，，，，GLM-5 显著逾越现有基线，，，，，标记着模子能力从『片断式响应』进化到『系统级交付』。。。。。。」
图源：X@omarsar0
在大模子的生长历程中，，，，，很少有能力是凭空爆发的。。。。。。无论是架构设计、训练范式，，，，，照旧数据处置惩罚与优化技巧，，，，，险些所有领先模子都建设在既有研究效果与工程实践的基础之上。。。。。。
从 Transformer 的提出到注重力机制的演进，，，，，再到强化学习与知识迁徙要领的成熟，，，，，每一次突破都来自一连的迭代与吸收。。。。。。
但在仔细研读 GLM-5 的手艺报告之后，，，，，我们发明了智谱奇异的手艺品味。。。。。。
手艺报告原文链接：https://arxiv.org/pdf/2602.15763GitHub 开源地点：https://github.com/zai-org/GLM-5
DSA：降低训练与推理本钱
DSA（DeepSeek Sparse Attention）是 DeepSeek 提出的一种高效注重力机制。。。。。。要明确它解决了什么问题，，，，，我们先要知道注重力机制是干什么的：模子在明确每一个词时，，，，，需要参考上下文中其他所有词，，，，，句子越长，，，，，需要参考的词越多，，，，，盘算量呈平方级增添。。。。。。关于动辄十万词的长文本，，，，，这个开销是灾难性的。。。。。。
DSA 的焦点思绪是：不是每个词都一律主要，，，，，大大都词着实可以忽略。。。。。。它通过动态打分，，，，，只挑出真正相关的少数 token 加入盘算。。。。。。实验证实，，，，，长文本中约 90% 的注重力盘算是冗余的，，，，，DSA 把这部分直接省掉，，，，，在不牺牲明确能力的条件下，，，，，将长序列的盘算量压缩了 1.5 到 2 倍。。。。。。
得益于 DSA，，，，，GLM-5 得以将模子参数规模扩展至 744B（40B 激活参数），，，，，训练 token 总量提升至 28.5T。。。。。。但用 DSA 和把 DSA 真正用好之间，，，，，有一段不短的工程距离。。。。。。
当 DSA 与 MLA（Multi-Latent Attention）、自研 Muon 优化器等既有组件叠加时，，，，，团队发明模子在多个基准上泛起性能退化。。。。。。
为此，，，，，GLM-5 提出Muon Split 机制：将矩阵拆分为差别头的更小矩阵，，，，，并对这些自力矩阵应用矩阵正交化，，，，，使得差别注重力头的投影权重能够以差别标准更新。。。。。。
另外，，，，，针对 MLA 解码盘算本钱高难题，，，，，GLM 团队提出了MLA-256 变体：把 head dimension 从 192 提到 256，，，，，同时把注重力头数镌汰 1/3，，，，，使训练盘算量和参数目坚持稳固，，，，，但解码盘算量显著下降。。。。。。
为进一步提升基础模子性能，，，，，智谱还提出在训练阶段共享 3 层 MTP 的参数。。。。。。这样既坚持了底稿模子与 DeepSeek-V3 相同的内存开销，，，，，又提升了 token 的接受率。。。。。。
在目今大模子竞争名堂中，，，，，参数规模已不再是唯一的护城河。。。。。。真正的壁垒在于怎样在算力预算、长上下文忠实度与工程稳固性之间取得平衡。。。。。。
GLM-5 在 DSA 系统上的实践提供了一个清晰的谜底：不再盲目追求无限堆砌算力，，，，，而是通过重构盘算路径，，，，，让模子在一律资源下完成更高效的事情。。。。。。 若是说大模子的前半场是在比拼「谁做得更大」，，，，，那么 GLM-5 则标记着下半场的开启，，，，，在长程推理与 Agent 时代，，，，，谁能把盘算结构设计得更「智慧」，，，，，谁才华在端到端的软件工程等重大使命中胜出。。。。。。
异步 RL 基础设施：Slime 框架的工程立异
在从「文本天生」向「自主署理（Agent）」进化的历程中，，，，，古板同步强化学习的低效与长程推理的腾贵本钱成为了最大的阻碍。。。。。。
古板同步 RL 的流程是：天生一批轨迹→等所有轨迹完成→送入训练→更新权重→再天生下一批。。。。。。但问题在于，，，，，智能体使命的轨迹长度极端不匀称，，，，，修一个简朴 bug 可能 3 步，，，，，实现一个重大功效可能需要 50 步以上。。。。。。同步模式下整批训练的速率由最慢的那条轨迹决议，，，，，GPU 在期待中大宗空转，，，，，造成资源铺张。。。。。。
GLM-5 的焦点解法是将推理引擎与训练引擎安排在差别 GPU 装备上，，，，，完全异步并行运行。。。。。。 推理引擎一连天生轨迹，，，，，积累到预定阈值后批量推送给训练引擎；；；；； ；训练引擎一连消耗数据、更新参数，，，，，每完成 K 次梯度更新后将新权重同步回推理引擎。。。。。。两条流水线互不壅闭，，，，，GPU 使用率大幅提升。。。。。。
但异步 RL 中有一个看似细小但效果严重的问题：若是推理引擎输出文本，，，，，训练端再重新 tokenize，，，，，哪怕是空缺符处置惩罚、特殊 token 位置、截断方法的细微差别，，，，，都可能导致 action 和 reward 之间的对应位置蜕化，，，，，这种错位会一连累积，，，，，最终破损 RL 信号的准确性。。。。。。
TITO Gateway的解法是直接截获推理引擎爆发的 token ID 序列和元数据，，，，，绕过任何文本中转，，，，，确保训练端使用与采样完全一致的 token 流。。。。。。
别的，，，，，异步训练中，，，，，一条轨迹的天生历程中模子可能已经更新了多次，，，，，准确追踪行为战略概率险些不可行，，，，，不然需要维护大宗历史 checkpoint，，，，，存储和通讯开销极高。。。。。。
GLM 团队提出直接双偏主要性采样：直接复用 rollout 时纪录的 log 概率作为行为战略署理。。。。。。并接纳双侧 token 级掩码：主要性采样比落在区间规模内的 token 正常盘算梯度，，，，，凌驾规模的 token 梯度直接置零。。。。。。
这些设计听上去像是工程层面的补丁，，，，，但它们解决的，，，，，着实是一个更基础的问题：怎样让大规模 Agent 强化学习在现实算力条件下真正跑得起来、稳得住。。。。。。若是说同步 RL 更适合短轨迹、规则明确的使命，，，，，那么 GLM-5 这一套异步机制，，，，，则是为长程软件工程、重大工具挪用、多轮交互决议场景量身打造的。。。。。。它让模子不再被训练框架拖慢节奏，，，，，而是能够在一连交互中一直天生、评估、更新，，，，，形成近似在线学习的循环。。。。。。
铸造工业级长程智能体，，，，，非一役之功
解决了训推效率与工程落地难题，，，，，接下来就要进入长程软件工程的实战环节了。。。。。。
GLM 团队发明，，，，，在将底层 DSA 架构与大规模 RL 训练结适时，，，，，短短数步之内就会泛起瓦解、损失异常以及模子能力快速退化等情形。。。。。。在一番摸查之后，，，，，泉源定位到了 DSA 内部使用的非确定性 CUDA top-k 算子，，，，，其输出的不稳固性滋扰了 RL 的梯度更新。。。。。。
因此，，，，，在将该算子替换为确定性的 torch.topk 之后，，，，，虽然牺牲了细小的运行速率，，，，，但可以让训练连忙恢复稳固并带来显著的性能收益。。。。。。同时，，，，，为了阻止 RL 阶段的无效学习滋扰，，，，，还对索引器参数（Indexer）举行了冻结。。。。。。
不但云云，，，，，GLM 团队还通过以下一系列立异性解法，，，，，全方位战胜 RL 在重大智能体使命中的数据欠缺、审美、遗忘等其他难题。。。。。。
首先，，，，，软件工程使命的 RL 训练最缺的是「科场」，，，，，现有数据集不但规模小，，，，，还极易受到数据污染。。。。。。
GLM 团队基于 RepoLaunch 框架，，，，，构建了10000 + 可验证的 SWE 情形，，，，，笼罩了 Python、Java、Go 等 9 种主流编程语言。。。。。。并且，，，，，每个情形支持从依赖装置到测试剖析的全流程自动化。。。。。。这意味着，，，，，模子对代码的修改是否有用，，，，，全凭单位测试说了算，，，，，不再依赖主观且低效的人工打分，，，，，从而实现 RL 信号的真实可靠。。。。。。
其次，，，，，智能体不但要会写代码，，，，，还要懂设计。。。。。。GLM-5 引入了以 HTML 幻灯片为载体的三级奖励系统，，，，，在结构化文档天生的「审美」方面形成了自己的气概：
Level-1（静态规则）：检查结构、间距、字体等基础属性，，，，，并使用 AI 识别幻觉与重复图片。。。。。。Level-2（运行结构）：通过漫衍式渲染，，，，，抓取渲染后 DOM 节点的宽高、界线框等真实几何指标，，，，，搞定静态代码看不出的排版冲突。。。。。。Level-3（视觉感知）：直接从视觉层面检测异常�？？？ ？ ？杖被蚬雇际Ш�，，，，，确保�？？？ ？ ？雌鹄淬狻�。。。。。
一套流程走下来，，，，，效果立竿见影，，，，，GLM 团队识别并修复了两类奖励破解行为，，，，，将 16:9 合规率从 40% 提升至 92%。。。。。。
接下来要面临多阶段 RL 训练中的灾难性遗忘问题。。。。。。GLM-5 的后训练依次分为推理 RL、智能体 RL、通用对齐 RL 等三个阶段，，，，，遗忘问题会导致后续阶段笼罩前序积累的能力。。。。。。
为此，，，，，GLM 团队引入了「跨阶段蒸馏」，，，，，将目今战略与各个前序阶段的最优西席模子举行对数概率比照。。。。。。这样既可以让模子掌握新能力，，，，，也会靠拢之前的最优状态。。。。。。一种设计告竣两个目的：在战胜遗忘的同时通过简化算法逻辑提升训练效率。。。。。。
最后还要为搜索智能体配上「是非期影象」。。。。。。GLM 团队发明，，，，，当上下文凌驾 100K 时，，，，，古板的清空所有工具纪录的计划会造成铺张，，，，，而保存所有纪录又可能导致杂乱。。。。。。
GLM 团队提出了分层上下文治理（HCM，，，，，Hierarchical Context Management）战略，，，，，在实践中先试着折叠早期纪录，，，，，并保存最近 5 轮影象。。。。。。若是照旧太大，，，，，则清空所有工具挪用历史，，，，，然后重置。。。。。。效果显示，，，，，这种分层组合计划让 GLM-5 在 BrowseComp 使命上的准确率从 55.3% 暴涨至 75.9%，，，，，一举逾越了现有已知的开源上下文治理计划。。。。。。
可以看到，，，，，通过对长程交互中每一个细节的极致掌控，，，，，包括底层算子、情形构建以及怎样让模子长记性，，，，，GLM 团队全给理顺了。。。。。。
虽然，，，，，GLM-5 还全栈适配了国产 GPU，，，，，包括华为昇腾、摩尔线程、海光、 寒武纪、昆仑芯、沐曦、燧原等七家主流国产芯片平台，，，，，进一步拓宽算力生态。。。。。。
以上组成了 GLM-5 手艺底色的完整轮廓，，，，，它们不是调参的效果，，，，，不是重新包装的已有事情，，，，，而是在真实工程实践中遇到真实问题、提出真实解法的历程。。。。。。
十天前，，，，，图灵奖得主、RL 大佬 Richard Sutton 以远程连线的方法，，，，，在加州大学洛杉矶分校（UCLA）的纯粹与应用数学研究所（IPAM）揭晓了名为《AI 的未来》（The Future of AI）的最新演讲。。。。。。
图源：https://www.youtube.com/watch?v=lieqoaBV6ww
演讲中，，，，，Sutton 表达了这样一种看法：只管当下的 AI 仍受限于对人类数据的学习，，，，，但未来的 AI 将驻足于从交互履历中学习。。。。。。这样的范式能让模子一连获取新知识，，，，，从而爆发出远超现状的演进潜力。。。。。。
这一看法与 GLM-5 发力 Agentic Engineering 并推进「系统级交付」的范式选择不约而同：让 AI 脱离人类预设的指令集，，，，，转而在长程真实或虚拟情形中通过 RL 实现自我进化。。。。。。
在长程妄想与资源治理能力上，，，，，GLM-5 证实晰着实力。。。。。。如下图左的 Vending-Bench 2（让 AI 模拟自动售货机一整年）和图右的 CC-Bench-V2（智谱 AI 官方内部测试）基准效果所示，，，，，GLM-5 的体现靠近并在一些使命上能够逾越 Claude Opus 4.5。。。。。。
凭证 Artificial Analysis 最近的一项数据显示，，，，，相较于 Anthropic 最强的 Claude Opus 4.6，，，，，作为开源模子的 GLM-5 与其之间的智能差别已经缩小到史无前例的水平。。。。。。
在开源步步迫近闭源竞品的路上，，，，，GLM-5 交出了一份令业界赞叹的答卷。。。。。。
而这仅仅是智谱在 Agent金桥演艺策划有限公司ic Engineering 路径上的首次脱手，，，，，下一代 GLM 旗舰模子又将进化到何种水平，，，，，我们拭目以待。。。。。。