智工具作者 程茜编辑 心缘

智工具2月3日报道，，，，，，，刚刚，，，，，，，腾讯混元官网正式上线姚顺雨团队最新效果，，，，，，，宣布了专门评测大语言模子能否从上下文（Context）中学习新知识并准确应用的基准CL-bench。。。。。

这是姚顺雨加入腾讯混元担当首席AI科学家后，，，，，，，其团队首次宣布研究效果，，，，，，，也是腾讯混元手艺博客首次果真。。。。。

▲腾讯混元手艺博客及致谢部分

大模子与人类在解决问题时要害区别为，，，，，，，大模子只能依赖预训练阶段的静态影象，，，，，，，而人可以实时凭证现场情形完成使命。。。。。腾讯混元研究团队实测发明，，，，，，，目今的SOTA模子险些都不会从上下文中学习，，，，，，，体现最好的GPT-5.1（high）使命乐成率也仅有23.7%。。。。。

基于此，，，，，，，该团队打造CL-bench就只有一个焦点目的：要求模子在解决每个使命时，，，，，，，都必需从上下文中学习模子预训练中不保存的新知识，，，，，，，并准确应用。。。。。

腾讯混元手艺博客地点：https://hy.tencent.com/research

项目主页：www.clbench.com

一、让大模子不再死记硬背，，，，，，，新基准包括500个重大上下文使命

已往几年，，，，，，，大语言模子前进飞快，，，，，，，能解开奥数级别的难题、推演重大的编程逻辑，，，，，，，甚至能通过那些人类需要苦读数年才华拿下的专业资格考试。。。。。但其背后有一个要害门槛，，，，，，，大模子纵然能在科场拿满分，，，，，，，但未必能胜任真实天下事情。。。。。

人类可以在执行使命中实时从眼前的情形举行学习。。。。。但大语言模子主要依赖“参数化知识”，，，，，，，即在预训练阶段被压缩进模子权重里的静态影象。。。。。在推理时，，，，，，，模子更多是在挪用这些封存的内部知识，，，，，，，而不是自动从目今输入的新信息中罗致营养。。。。。

因此，，，，，，，现在优化出的模子善于对自己“已知”的事物举行推理，，，，，，，但用户需要的，，，，，，，却是让模子解决那些依赖于杂乱、动态转变的上下文的使命。。。。。

基于此，，，，，，，混元研究职员希望弥合这一差别，，，，，，，从基础上改变模子的优化偏向，，，，，，，他们构建了专门评测大语言模子能否从上下文中学习新知识并准确应用的基准CL-bench。。。。。

▲大语言模子的范式转变

CL-bench包括由专家制作的500个重大上下文、1899个使命和31607个验证标准。。。。。其对模子的要求为：要求模子必需在解决每个使命都从上下文中学习到模子预训练中不保存的新知识，，，，，，，并准确应用。。。。。

模子需要学习的知识很是普遍，，，，，，，包括新的领域知识、不熟悉的规则系统、重大的产品事情流，，，，，，，甚至是必需从实验数据中推导归纳出的定律或结论。。。。。

所有这些知识要么是由领域专家完全新构建的，，，，，，，要么是取自那些不太可能泛起在目今前沿模子训练数据中的小众、长尾泉源。。。。。因此，，，，，，，模子无法通过回忆静态的参数化知识来解决使命，，，，，，，都要求模子从提供的上下文举行学习并应用。。。。。

详细来说，，，，，，，CL-bench涵盖了四种普遍的现实天下上下文学习场景：

▲CL-bench的上下文分类系统。。。。。

领域知识推理：上下文提供特定的领域知识，，，，，，，例如虚构的执法系统、立异的金融工具或小众专业知识，，，，，，，模子需要使用这些知识来推理并解决详细问题。。。。。

规则系统应用：上下文提供新界说的正式系统，，，，，，，例如新的游戏机制、数学形式系统、编程语法或手艺标准，，，，，，，模子必需明确并应用这些规则来执行使命。。。。。

程序性使命执行：上下文提供重大的历程系统，，，，，，，例如事情流、产品手册和操作指南，，，，，，，模子必需明确并应用这些程序性信息来完成使命。。。。。

履历发明与模拟：上下文提供重大系统内的实验数据、视察纪录或模拟情形。。。。。与前几类涉及演绎推理差别，，，，，，，这一类专注于归纳推理，，，，，，，模子必需从数据中发明潜在的定律或结论，，，，，，，并应用它们来解决使命。。。。。

▲CL-bench示例，，，，，，，解决这些使命要求大语言模子从提供的上下文中学习

这些种别包括了大部分现实天下事情中常见的演绎推理和归纳推理使命，，，，，，，能权衡模子的上下文学习能力。。。。。

二、模子乐成率仅为17.2%，，，，，，，得出5大概害结论

研究职员在CL-bench上评估了十个主流大语言模子。。。。。

平均来看，，，，，，，模子仅解决了17.2%的使命。。。。。其中GPT-5.1（High）解决了23.7%的使命。。。。。

换句话说，，，，，，，只管上下文中拥有解决每个使命所需的所有信息，，，，，，，但模子照旧在绝大大都使命上都失败了。。。。。这批注目今的SOTA模子险些都不会从上下文中学习。。。。。

▲十个前沿模子在CL-bench上的使命解决率

混元研究团队得出几个要害结论：

1）忽略或误用上下文是导致失败的主要缘故原由。。。。。

许多过失并非源于信息缺失，，，，，，，而是由于模子忽视了上下文中的要害细节，，，，，，，或过失地应用了它们。。。。。在许多情形下，，，，，，，模子只会使用预训练学习到的静态知识来解决使命，，，，，，，纵然上下文明确界说了新的规则、看法或程序，，，，，，，模子也不会学习和使用。。。。。

▲各模子过失类型的漫衍

2、长上下文推理和指令遵照是须要的，，，，，，，但不是充分条件。。。。。

案例剖析批注，，，，，，，那些难以跨长上下文追踪依赖关系或难以准确遵照约束的模子，，，，，，，往往体现得更差。。。。。然而，，，，，，，纵然是能够处置惩罚长输入并可靠遵照指令的模子，，，，，，，仍然在许多使命上失败。。。。。上下文学习需要的能力，，，，，，，远不止长上下文明确和指令遵照能力。。。。。

3、从实验数据和情形模拟中举行归纳推理比演绎应用更难题。。。。。

演绎使命让模子凭证上下文中明确给出的规则和流程举行应用，，，，，，，而履历发明和情形模拟类使命则要求归纳推理，，，，，，，也就是从数据中总结纪律或在虚拟情形中探索。。。。。模子在这类使命上的体现显着较差，，，，，，，使命解决率通常低于10%，，，，，，，且效果波动大。。。。。这批注发明纪律远比应用规则更具挑战性。。。。。

▲GPT-5.1在高/低推理强度设置下，，，，，，，各子种别体现比照

4、更高的推理强度通常能提升上下文学习效果。。。。。

对部分模子来说，，，，，，，增添推理强度可以改善体现，，，，，，，使模子更深入地明确重大上下文。。。。。例如，，，，，，，GPT-5.1在治理类和实验数据类使命上的体现提升约6%，，，，，，，但其他模子提升有限甚至可能下降，，，，，，，说明单靠更多推理并缺乏够，，，，，，，模子还必需能够准确吸收和组织上下文信息。。。。。

▲差别输入长度下模子上下文学习体现的转变趋势

5、上下文学习的难度与上下文长度相关，，，，，，，但短上下文也可能很重大。。。。。

较长的上下文通常让所有模子的使命更难，，，，，，，这验证了长上下文处置惩罚仍是要害瓶颈。。。。。然而，，，，，，，纵然是短上下文，，，，，，，若是包括信息麋集、规则隐含、依赖重大或约束严酷的内容，，，，，，，也依然很具挑战性，，，，，，，说明上下文学习的难度不但仅泉源于长度，，，，，，，也来自于其重漂后。。。。。

CL-bench充分诠释了大语言模子在真实场景中为什么经常蜕化：纵然有了上下文工程，，，，，，，给模子准备好了所需的上下文，，，，，，，模子也会失败。。。。。若是模子不可真正从中学习，，，，，，，仅仅提供上下文是不敷的。。。。。上下文学习作为一项模子基础的学习能力，，，，，，，很洪流平上被忽视了。。。。。

三、上下文都是自包括，，，，，，，测试使命接纳无污染设计

CL-bench中的每个上下文都是完全自包括（Self-contained）的，，，，，，，解决使命所需的所有信息都显式地提供在上下文自己之中：不需要外部检索，，，，，，，也不允许隐藏假设。。。。。

▲解决CL-bench中的使命需要模子从响应的上下文中学习新知识

为了确保性能真正反应上下文学习，，，，，，，而不是影象或数据泄露，，，，，，，CL-bench接纳了无污染（Contamination-free）设计：

虚构创作：专家创作完全虚构的内容，，，，，，，例如为虚构国家设计一套完整的执法系统，，，，，，，包括新颖的判例和执法原则，，，，，，，或建设具有奇异语法和语义的新编程语言。。。。。

现有内容的修改：专家修改现实天下的内容以建设变体，，，，，，，例如更改历史事务、改变科学和数学界说，，，，，，，或修改手艺文档和标准。。。。。

整合小众和新兴内容：专家纳入了在预训练数据集中代表性极低的小众或近期新兴内容，，，，，，，如前沿研究发明、新宣布的产品手册或手艺文档，，，，，，，以及来自专门领域的特定知识。。。。。

在不提供任何上下文的情形下，，，，，，，GPT-5.1（High）仅能解决不到1%的使命。。。。。这也证实数据是无污染的，，，，，，，模子若不从Context中学习，，，，，，，险些完全无法解决这些使命。。。。。

别的，，，，，，，CL-bench的设计具有高重大性和序列依赖性。。。。。其中，，，，，，，51.1%的使命需要序列依赖，，，，，，，意味着后续使命的解决计划取决于早期交互的效果。。。。。这种多轮次设计会增添使命难度。。。。。

平均而言，，，，，，，领域专家破费约20小时标注每个上下文，，，，，，，以确保使命构建的质量和深度。。。。。

与此同时，，，，，，，CL-bench中的每个使命都是完全可验证的。。。。。每个上下文平均关联63.2个验证标准，，，，，，，每个使命包括16.6个评估标准。。。。。

结语：大模子怎样影象，，，，，，，将成2026年焦点主题

混元手艺博客还提到了混元研究团队后续的关注重点，，，，，，，包括怎样让模子提升上下文学习能力、怎样让大模子从上下文中学习到的知识长期化。。。。。

若是模子的上下文学习能力能像之前其他能力那样被提升上去，，，，，，，人类在AI系统中的角色将爆发转变：人类不再是主要的数据提供者（training data provider），，，，，，，而酿成了上下文提供者。。。。。竞争的焦点将从“谁能把模子训练得更好”，，，，，，，转向“谁能为使命提供最富厚、最相关的上下文”。。。。。

他们以为，，，，，，，大模子怎样影象很可能成为2026年的另一个焦点主题，，，，，，，要充分验展大语言模子的潜力，，，，，，，可能需要新的架构、新的优化方法来决议“该保存什么”。。。。。

未来，，，，，，，一旦大模子上下文学习与甘肃黄河新能源有限公司影象变得可靠，，，，，，，模子或许就能实现自主学习，，，，，，，它们将自主准备上下文，，，，，，，从中学习并自我牢靠。。。。。