作者 ｜ 周一笑邮箱 ｜ zhouyixiao@pingwest.com
2025年4月，， ，， ，还在OpenAI的姚顺雨发了一篇博文《The Second Half》，， ，， ，提出一个判断：AI进入下半场了，， ，， ，接下来比的不是谁模子更大，， ，， ，而是谁能更好地界说问题。。。。。
半年后他加入腾讯。。。。。又过了两个月，， ，， ，他主导的第一个研究效果宣布了。。。。。这个效果并未推出新模子，， ，， ，它直接抛出了一个数据，， ，， ，GPT-5.1在一项新测试中只拿到了23.7%。。。。。
测试的设定很简朴，， ，， ，把所有需要的信息都放在上下文里，， ，， ，让模子去完成使命。。。。。浚浚浚�？？？？嫉氖悄Ｗ幽芊翊友矍暗闹柿侠镅Щ嵝鹿ぞ摺�。。。。
效果是模子看了，， ，， ，但没学会。。。。。
1
没法作弊的考试
这篇论文叫CL-bench，， ，， ，全称Context Learning Benchmark，， ，， ，2026年2月3日由腾讯混元团队和复旦大学团结宣布。。。。。作为项目认真人，， ，， ，姚顺雨排在作者列表的最后一位。。。。。
Context Learning不是新看法，， ，， ，但这篇论文对它的界说极为苛刻，， ，， ，模子必需从上下文中学习到预训练阶段不保存的新知识，， ，， ，并准确应用。。。。。简朴说，， ，， ，要让模子现场学会它没见过的工具，， ，， ，不但是“回忆”它以前见过的内容。。。。。
为了实现这个目的，， ，， ，研究团队在数据构建上下了狠功夫。。。。。
现在业界避免数据污染最常见的做法较量简朴粗暴，， ，， ，设准时间切割点（好比只考2024年以后的新闻）、把题库藏起来不果真、或者用算法去重。。。。。CL-bench做的完全是另一回事，， ，， ，它在“造物”。。。。。
研究团队组织了一批领域专家，， ，， ，凭空虚构了多个平行宇宙和假知识。。。。。好比，， ，， ，他们编造了一部叫《Sol Accord》（索尔协定）的星际执法，， ，， ，在现实中基础不保存，， ，， ，模子不可能在预训练数据里背过相关法条；；；；；；；；他们还编造了一个SkyNet无人机SDK，， ，， ，内里的函数名、挪用规则全是假的，， ，， ，模子若是用它影象里的Python知识去写代码，， ，， ，必错无疑。。。。。别的，， ，， ，他们还修改了现实天下的内容来建设变体，， ，， ，好比改变历史事务的走向、调解科学界说，， ，， ，并纳入一些极其小众、险些不可能泛起在预训练数据中的长尾内容。。。。。
即即是体现最好的 GPT-5.1平均得分也仅为23.7分。。。。。
这种通过“反事实”和“全虚构”来构建benchmark的要领，， ，， ，是对抗刷榜最彻底、也是最难的手段。。。。。验证效果很直接，， ，， ，在不给任何上下文的情形下，， ，， ，让GPT-5.1直接做这些使命，， ，， ，效果只能做对不到1%。。。。。这说明模子确实没见过这些知识，， ，， ，必需从给定的上下文里学。。。。。没法作弊，， ，， ，也是通过率只有17.2%的焦点缘故原由。。。。。
最终，， ，， ，CL-bench包括了500个重大上下文、1899个使命、31607个验证标准。。。。。平均每个上下文的标注耗时约20小时，， ，， ，所有由资深领域专家制作。。。。。这个事情量自己就说明晰研究团队的野心，， ，， ，他们想造的不是一个刷分榜单，， ，， ，而是一把真正能测出模子“学习能力”的尺子。。。。。
1
四种角色，， ，， ，四场考试
在这场测试中，， ，， ，AI需要饰演四种角色。。。。。
有时它是法官，， ，， ，需要依据一部从未见过的虚构执法断案。。。。。给它一部长达2.3万字、刚刚生效的新执法，， ，， ，让它判一起真实纠纷。。。。。法条全是新的，， ，， ，判例全是新的，， ，， ，模子必需现场阅读、明确、应用。。。。。
有时它是程序员，， ，， ，必需用一种全新的语法写代码。。。。。好比基于一门新设计的编程语言规范，， ，， ，实现一个带有时间条件终止的周期性程序。。。。。模子若是用它影象里的语法，， ，， ，必错无疑。。。。。它必需严酷遵守这个"假文档"的规则。。。。。
有时它是操作员，， ，， ，需要在一套从未见过的事情流系统里完成使命。。。。。凭证一份全新的产品手册，， ，， ，一步步执行操作。。。。。流程图是新的，， ，， ，术语是新的，， ，， ，约束条件是新的。。。。。
最难的时间，， ，， ，它要像科学家一样，， ，， ，面临一堆杂乱的实验数据，， ，， ，自己重新推导纪律。。。。。好比剖析300份原始实验日志，， ，， ，推导关系式并预计共振常数。。。。。前三种角色实质上是演绎推理，， ，， ，给你规则让你应用。。。。。这一种是归纳推理，， ，， ，让你从数据中自己发明规则。。。。。
这四类场景笼罩了大部分真实事情中需要的学习能力：读文档、学规则、照流程、找纪律。。。。。这也是为什么CL-bench的效果云云令人担心，， ，， ，若是模子连这些基本的学习使命都做欠好，， ，， ，它在真实事情场景中的体现可想而知。。。。。
CL-bench的使命种别漫衍
1
前沿模子整体翻车
研究团队在CL-bench上测试了十个最先进的语言模子，， ，， ，效果相当阴晦。。。。。
平均使命解决率只有17.2%。。。。。体现最好的GPT-5.1 (High)也只有23.7%。。。。。要知道，， ，， ，所有完成使命需要的信息都已经明确给出了，， ，， ，就在上下文里，， ，， ，模子却在绝大大都使命上失败了。。。。。
论文详细剖析了失败缘故原由，， ，， ，几个发明值得注重。。。。。
忽略或误用上下文是导致失败的主要缘故原由。。。。。导致过失的主因往往并非信息缺失，， ，， ，模子对上下文要害细节的忽视才是症结所在。。。。。更有意思的是，， ，， ，在许多情形下，， ，， ，模子会倾向于使用它在预训练阶段学到的"老履历"来解决使命，， ，， ，纵然上下文明确界说了新的规则、看法或程序，， ，， ，它也不去学习和使用。。。。。这就像一个顽强的老员工，， ，， ，宁愿用自己的老步伐，， ，， ，也不肯意看新文档。。。。。
长上下文处置惩罚和指令遵照是须要但不充分条件。。。。。那些难以跨上下文追踪依赖关系或难以准确遵照约束的模子，， ，， ，体现确实更差。。。。。但纵然是能够处置惩罚长输入、可靠遵照指令的模子，， ，， ，仍然在许多使命上失败。。。。。这说明上下文学习需要的能力，， ，， ，远不止能处置惩罚长文本和能“听话”。。。。。
归纳推理远比演绎推理难。。。。。在科学家类使命上，， ，， ，模子的体现显着更差，， ，， ，使命解决率通常低于10%，， ，， ，并且效果波动很大。。。。。从数据中发明纪律，， ，， ，比应用给定的规则要难堪多。。。。。这或许指向了目今大模子架构的一个根天性局限。。。。。
别的，， ，， ，论文还发明，， ，， ，更高的推理强度通常能提升上下文学习效果。。。。。好比GPT-5.1在高推理强度设置下，， ，， ，在某些使命上的体现提升了约6%。。。。。但其他模子提升有限甚至下降，， ，， ，说明单靠多想一会儿并不敷，， ，， ，模子还必需能准确吸收和组织上下文信息。。。。。
1
姚顺雨的预判
2025年4月，， ，， ，姚顺雨在博文《The Second Half》中提出了一个焦点看法，， ，， ，AI生长正在从“上半场”进入“下半场”。。。。。上半场的主题是怎样训练出更强的模子，， ，， ，更大的参数、更多的数据、更强的算力。。。。。下半场的主题则变了，， ，， ，怎样界说准确的问题，， ，， ，怎样评估真正的前进。。。。。
他写道，， ，， ，评估将比训练更主要。。。。。我们不再只是问“我们能训练出一个能解决X的模子吗”，， ，， ，而是在问“我们应该训练AI去做什么，， ，， ，以及怎样权衡真正的前进”。。。。。
在一次访谈中，， ，， ，他进一步诠释，， ，， ，现在要领的问题已基本解决，， ，， ，真正主要的是，， ，， ，我们要用这个通用要领，， ，， ，解决什么问题？？？？？？？？
CL-bench界说了什么问题？？？？？？？？它界说的问题是，， ，， ，模子能否从目今上下文中学习？？？？？？？？
这个问题之前被忽视了。。。。。行业的隐含假设是，， ，， ，只要上下文给到位（context engineering做得好），， ，， ，模子就能完成使命。。。。。CL-bench的数据突破了这个假设，， ，， ，给到位，， ，， ，不即是做得对。。。。。上下文学习，， ，， ，作为一项基础的模子能力，， ，， ，被严重低估了。。。。。
姚顺雨在2024年主导过另一个benchmark，， ，， ，τ-bench（ICLR 2025）。。。。。谁人测试关注的是Agent能否遵照领域规则、与用户举行多轮交互。。。。。CL-bench则更进一步，， ，， ，测的是模子能否从上下文学习新知识。。。。。两者配合指向一个判断，， ，， ，真实天下需要的是学习能力，， ，， ，而非做题能力。。。。。
CL-bench论文原文有一段话很精准：大语言模子主要依赖“参数化知识”，， ，， ，这是预训练阶段压缩进模子权重的静态影象。。。。。推理时，， ，， ，模子大多挪用这些存储的内部知识，， ，， ，而非自动重新输入信息中吸收养分。。。。。因此，， ，， ，目今优化的模子善于推理它们“知道”的事情，， ，， ，但用户需要的是让模子解决依赖于杂乱且动态转变的上下文的使命。。。。。
1
行业正在爆发什么转变
若是把近几年AI生长的主旋律做个简朴梳理，， ，， ，大致是这样的：2024年的主旋律是Scaling，， ，， ，更大的模子、更多的数据、更强的算力；；；；；；；；2025年的主旋律是Reasoning，， ，， ，以o1、R1、Deep Research为代表的推理能力提升。。。。。
那么2026年呢？？？？？？？？CL-bench指向了一个可能的新偏向，， ，， ，Context Learning。。。。。
从Prompt Engineering到Context Learning的演进路径
有意思的是，， ，， ，西方大厂现在主要在解决另一个问题。。。。。Anthropic在2024年底宣布了MCP（Model Context Protocol），， ，， ，OpenAI和Google随后跟进，， ，， ，这个协议被称为AI界的USB-C"，， ，， ，目的是让模子更容易接入外部工具和数据源。。。。。2025年12月，， ，， ，Anthropic、OpenAI和Block团结建设了Agentic AI Foundation，， ，， ，将MCP捐赠给Linux基金会，， ，， ，推动开源标准化。。。。。同月，， ，， ，Anthropic又宣布了Agent Skills开放标准，， ，， ，让AI能执行更详细的使命。。。。。
这些起劲解决的都是怎样把context送进模子的问题，， ，， ，怎样让模子接入更大都据源，， ，， ，怎样让模子挪用更多工具，， ，， ，怎样让模子执行更重大的事情流。。。。。
CL-bench问的是，， ，， ，送进去之后，， ，， ，模子能学会吗？？？？？？？？
Anthropic自己的研究也触及了类似问题。。。。。他们在关于context engineering的博文中提到了context rot征象，， ，， ，随着上下文长度增添，， ，， ，模子召回信息的能力会下降。。。。。但CL-bench展现的问题是。。。。。纵然上下文不长，， ，， ，模子也纷歧定能“学会”内里的新知识。。。。。这是学习能力，， ，， ，与检索无关。。。。。
论文在展望部分提到了一个更远的挑战，， ，， ，纵然上下文学习能力提升了，， ，， ，它仍然是“会消逝的”（ephemeral），， ，， ，上下文窗口清空，， ，， ，学到的工具就没了。。。。。下一步的挑战是Memory Consolidation（影象牢靠），， ，， ，怎样让从上下文中学到的知识长期化？？？？？？？？这可能是2026年之后的新战场。。。。。
1
这对腾讯意味着什么
姚顺雨入职腾讯后主导的第一个研究输出，， ，， ，他选择用一个benchmark重新界说问题。。。。。
现在腾讯混元在海内大模子市场的份额并不领先，， ，， ，字节豆包、阿里通义排在前面。。。。。在这个时势下，， ，， ，腾讯选择关注一个更基础的问题：模子的学习能力。。。。。
这个选择可能和腾讯的营业基因有关。。。。。腾讯是社交和游戏巨头，， ，， ，其焦点营业实质就是海量的“动态上下文”，， ，， ，谈天纪录、游戏状态、用户行为。。。。。姚顺雨强调Context Learning，， ，， ，可能是在为腾讯最焦点的营业场景打地基，， ，， ，让AI读懂此时现在的用户，， ，， ，而不是通过预训练读懂已往的用户。。。。。
他入职后说过：腾讯To C基因更强，， ，， ，要思索怎样让大模子给用户提供更多价值。。。。。许多时间需要的不是更大模子、更强的强化学习，， ，， ，而是特另外Context。。。。。
这或许才是AI真正进入人类社会的门票，， ，， ，不再做一个博学的旁观者。。。。。
点个“爱心”，， ，， ，再走辽宁关东冷链物流有限公司吧