作者 ｜ 周一笑邮箱 ｜ zhouyixiao@pingwest.com
2025年4月，，，，，，，，还在OpenAI的姚顺雨发了一篇博文《The Second Half》，，，，，，，，提出一个判断：AI进入下半场了，，，，，，，，接下来比的不是谁模子更大，，，，，，，，而是谁能更好地界说问题。。。。。
半年后他加入腾讯。。。。。又过了两个月，，，，，，，，他主导的第一个研究效果宣布了。。。。。这个效果并未推出新模子，，，，，，，，它直接抛出了一个数据，，，，，，，，GPT-5.1在一项新测试中只拿到了23.7%。。。。。
测试的设定很简朴，，，，，，，，把所有需要的信息都放在上下文里，，，，，，，，让模子去完成使命。。。。�？？？？？？？？嫉氖悄Ｗ幽芊翊友矍暗闹柿侠镅Щ嵝鹿ぞ摺！�。。。
效果是模子看了，，，，，，，，但没学会。。。。。
1
没法作弊的考试
这篇论文叫CL-bench，，，，，，，，全称Context Learning Benchmark，，，，，，，，2026年2月3日由腾讯混元团队和复旦大学团结宣布。。。。。作为项目认真人，，，，，，，，姚顺雨排在作者列表的最后一位。。。。。
Context Learning不是新看法，，，，，，，，但这篇论文对它的界说极为苛刻，，，，，，，，模子必需从上下文中学习到预训练阶段不保存的新知识，，，，，，，，并准确应用。。。。。简朴说，，，，，，，，要让模子现场学会它没见过的工具，，，，，，，，不但是“回忆”它以前见过的内容。。。。。
为了实现这个目的，，，，，，，，研究团队在数据构建上下了狠功夫。。。。。
现在业界避免数据污染最常见的做法较量简朴粗暴，，，，，，，，设准时间切割点（好比只考2024年以后的新闻）、把题库藏起来不果真、或者用算法去重。。。。。CL-bench做的完全是另一回事，，，，，，，，它在“造物”。。。。。
研究团队组织了一批领域专家，，，，，，，，凭空虚构了多个平行宇宙和假知识。。。。。好比，，，，，，，，他们编造了一部叫《Sol Accord》（索尔协定）的星际执法，，，，，，，，在现实中基础不保存，，，，，，，，模子不可能在预训练数据里背过相关法条；；；；；；；他们还编造了一个SkyNet无人机SDK，，，，，，，，内里的函数名、挪用规则全是假的，，，，，，，，模子若是用它影象里的Python知识去写代码，，，，，，，，必错无疑。。。。。别的，，，，，，，，他们还修改了现实天下的内容来建设变体，，，，，，，，好比改变历史事务的走向、调解科学界说，，，，，，，，并纳入一些极其小众、险些不可能泛起在预训练数据中的长尾内容。。。。。
即即是体现最好的 GPT-5.1平均得分也仅为23.7分。。。。。
这种通过“反事实”和“全虚构”来构建benchmark的要领，，，，，，，，是对抗刷榜最彻底、也是最难的手段。。。。。验证效果很直接，，，，，，，，在不给任何上下文的情形下，，，，，，，，让GPT-5.1直接做这些使命，，，，，，，，效果只能做对不到1%。。。。。这说明模子确实没见过这些知识，，，，，，，，必需从给定的上下文里学。。。。。没法作弊，，，，，，，，也是通过率只有17.2%的焦点缘故原由。。。。。
最终，，，，，，，，CL-bench包括了500个重大上下文、1899个使命、31607个验证标准。。。。。平均每个上下文的标注耗时约20小时，，，，，，，，所有由资深领域专家制作。。。。。这个事情量自己就说明晰研究团队的野心，，，，，，，，他们想造的不是一个刷分榜单，，，，，，，，而是一把真正能测出模子“学习能力”的尺子。。。。。
1
四种角色，，，，，，，，四场考试
在这场测试中，，，，，，，，AI需要饰演四种角色。。。。。
有时它是法官，，，，，，，，需要依据一部从未见过的虚构执法断案。。。。。给它一部长达2.3万字、刚刚生效的新执法，，，，，，，，让它判一起真实纠纷。。。。。法条全是新的，，，，，，，，判例全是新的，，，，，，，，模子必需现场阅读、明确、应用。。。。。
有时它是程序员，，，，，，，，必需用一种全新的语法写代码。。。。。好比基于一门新设计的编程语言规范，，，，，，，，实现一个带有时间条件终止的周期性程序。。。。。模子若是用它影象里的语法，，，，，，，，必错无疑。。。。。它必需严酷遵守这个"假文档"的规则。。。。。
有时它是操作员，，，，，，，，需要在一套从未见过的事情流系统里完成使命。。。。。凭证一份全新的产品手册，，，，，，，，一步步执行操作。。。。。流程图是新的，，，，，，，，术语是新的，，，，，，，，约束条件是新的。。。。。
最难的时间，，，，，，，，它要像科学家一样，，，，，，，，面临一堆杂乱的实验数据，，，，，，，，自己重新推导纪律。。。。。好比剖析300份原始实验日志，，，，，，，，推导关系式并预计共振常数。。。。。前三种角色实质上是演绎推理，，，，，，，，给你规则让你应用。。。。。这一种是归纳推理，，，，，，，，让你从数据中自己发明规则。。。。。
这四类场景笼罩了大部分真实事情中需要的学习能力：读文档、学规则、照流程、找纪律。。。。。这也是为什么CL-bench的效果云云令人担心，，，，，，，，若是模子连这些基本的学习使命都做欠好，，，，，，，，它在真实事情场景中的体现可想而知。。。。。
CL-bench的使命种别漫衍
1
前沿模子整体翻车
研究团队在CL-bench上测试了十个最先进的语言模子，，，，，，，，效果相当阴晦。。。。。
平均使命解决率只有17.2%。。。。。体现最好的GPT-5.1 (High)也只有23.7%。。。。。要知道，，，，，，，，所有完成使命需要的信息都已经明确给出了，，，，，，，，就在上下文里，，，，，，，，模子却在绝大大都使命上失败了。。。。。
论文详细剖析了失败缘故原由，，，，，，，，几个发明值得注重。。。。。
忽略或误用上下文是导致失败的主要缘故原由。。。。。导致过失的主因往往并非信息缺失，，，，，，，，模子对上下文要害细节的忽视才是症结所在。。。。。更有意思的是，，，，，，，，在许多情形下，，，，，，，，模子会倾向于使用它在预训练阶段学到的"老履历"来解决使命，，，，，，，，纵然上下文明确界说了新的规则、看法或程序，，，，，，，，它也不去学习和使用。。。。。这就像一个顽强的老员工，，，，，，，，宁愿用自己的老步伐，，，，，，，，也不肯意看新文档。。。。。
长上下文处置惩罚和指令遵照是须要但不充分条件。。。。。那些难以跨上下文追踪依赖关系或难以准确遵照约束的模子，，，，，，，，体现确实更差。。。。。但纵然是能够处置惩罚长输入、可靠遵照指令的模子，，，，，，，，仍然在许多使命上失败。。。。。这说明上下文学习需要的能力，，，，，，，，远不止能处置惩罚长文本和能“听话”。。。。。
归纳推理远比演绎推理难。。。。。在科学家类使命上，，，，，，，，模子的体现显着更差，，，，，，，，使命解决率通常低于10%，，，，，，，，并且效果波动很大。。。。。从数据中发明纪律，，，，，，，，比应用给定的规则要难堪多。。。。。这或许指向了目今大模子架构的一个根天性局限。。。。。
别的，，，，，，，，论文还发明，，，，，，，，更高的推理强度通常能提升上下文学习效果。。。。。好比GPT-5.1在高推理强度设置下，，，，，，，，在某些使命上的体现提升了约6%。。。。。但其他模子提升有限甚至下降，，，，，，，，说明单靠多想一会儿并不敷，，，，，，，，模子还必需能准确吸收和组织上下文信息。。。。。
1
姚顺雨的预判
2025年4月，，，，，，，，姚顺雨在博文《The Second Half》中提出了一个焦点看法，，，，，，，，AI生长正在从“上半场”进入“下半场”。。。。。上半场的主题是怎样训练出更强的模子，，，，，，，，更大的参数、更多的数据、更强的算力。。。。。下半场的主题则变了，，，，，，，，怎样界说准确的问题，，，，，，，，怎样评估真正的前进。。。。。
他写道，，，，，，，，评估将比训练更主要。。。。。我们不再只是问“我们能训练出一个能解决X的模子吗”，，，，，，，，而是在问“我们应该训练AI去做什么，，，，，，，，以及怎样权衡真正的前进”。。。。。
在一次访谈中，，，，，，，，他进一步诠释，，，，，，，，现在要领的问题已基本解决，，，，，，，，真正主要的是，，，，，，，，我们要用这个通用要领，，，，，，，，解决什么问题？？？？？？？？
CL-bench界说了什么问题？？？？？？？？它界说的问题是，，，，，，，，模子能否从目今上下文中学习？？？？？？？？
这个问题之前被忽视了。。。。。行业的隐含假设是，，，，，，，，只要上下文给到位（context engineering做得好），，，，，，，，模子就能完成使命。。。。。CL-bench的数据突破了这个假设，，，，，，，，给到位，，，，，，，，不即是做得对。。。。。上下文学习，，，，，，，，作为一项基础的模子能力，，，，，，，，被严重低估了。。。。。
姚顺雨在2024年主导过另一个benchmark，，，，，，，，τ-bench（ICLR 2025）。。。。。谁人测试关注的是Agent能否遵照领域规则、与用户举行多轮交互。。。。。CL-bench则更进一步，，，，，，，，测的是模子能否从上下文学习新知识。。。。。两者配合指向一个判断，，，，，，，，真实天下需要的是学习能力，，，，，，，，而非做题能力。。。。。
CL-bench论文原文有一段话很精准：大语言模子主要依赖“参数化知识”，，，，，，，，这是预训练阶段压缩进模子权重的静态影象。。。。。推理时，，，，，，，，模子大多挪用这些存储的内部知识，，，，，，，，而非自动重新输入信息中吸收养分。。。。。因此，，，，，，，，目今优化的模子善于推理它们“知道”的事情，，，，，，，，但用户需要的是让模子解决依赖于杂乱且动态转变的上下文的使命。。。。。
1
行业正在爆发什么转变
若是把近几年AI生长的主旋律做个简朴梳理，，，，，，，，大致是这样的：2024年的主旋律是Scaling，，，，，，，，更大的模子、更多的数据、更强的算力；；；；；；；2025年的主旋律是Reasoning，，，，，，，，以o1、R1、Deep Research为代表的推理能力提升。。。。。
那么2026年呢？？？？？？？？CL-bench指向了一个可能的新偏向，，，，，，，，Context Learning。。。。。
从Prompt Engineering到Context Learning的演进路径
有意思的是，，，，，，，，西方大厂现在主要在解决另一个问题。。。。。Anthropic在2024年底宣布了MCP（Model Context Protocol），，，，，，，，OpenAI和Google随后跟进，，，，，，，，这个协议被称为AI界的USB-C"，，，，，，，，目的是让模子更容易接入外部工具和数据源。。。。。2025年12月，，，，，，，，Anthropic、OpenAI和Block团结建设了Agentic AI Foundation，，，，，，，，将MCP捐赠给Linux基金会，，，，，，，，推动开源标准化。。。。。同月，，，，，，，，Anthropic又宣布了Agent Skills开放标准，，，，，，，，让AI能执行更详细的使命。。。。。
这些起劲解决的都是怎样把context送进模子的问题，，，，，，，，怎样让模子接入更大都据源，，，，，，，，怎样让模子挪用更多工具，，，，，，，，怎样让模子执行更重大的事情流。。。。。
CL-bench问的是，，，，，，，，送进去之后，，，，，，，，模子能学会吗？？？？？？？？
Anthropic自己的研究也触及了类似问题。。。。。他们在关于context engineering的博文中提到了context rot征象，，，，，，，，随着上下文长度增添，，，，，，，，模子召回信息的能力会下降。。。。。但CL-bench展现的问题是。。。。。纵然上下文不长，，，，，，，，模子也纷歧定能“学会”内里的新知识。。。。。这是学习能力，，，，，，，，与检索无关。。。。。
论文在展望部分提到了一个更远的挑战，，，，，，，，纵然上下文学习能力提升了，，，，，，，，它仍然是“会消逝的”（ephemeral），，，，，，，，上下文窗口清空，，，，，，，，学到的工具就没了。。。。。下一步的挑战是Memory Consolidation（影象牢靠），，，，，，，，怎样让从上下文中学到的知识长期化？？？？？？？？这可能是2026年之后的新战场。。。。。
1
这对腾讯意味着什么
姚顺雨入职腾讯后主导的第一个研究输出，，，，，，，，他选择用一个benchmark重新界说问题。。。。。
现在腾讯混元在海内大模子市场的份额并不领先，，，，，，，，字节豆包、阿里通义排在前面。。。。。在这个时势下，，，，，，，，腾讯选择关注一个更基础的问题：模子的学习能力。。。。。
这个选择可能和腾讯的营业基因有关。。。。。腾讯是社交和游戏巨头，，，，，，，，其焦点营业实质就是海量的“动态上下文”，，，，，，，，谈天纪录、游戏状态、用户行为。。。。。姚顺雨强调Context Learning，，，，，，，，可能是在为腾讯最焦点的营业场景打地基，，，，，，，，让AI读懂此时现在的用户，，，，，，，，而不是通过预训练读懂已往的用户。。。。。
他入职后说过：腾讯To C基因更强，，，，，，，，要思索怎样让大模子给用户提供更多价值。。。。。许多时间需要的不是更大模子、更强的强化学习，，，，，，，，而是特另外Context。。。。。
这或许才是AI真正进入人类社会的门票，，，，，，，，不再做一个博学的旁观者。。。。。
点个“爱心”，，，，，，，，再走欧瑞家电制造有限公司吧