这项由微软研究院团结韩国科学手艺院配合完成的开创性研究 ，，，，，，，于2026年揭晓在国际学习表征聚会（ICLR 2026）上。。。。。。 。。关于那些想要深入相识这项研究的读者 ，，，，，，，可以通过论文编号arXiv:2602.23008v1盘问完整的手艺细节。。。。。。 。。
一、从困在迷宫里的AI提及
当我们让人工智能去完成一些需要多办法思索的重大使命时 ，，，，，，，经常唬� ；；；；嵊龅揭桓隽钊司谏サ恼飨螅赫庑〢I智能体就像一个总是在统一个地方打转的人 ，，，，，，，显着应该去探索新的路径 ，，，，，，，却总是重复着同样的过失。。。。。。 。。
这种征象在AI领域被称为"探索缺乏"问题。。。。。。 。。就好比你要求一小我私家在一个生疏的都会里找到最好的餐厅 ，，，，，，，但这小我私家却始终只在熟悉的几条街道上转悠 ，，，，，，，历来不敢实验走进那些看起来生疏但可能藏着惊喜的小巷。。。。。。 。。大型语言模子虽然拥有富厚的预训练知识 ，，，，，，，但在面临需要自动探索的情形时 ，，，，，，，往往倾向于依赖已有的知识模式 ，，，，，，，而不肯意冒险实验可能失败但能带来新发明的行动。。。。。。 。。
更详细地说 ，，，，，，，目今的AI智能体在执行科学实验或网购这样的多办法使命时 ，，，，，，，经常唬� ；；；；峥ㄔ谀掣龌方谏稀！�。。。。 。。好比在虚拟科学实验中 ，，，，，，，AI被要求"翻开红色灯胆" ，，，，，，，它可能会一直实验在目今房间里寻找红色灯胆 ，，，，，，，纵然这个房间里基础没有。。。。。。 。。准确的做法应该是先探索其他房间 ，，，，，，，找到灯胆的位置 ，，，，，，，然后再想步伐点亮它。。。。。。 。。但现有的AI系统往往缺乏这种系统性探索的能力。。。。。。 。。
二、影象与学习的巧妙团结
面临这个挑战 ，，，，，，，微软研究院的科学家们提出了一个极其巧妙的解决计划 ，，，，，，，他们称之为"探索性影象增强在线和离线战略优化"（EMPO?）。。。。。。 。。这个名字虽然听起来重大 ，，，，，，，但其焦点头脑却可以用一个简朴的比喻来明确。。。。。。 。。
设想一位履历富厚的侦探在视察一系列相关案件。。。。。。 。。这位侦探不但会在每次视察中实验新的线索追踪要领 ，，，，，，，还会仔细纪录每次视察的心得体会。。。。。。 。。更主要的是 ，，，，，，，他会将这些履历内化为自己的直觉和判断能力 ，，，，，，，这样纵然在没有案件纪录的情形下 ，，，，，，，他也能依附积累的履历做出准确的判断。。。。。。 。。
EMPO?框架正是模拟了这样的学习历程。。。。。。 。。它让AI智能体具备了三种差别的"视察模式"：有时间它会像新手侦探一样纯粹依赖直觉行动 ，，，，，，，有时间它会查阅以往的案件纪录来指导目今的行动 ，，，，，，，而在学习阶段 ，，，，，，，它还会将从纪录中学到的履历转化为自己内在的能力。。。。。。 。。
这种设计的精妙之处在于 ，，，，，，，它不但让AI能够使用外部影象来改善探索效果 ，，，，，，，更主要的是 ，，，，，，，它能够将这些外部指导逐渐内化到AI的参数中 ，，，，，，，使AI纵然在没有外部影象辅助的情形下也能体现精彩。。。。。。 。。这就像一个学生通过查阅条记来学习 ，，，，，，，但最终目的是不看条记也能答对考试问题。。。。。。 。。
三、三种模式的协调配合
EMPO?框架的焦点在于它设计了一套精巧的多模式系统 ，，，，，，，就像一个训练有素的视察团队 ，，，，，，，凭证差别情形接纳差别的事情方法。。。。。。 。。
在执行使命的阶段 ，，，，，，，AI智能体会在两种模式之间随机切换。。。。。。 。。第一种是"裸奔模式" ，，，，，，，智能体完全依赖自己目今的判断能力来行动 ，，，，，，，就像一个履历富厚的侦探凭直觉办案。。。。。。 。。第二种是"影象辅助模式" ，，，，，，，智能体会先盘问自己的影象库 ，，，，，，，寻找与目今情形相似的历史履历 ，，，，，，，然后基于这些"案例档案"来制订行动战略。。。。。。 。。
每当一次使命竣事后 ，，，，，，，无论乐成照旧失败 ，，，，，，，AI都会像一个善于反思的侦探一样 ，，，，，，，总结这次履历的要害要点。。。。。。 。。这些总结不是简朴的乐成或失败纪录 ，，，，，，，而是更深层的洞察。。。。。。 。。好比 ，，，，，，，"在寻找红色灯胆的使命中 ，，，，，，，直接在走廊里寻找是无效的 ，，，，，，，应该先探索相邻的房间" ，，，，，，，或者"要创立绿色颜料 ，，，，，，，需要先在艺术事情室找到蓝色和黄色颜料 ，，，，，，，然后举行混淆"。。。。。。 。。
在学习阶段 ，，，，，，，EMPO?展现出了它最奇异的立异之处。。。。。。 。。关于那些在影象辅助下完成的使命 ，，，，，，，系统会接纳两种差别的学习战略。。。。。。 。。第一种是"在线学习" ，，，，，，，就像学生凭证参考谜底来温习 ，，，，，，，系统会强化那些在影象指导下取得好效果的行动模式。。。。。。 。。第二种是"离线学习" ，，，，，，，这是越发巧妙的设计：系统会问自己"若是我其时没有影象提醒 ，，，，，，，我是否还能做出同样好的决议？？？ ？？？？"然后针对性地训练这种不依赖外部提醒的能力。。。。。。 。。
这种离线学习可以明确为一种"知识蒸馏"历程。。。。。。 。。就像一个学生通过重复训练 ，，，，，，，最终能够不看条记就掌握知识要点一样 ，，，，，，，AI通过这种方法将外部影象中的智慧逐渐转化为内在的能力。。。。。。 。。
四、避免学习历程中的"翻车"
在现实的手艺实现中 ，，，，，，，研究团队发明了一个有趣的征象：当AI实验从影象指导的履历中学习时 ，，，，，，，有时间会泛起训练不稳固的问题 ，，，，，，，就像一个学生在从参考谜底学习时 ，，，，，，，有时间会由于太过依赖谜底而遗忘了思索的基本逻辑。。。。。。 。。
为相识决这个问题 ，，，，，，，研究职员引入了一个巧妙的"清静阀"机制。。。。。。 。。当系统检测到某些决议的置信度过低时（详细来说 ，，，，，，，是当模子对某个行动的展望概率低于设定阈值时） ，，，，，，，它会暂时忽略这些不确定的决议 ，，，，，，，专注于那些更有掌握的学习时机。。。。。。 。。这就像一个审慎的学生 ，，，，，，，在不确定谜底的时间会暂时跳过 ，，，，，，，先牢靠那些已司明确的知识点。。。。。。 。。
另外 ，，，，，，，为了确保AI始终坚持探索新领域的动力 ，，，，，，，研究团队还设计了一个"好奇心机制"。。。。。。 。。这个机制会给AI遇到新情形时提供特另外奖励 ，，，，，，，勉励它去探索那些从未见过的场景。。。。。。 。。详细来说 ，，，，，，，当AI遇到与历史履历差别较大的新情形时 ，，，，，，，系统会自动给予特另外奖励分数 ，，，，，，，这样AI就不会由于畏惧失败而总是选择清静的老路。。。。。。 。。
五、在虚拟天下中的精彩体现
为了验证这个框架的有用性 ，，，，，，，研究团队选择了两个极具挑战性的虚拟情形来举行测试。。。。。。 。。这两个情形划分是ScienceWorld（科学天下）和WebShop（网络购物） ，，，，，，，它们都需要AI举行重大的多办法推理和探索。。。。。。 。。
在ScienceWorld情形中 ，，，，，，，AI需要完成种种科学实验使命 ，，，，，，，好比组装电路来点亮特定颜色的灯胆 ，，，，，，，或者混淆化学物质来创立特定颜色的颜料。。。。。。 。。这些使命的重大性在于 ，，，，，，，AI不但需要明确使命目的 ，，，，，，，还需要在虚拟情形中自动探索 ，，，，，，，找到必需的工具和质料 ，，，，，，，然后凭证准确的办法完成实验。。。。。。 。。
以"点亮红色灯胆"这个使命为例 ，，，，，，，古板的AI智能体往往会在初始房间里重复实验寻找红色灯胆 ，，，，，，，纵然这个房间里并没有。。。。。。 。。当实验失败后 ，，，，，，，它们通常不知道应该去探索其他区域。。。。。。 。。而使用EMPO?框架的AI在一再实验后 ，，，，，，，就能够从影象中学到"目今位置没有目的物品时 ，，，，，，，应该系统性地探索其他房间"这样的战略。。。。。。 。。更主要的是 ，，，，，，，经由多次训练后 ，，，，，，，纵然不依赖影象提醒 ，，，，，，，AI也能自主地接纳这种探索战略。。。。。。 。。
在WebShop情形中 ，，，，，，，AI需要凭证用户的购物需求 ，，，，，，，在重大的电商网站上搜索、筛选和购置商品。。。。。。 。。这个历程涉及明确用户需求、导航网站界面、较量差别商品的属性和价钱等多个办法。。。。。。 。。古板的AI往往会在某个办法上卡住 ，，，，，，，好比不知道怎样有用地使用搜索功效 ，，，，，，，或者在面临多个相似商品时不知道怎样做出最优选择。。。。。。 。。
实验效果显示 ，，，，，，，EMPO?框架在这两个情形中都取得了显著的性能提升。。。。。。 。。在ScienceWorld中 ，，，，，，，相比于目今最先进的在线强化学习要领GRPO ，，，，，，，EMPO?的体现提升了128.6%。。。。。。 。。在WebShop情形中 ，，，，，，，提升幅度也抵达了11.3%。。。。。。 。。这些数字背后的意义在于 ，，，，，，，AI不再是在统一个地方打转 ，，，，，，，而是真正学会了系统性的探索和问题解决。。。。。。 。。
六、从依赖影象到自力思索的转变
EMPO?框架最令人印象深刻的特征之一 ，，，，，，，是它展现出的从"依赖外部提醒"到"自力自主判断"的学习曲线。。。。。。 。。这个历程就像一个学生从需要查阅条记到能够自力解题的生长历程。。。。。。 。。
在训练的早期阶段 ，，，，，，，AI严重依赖影象中的履历提醒来做出决议。。。。。。 。。就像一个新手厨师需要一直审查菜谱才华做出一道菜一样 ，，，，，，，AI此时还无法自力处置惩罚重大的使命。。。。。。 。。可是随着训练的举行 ，，，，，，，一个有趣的征象泛起了：纵然在完全没有影象提醒的情形下 ，，，，，，，AI的体现也在稳步提升。。。。。。 。。
越发令人惊喜的是 ，，，，，，，当研究团队测试这个经由训练的AI在全新的、从未见过的使命上的体现时 ，，，，，，，他们发明AI体现出了精彩的顺应能力。。。。。。 。。纵然面临完全生疏的使命 ，，，，，，，AI只需要很少的一再实验就能够使用影象机制快速学会新的战略。。。。。。 。。这就像一个履历富厚的问题解决者 ，，，，，，，虽然面临的是新问题 ，，，，，，，但能够quickly地找到解决思绪。。。。。。 。。
举个详细的例子 ，，，，，，，当研究团队让一个在生物学使命上训练的AI去解决电学实验问题时 ，，，，，，，AI在没有任何参数更新的情形下 ，，，，，，，仅仅通过一再试验和影象积累 ，，，，，，，就能在新使命上取得优异的体现。。。。。。 。。这种跨领域的顺应能力批注 ，，，，，，，EMPO?不但仅是在训练特定的使命手艺 ，，，，，，，更是在作育AI的通用问题解决能力。。。。。。 。。
七、与其他要领的较量优势
为了充分评估EMPO?的效果 ，，，，，，，研究团队将其与多种现有要领举行了周全较量。。。。。。 。。这些比照要领代表了目今AI领域的差别手艺路径 ，，，，，，，每一种都有其奇异的特点和适用场景。。。。。。 。。
首先是Reflexion要领 ，，，，，，，这种要领纯粹依赖外部影象 ，，，，，，，就像一个总是需要查阅条记本的学生。。。。。。 。。虽然它能够使用历史履向来改善决议 ，，，，，，，但由于没有参数更新机制 ，，，，，，，它的学习能力相对有限 ，，，，，，，往往在重大使命上很快就遇到性能瓶颈。。。。。。 。。
其次是Retrospex这样的离线强化学习要领 ，，，，，，，它们类似于通过大宗历史案例举行学习的专家系统。。。。。。 。。这些要领的优势在于能够从大宗数据中提取有价值的模式 ，，，，，，，但弱点是在面临与训练数据差别较大的新情形时 ，，，，，，，往往体现不佳。。。。。。 。。
尚有GRPO这样的在线强化学习要领 ，，，，，，，它们能够在与情形的实时互动中一直学习和刷新。。。。。。 。。然而 ，，，，，，，由于缺乏有用的探索机制 ，，，，，，，这些要领经常唬� ；；；；嵯萑刖植孔钣沤� ，，，，，，，就像一小我私家总是走同样的蹊径而不知道尚有更好的选择。。。。。。 。。
相比之下 ，，，，，，，EMPO?的优势在于它巧妙地团结了影象辅助的探索能力和参数更新的学习能力。。。。。。 。。这就像作育了一个既能查阅资料又能自力思索的万能型问题解决者。。。。。。 。。实验效果显示 ，，，，，，，在险些所有的使命类型中 ，，，，，，，EMPO?都显著优于这些简单战略的要领。。。。。。 。。
特殊值得注重的是 ，，，，，，，在一些使命中 ，，，，，，，纯粹的参数学习要领甚至体现得比简朴的影象要领还要差。。。。。。 。。这种征象说明 ，，，，，，，缺乏有用探索机制的学习可能会让AI陷入过失的行为模式 ，，，，，，，而难以自我纠正。。。。。。 。。EMPO?通过其混淆战略乐成地阻止了这个陷阱。。。。。。 。。
八、手艺实现的精巧之处
在手艺实现层面 ，，，，，，，EMPO?展现出了多个精巧的设计细节 ，，，，，，，这些细节虽然看似细小 ，，，，，，，却对整体性能爆发了主要影响。。。。。。 。。
影象检索机制接纳了基于语义相似度的智能匹配算法。。。。。。 。。当AI面临目今情形时 ，，，，，，，它不是简朴地查找完全相同的历史履历 ，，，，，，，而是寻找那些在实质上相似的情形。。。。。。 。。这就像一个有履历的医生 ，，，，，，，虽然每个病人的症状可能略有差别 ，，，，，，，但能够识别出相似的疾病模式。。。。。。 。。这种语义匹配确保了AI能够从相关的历史履历中获得有价值的指导 ，，，，，，，而不是被外貌的差别所疑惑。。。。。。 。。
在影象天生方面 ，，，，，，，系统不是简朴地纪录乐成或失败的效果 ，，，，，，，而是让AI自己总结每次履历的深层洞察。。。。。。 。。这些总结通常是精练但富有洞察力的句子 ，，，，，，，好比"电路毗连需要确保正极和负极的准确匹配"或"混淆颜料时需要在专门的事情区域举行操作"。。。。。。 。。这种自我反思的机制确保了影象内容的质量和适用性。。。。。。 。。
为了避免影象系统变得过于重大和杂乱 ，，，，，，，研究团队还设计了一个智能的影象治理机制。。。。。。 。。系统会自动识别和删除重复或过时的影象条目 ，，，，，，，坚持影象库的精简和高效。。。。。。 。。同时 ，，，，，，，它会凭证影象条目的使用频率和效果来调解它们的优先级 ，，，，，，，确保最有价值的履历总是能够被优先检索到。。。。。。 。。
九、盘算效率的平衡艺术
虽然EMPO?带来了显著的性能提升 ，，，，，，，但研究团队也坦诚地剖析了这种要领在盘算效率方面的价钱。。。。。。 。。相比古板的强化学习要领 ，，，，，，，EMPO?需要特另外盘算资源来处置惩罚影象检索、天生和治理。。。。。。 。。
详细来说 ，，，，，，，影象相关的操作约莫增添了19%的训练时间。。。。。。 。。这部分特殊时间主要用于在每次使命竣事后天生履历总结 ，，，，，，，以及在需要影象辅助时举行相似度检索。。。。。。 。。虽然这确实增添了盘算本钱 ，，，，，，，但研究团队通过时间-性能曲线剖析发明 ，，，，，，，纵然思量到这些特另外盘算时间 ，，，，，，，EMPO?仍然比古板要领越发高效 ，，，，，，，由于它能够更快地抵达更好的性能水平。。。。。。 。。
研究团队还指出 ，，，，，，，随着AI能力的提升 ，，，，，，，这种对外部影象的依赖会逐渐镌汰。。。。。。 。。唬� ；；；；痪浠八� ，，，，，，，虽然训练阶段需要特另外盘算资源 ，，，，，，，但训练完成后的AI在现实应用中并不需要这些影象支持 ，，，，，，，由于它已经将要害的履历内化为自身的能力。。。。。。 。。这就像投资教育的原理：虽然学习阶段需要投入更多资源 ，，，，，，，但最终作育出的能力会带来恒久的回报。。。。。。 。。
十、未来生长的无限可能
EMPO?框架的乐成不但解决了目今AI智能体探索能力缺乏的问题 ，，，，，，，更主要的是它为未来的AI生长开发了新的可能性。。。。。。 。。这个框架的焦点头脑可以扩展到更多领域和更重大的使命中。。。。。。 。。
在数学推理领域 ，，，，，，，AI可以通过类似的机制来积累解题履历 ，，，，，，，逐渐从需要查阅公式和定理到能够自力推导重大的数学证实。。。。。。 。。在代码编程方面 ，，，，，，，AI可以从简朴的代码片断学习最先 ，，，，，，，逐渐掌握重大的软件架构设计能力。。。。。。 。。在多模态使命中 ，，，，，，，AI可以学会协调解理文本、图像、声音等差别类型的信息 ，，，，，，，就像一个万能的创作者。。。。。。 。。
研究团队特殊强调了这种要领在清静要害应用中的潜在价值。。。。。。 。。由于EMPO?作育的是AI的内在能力而不但仅是对外部提醒的依赖 ，，，，，，，它在那些无法容忍过失的应用场景中可能越发可靠。。。。。。 。。好比在医疗诊断或自动驾驶等领域 ，，，，，，，AI需要在没有外部辅助的情形下做出准确判断。。。。。。 。。
虽然 ，，，，，，，研究团队也熟悉到目今要领的一些局限性。。。。。。 。。现在的影象检索机制相对简朴 ，，，，，，，主要基于语义相似度匹配。。。。。。 。。未来可能需要开发越发智能的影象组织和检索要领 ，，，，，，，好比基于因果关系或笼统看法的匹配。。。。。。 。。另外 ，，，，，，，现在的研究主要集中在特定类型的使命上 ，，，，，，，扩展到更普遍的应用领域还需要进一步的探索。。。。。。 。。
说究竟 ，，，，，，，EMPO?代表了AI生长的一个主要偏向：不是简朴地让机械变得更快或更强 ，，，，，，，而是让它们学会真正的智能行为——探索、学习、顺应和生长。。。。。。 。。就像人类从婴儿生长为能够自力思索的成年人一样 ，，，，，，，AI也需要履历从依赖外部指导到形成内在智慧的历程。。。。。。 。。EMPO?为这种生长提供了一个可行的路径 ，，，，，，，它不但让我们看到了更智能的AI的可能性 ，，，，，，，也为实现这种可能性提供了详细的手艺计划。。。。。。 。。
这项研究最深远的意义在于 ，，，，，，，它展示了怎样让AI真正学会学习。。。。。。 。。在未来 ，，，，，，，我们或许会看到能够自主探索新知识、顺应新情形、解决新问题的AI系统 ，，，，，，，它们不再需要人类为每一个可能的情形预先编程 ，，，，，，，而是能够像人类一样通过履历积累来一直生长和进化。。。。。。 。。这样的AI将不但仅是工具 ，，，，，，，更可能成为真正的智能相助同伴 ，，，，，，，与人类一起探索这个充满未知的天下。。。。。。 。。
Q&A
Q1：EMPO?框架是怎样让AI学会探索的？？？ ？？？？
A：EMPO?就像训练一个侦探一样 ，，，，，，，让AI在三种模式下事情：有时纯粹凭直觉行动 ，，，，，，，有时查阅以往案例纪录来指导行动 ，，，，，，，然后通过特殊的学习机制将外部影象中的智慧逐渐转化为内在能力。。。。。。 。。这样AI不但能使用影象改善探索效果 ，，，，，，，更能将这些履历内化 ，，，，，，，纵然没有外部提醒也能做出准确判断。。。。。。 。。
Q2：这个要领比其他AI训练要领幸亏那里？？？ ？？？？
A：古板要领要么只依赖影象但不会真正学习 ，，，，，，，要么只会参数学习但探索能力差。。。。。。 。。EMPO?巧妙团结了两者优势 ，，，，，，，在ScienceWorld情形中比最先进的GRPO要领提升了128.6% ，，，，，，，在WebShop中提升了11.3%。。。。。。 。。更主要的是 ，，，，，，，它作育的是AI的内在能力 ，，，，，，，训练完成后纵然不依赖外部影象也能体现精彩。。。。。。 。。
Q3：EMPO?训练出来的AI能处置惩罚全新的使命吗？？？ ？？？？
A：能够很好地顺应。。。。。。 。。研究显示新亚五金商业有限公司 ，，，，，，，纵然面临完全生疏的使命 ，，，，，，，经由EMPO?训练的AI只需要很少一再实验就能使用影象机制快速学会新战略 ，，，，，，，并且不需要更新任何参数。。。。。。 。。这就像作育了一个履历富厚的问题解决者 ，，，，，，，虽然面临新问题 ，，，，，，，但能够快速找到解决思绪。。。。。。 。。