阿里巴巴团队大扫除：把AI界最难考试题的过失全找出来了！

2026-02-27 18:34:32

这项由阿里巴巴集团和阿里巴巴Qwen团队团结开展的研究揭晓于2026年的arXiv预印本平台，，，，，，，，论文编号为arXiv:2602.13964v2。。。。。研究团队针对目今AI界最权威的评测基准"人类最后的考试"（Humanity's Last Exam，，，，，，，，简称HLE）举行了周全的过失检查和修正事情，，，，，，，，最终宣布了经由验证的HLE-Verified版本。。。。。

**一个让AI专家头疼的问题**

你可能不知道，，，，，，，，现在评判AI有多智慧，，，，，，，，主要靠的是让它们做题——就像我们上学时的考试一样。。。。。其中有一套叫做"人类最后的考试"的问题，，，，，，，，被以为是现在最难、最权威的AI能力测试。。。。。这套问题涵盖数学、物理、化学、生物医学、盘算机科学等多个领域，，，，，，，，每道题都很是有挑战性。。。。。

可是问题来了。。。。。就像我们小时间发明教科书上无意也有印刷过失一样，，，，，，，，这套被奉为圭臬的AI考试问题也泛起了不少问题。。。。。一些研究职员最先嫌疑：AI答错问题，，，，，，，，究竟是由于它们真的不敷智慧，，，，，，，，照旧由于问题自己就有误差�。。。。浚�？？？？

这就好比你在餐厅点了一道菜，，，，，，，，发明味道很希奇。。。。。你可能会想："是我的口胃有问题，，，，，，，，照旧厨师做错了？？？？？？"若是连菜谱都写错了，，，，，，，，那么纵然是最好的厨师也做不出正宗的味道。。。。。

**阿里团队的"大扫除"行动**

面临这个问题，，，，，，，，阿里巴巴的研究团队决议来一次彻底的"大扫除"。。。。。他们要把原版考试的2500道问题逐一检查，，，，，，，，找出所有可能保存的过失，，，，，，，，然后举行修正。。。。。这就像是对一本厚厚的百科全书举行周全的校对事情。。。。。

整个检查历程分为两个阶段，，，，，，，，就像医院的体检流程一样。。。。。第一阶段是"起源筛查"，，，，，，，，目的是找出那些完全没有问题的"康健"问题，，，，，，，，这些问题可以直接保存。。。。。第二阶段是"深度治疗"，，，，，，，，针对那些有问题但还能抢救的问题举行修复。。。。。

研究团队把每道考试题剖析成三个部分来检查：问题形貌（相当于考试的问题部分）、标准谜底（相当于参考谜底）、解题历程（相当于详细的解答办法）。。。。。这样做的利益是可以准确定位问题出在哪个环节。。。。。

**第一阶段：找出完全康健的问题**

在第一阶段，，，，，，，，研究团队接纳了三种差别的检查要领。。。。。首先是约请各个领域的专家来审盘问题，，，，，，，，就像约请差别科目的先生来检查试卷一样。。。。。这些专家会仔细审查每道题的问题形貌、谜底息争题历程，，，，，，，，判断是否保存问题。。。。。

第二种要领是让多个先进的AI模子来解题。。。。。研究团队让8个差别的AI模子实验回覆统一道问题，，，，，，，，然后看看它们的谜底是否与标准谜底一致。。。。。若是大部分AI都给出了与标准谜底差别的效果，，，，，，，，那这道问题就值得嫌疑了。。。。。这就像是让多个学霸同时做一道题，，，，，，，，若是他们的谜底都和参考谜底纷歧样，，，，，，，，那很可能是参考谜底有问题。。。。。

第三种要领是内部专家的最终判断。。。。。研究团队的专家会综合前两种检查的效果，，，，，，，，做出守旧的决议。。。。。只有当问题形貌清晰、谜底准确、且没有发明显着问题时，，，，，，，，问题才华进入"黄金标准"的步队。。。。。

经由第一阶段的严酷筛选�。。。。�，，，，，，，2500道问题中有641道被认定为完全没有问题，，，，，，，，可以直接使用。。。。。这些问题就像是经由严酷质检的优质产品，，，，，，，，可以定心使用。。。。。

**第二阶段：抢救有问题的问题**

关于那些在第一阶段被发明有问题但尚有拯救价值的问题，，，，，，，，研究团队启动了第二阶段的"抢救"事情。。。。。这个阶段的焦点原则是：只修正过失，，，，，，，，不改变问题要考察的焦点能力。。。。。就像修理一台坏了的钟表，，，，，，，，只修复损坏的部件，，，，，，，，不改变它的基本功效。。。。。

修复事情接纳了"双重包管"的要领。。。。。两个自力的专家团队划分对统一道问题提出修复计划，，，，，，，，然后再让内部专家从中选择最好的计划，，，，，，，，或者将两个计划团结起来。。。。。这就像是两个维修师傅自力检查统一台坏掉的机械，，，，，，，，然后选择最佳的修复计划。。。。。

为了确保修复的质量，，，，，，，，研究团队还让AI模子加入到修复历程中。。。。。这些AI模子会实验用差别的要领解决修复后的问题，，，，，，，，验证修复是否真的解决了原来的问题。。。。。

经由第二阶段的起劲，，，，，，，，又有1170道问题获得了"重获新生"。。。。。加上第一阶段的641道康健问题，，，，，，，，总共有1811道问题可以定心使用。。。。。

**那些"疑难杂症"**

然而，，，，，，，，尚有689道问题让研究团队犯了难。。。。。这些问题的问题较量重大，，，，，，，，要么涉及有争议的学术看法，，，，，，，，要么需要凌驾目今验证规模的专业知识，，，，，，，，要么保存多种合理的诠释。。。。。研究团队没有简朴地扬弃这些问题，，，，，，，，而是把它们标记为"不确定"状态，，，，，，，，并详细纪录了每道问题保存的详细问题和需要的专业知识类型。。。。。

这就像是医生遇到了有数病例，，，，，，，，虽然暂时无法确诊，，，，，，，，但会详细纪录症状和可能的病因，，，，，，，，为未来的研究留下名贵资料。。。。。

**过失类型大盘货**

在整个检查历程中，，，，，，，，研究团队发明的过失类型可以分为三大类。。。。。问题形貌方面的过失主要包括语义模糊（问题表达不清晰）、知识过失（问题中的事实性内容有误）、信息缺失（解题所需的条件不完整）、理论过失（违反了该领域的基来源理）和名堂过失（数学符号或专业术语使用不当）。。。。。

解题历程方面的过失则越发富厚，，，，，，，，包括推理办法冗余、循环论证、违反事实、逻辑纷歧致、要领使用过失、太过自信、缺少条件条件、推理陷阱、多解法纷歧致，，，，，，，，以及名堂问题等十种类型。。。。。

谜底方面的过失相对简朴，，，，，，，，主要是谜底不准确、谜底不完整、谜底表述模糊和名堂过失四种类型。。。。。

有趣的是，，，，，，，，研究团队发明差别学科领域的过失模式保存显着差别。。。。。数学和生物医学问题中，，，，，，，，谜底过失是最主要的问题，，，，，，，，占到了过失的绝大部分。。。。。而在物理、人文社科等领域，，，，，，，，更多的问题是问题表述不敷清晰，，，，，，，，保存多种明确方法。。。。。盘算机科学领域的问题则经常泛起名堂和符号使用过失。。。。。

**修复效果验证**

为了验证修复事情的效果，，，，，，，，研究团队让七个现在最先进的AI模子划分在原版问题和修复版问题上举行测试。。。。。效果令人惊喜：所有AI模子在修复版问题上的体现都有了显著提升。。。。。

详细来说，，，，，，，，在完整的问题集上，，，，，，，，AI模子的准确率平均提高了7到10个百分点。。。。。而在那些原本保存问题形貌过失或谜底过失的问题上，，，，，，，，AI模子的准确率提升更是抵达了30到40个百分点。。。。。这就像是给学生提供了准确的教科书后，，，，，，，，他们的考试效果大幅提高了。。。。。

更有意思的是，，，，，，，，研究团队还发明AI模子的"自信心"与问题质量之间保存亲近关系。。。。。当遇到有问题的问题时，，，，，，，，AI模子往往体现得不敷自信，，，，，，，，给出谜底时显得犹豫不决。。。。。而在修复后的问题上，，，，，，，，AI模子的自信心显着增强，，，，，，，，这说明清晰准确的问题确实能资助AI更好地施展能力。。。。。

**差别学科的刷新情形**

从学科角度来看，，，，，，，，物理和生物医学领域的问题在修复后刷新最为显着。。。。。这两个领域原本的AI准确率相对较低，，，，，，，，但在修复后泛起了大幅提升。。。。。相比之下，，，，，，，，化学和盘算机科学领域的刷新幅度较小�。。。。�，，，，，，，但同样是起劲的。。。。。

这种差别反应了差别学科在问题质量方面的特点。。。。。有些学科的问题更容易泛起事实性过失，，，，，，，，有些学科则更容易泛起表述不清的问题。。。。。通过针对性的修复，，，，，，，，每个学科的评测质量都获得了响应的改善。。。。。

**AI自信心的启示**

研究中一个特殊有趣的发明是AI模子的自信心可以作为识别问题问题的指标。。。。。当问题保存问题时，，，，，，，，AI模子在回覆时往往不敷自信，，，，，，，，这反应了问题自己的不确定性。。。。。在修复后的问题上，，，，，，，，AI模子的自信心普遍增强，，，，，，，，说明清晰准确的问题确实能让AI更好地施展实力。。。。。

这个发明有主要的现实意义。。。。。在未来的AI评测中，，，，，，，，研究职员可以关注AI模子的自信心体现，，，，，，，，以此来识别可能保存问题的问题。。。。。当多个AI模子都对某道问题体现出低自信心时，，，，，，，，这道问题就值得重新审阅了。。。。。

**对AI评测的深远影响**

这项研究的意义远远凌驾了对一套考试问题的修正。。。。。它展现了一个主要问题：当我们用有缺陷的标准来评判AI时，，，，，，，，得出的结论可能是禁绝确的。。。。。就像用一把刻度禁绝的尺子来丈量物体，，，，，，，，获得的数据自然也不可靠。。。。。

研究效果显示，，，，，，，，AI在某些问题上的"过失"现实上可能反应的是问题自己的问题，，，，，，，，而不是AI能力的缺乏。。。。。这提醒我们，，，，，，，，在评判AI能力时，，，，，，，，需要确保评测标准自己是可靠和准确的。。。。。

别的，，，，，，，，这项研究还为怎样维护和刷新AI评测基准提供了名贵履历。。。。。研究团队建设的两阶段验证和修复流程、详细的过失分类系统，，，，，，，，以及守旧的质量控制原则，，，，，，，，都可以为其他类似的评测基准刷新事情提供参考。。。。。

**未来展望**

研究团队将修复后的HLE-Verified数据集完全开源，，，，，，，，供全球研究职员使用。。。。。他们还提供了详细的修复纪录和过失分类信息，，，，，，，，让其他研究者能够相识每道问题的详细修改情形。。。。。

关于那689道"不确定"状态的问题，，，，，，，，研究团队也没有放弃。。。。。他们为每道问题提供了详细的问题形貌和所需的专业知识标签，，，，，，，，希望相关领域的专家能够在未来继续完善这些问题。。。。。这就像是为后续的研究者留下了详细的"诊断报告"。。。。。

说究竟，，，，，，，，这项研究告诉我们一个简朴而主要的原理：好的评测需要好的问题。。。。。就像厨师需要新鲜的食材一样，，，，，，，，准确评判AI能力也需要高质量的测试问题。。。。。通过系统性的验证和修复事情，，，，，，，，我们可以让AI评测变得越发公正、准确和可靠。。。。。

这不但有助于更好地相识目今AI的真实能力水平，，，，，，，，也为AI手艺的进一步生长指明晰偏向。。。。。当评测标准变得越发准确时，，，，，，，，AI的生长也能更好地朝着准确的偏向前进。。。。。

研究团队的这次"大扫除"行动，，，，，，，，现实上是为整个AI研究社区做了一件很是有意义的基础事情。。。。。虽然这种事情可能不像开发新算法那样引人注目，，，，，，，，但它的价值是久远而深刻的。。。。。就像维护蹊径和桥梁一样，，，，，，，，维护评测基准也是包管AI研究康健生长的主要基础设施事情。。。。。

关于通俗人来说，，，，，，，，这项研究的意义在于让我们对AI能力的判断越发准确。。。。。当我们听到"某个AI在权威测试中体现怎样"的新闻时，，，，，，，，可以越发信托这些评价的可靠性。。。。。而关于AI开发者来说，，，，，，，，更准确的评测意味着他们可以更好地相识自己开发的AI系统的真实水平，，，，，，，，从而制订更合适的刷新战略。。。。。

有兴趣深入相识手艺细节的读者可以通过论文编号arXiv:2602.13964v2在arXiv平台盘问完整的研究论文，，，，，，，，其中包括了更详细的要领形貌、实验数据和剖析效果。。。。。

Q&A

Q1：HLE-Verified是什么？？？？？？

A：HLE-Verified是阿里巴巴团队对AI界权威测试"人类最后的考试"举行周全过失检查和修正后的版本。。。。。原版2500道问题经由验证后，，，，，，，，有641道完全准确的问题，，，，，，，，1170道修复后的问题，，，，，，，，以及689道标记为不确定状态的问题。。。。。

Q2：为什么要对人类最后的考试举行修正？？？？？？

A：由于研究职员发明原版考试中保存不少过失，，，，，，，，包括问题形貌不清、谜底过失、解题历程有问题等。。。。。这些过失会影响对AI能力的准确评判，，，，，，，，就像用有刻度过失的尺子丈量物体一样不可靠。。。。。

Q3：修正后AI模子的体现有什么转变？？？？？？

A：所有测试的AI模子在修正鼎策危害治理有限公司版问题上体现都显著提升，，，，，，，，整体准确率平均提高7-10个百分点，，，，，，，，在那些原本有过失的问题上准确率更是提高了30-40个百分点，，，，，，，，同时AI模子的自信心也显着增强。。。。。

PT视讯(中国区)官网