这项由加州大学圣地亚哥分校团结约翰霍普金斯大学、康奈尔大学、MBZUAI和卡内基梅隆大学等多所顶尖学府配合开展的研究 ，，，，，，，，于2026年2月揭晓在预印本平台上（论文编号arXiv:2602.02905v1） ，，，，，，，，研究团队开发了一个名为FIRE-BENCH（全周期洞察重发明评估）的新型测试平台 ，，，，，，，，专门用于评估AI研究助手是否真的能像人类科学家一样 ，，，，，，，，自力完成从提出问题到得出结论的完整科学研究历程。。。。。 。
科学发明就像解决一个重大的拼图游戏。。。。。 。人类科学家需要视察征象 ，，，，，，，，提出假设 ，，，，，，，，设计实验 ，，，，，，，，剖析数据 ，，，，，，，，最后得出结论。。。。。 。每一步都需要创立性头脑和严密的逻辑推理。。。。。 。随着大语言模子的快速生长 ，，，，，，，，我们最先看到AI系统在各个科学研究环节都体现出令人印象深刻的能力——它们能够阅读文献 ，，，，，，，，提出假设 ，，，，，，，，编写代码 ，，，，，，，，甚至剖析实验效果。。。。。 。这让人们最先好奇：AI是否已经具备了自力举行科学研究的能力？ ？？ ？？？ ？
然而 ，，，，，，，，评估AI的科学研究能力面临着一个根天性的挑战。。。。。 。若是让AI去探索全新的科学问题 ，，，，，，，，我们很难判断它得出的结论是否准确 ，，，，，，，，由于这些结论可能需要破费大宗时间和资源举行实验验证。。。。。 。另一方面 ，，，，，，，，若是只是让AI在某个详细使命上优化性能指标 ，，，，，，，，虽然效果容易权衡 ，，，，，，，，但这种评估方法过于狭隘 ，，，，，，，，无法反应真正的科学研究能力。。。。。 。
为相识决这个两难问题 ，，，，，，，，研究团队提出了一个巧妙的解决计划：让AI重新发明那些已经被人类科学家证实的主要科学发明。。。。。 。这就像让一个侦探重新视察一个已经破解的案件 ，，，，，，，，但只给他最初的线索 ，，，，，，，，不告诉他案件的细节和最终结论。。。。。 。若是AI能够通过自己的推理和实验重新得出与人类科学家相同的结论 ，，，，，，，，那就说明它确实具备了自力的科学研究能力。。。。。 。
研究团队从2024年和2025年的顶级机械学习聚会（ICLR、ICML和NeurIPS）中全心挑选了30篇高质量的履历剖析论文。。。。。 。这些论文都专门研究大语言模子的行为和特征 ，，，，，，，，具有清晰可验证的实验结论。。。。。 。研究职员将每篇论文笼统成一个研究使命：只向AI提供最初的研究问题 ，，，，，，，，而隐藏详细的实验设计、实验细节和最终结论。。。。。 。
整个评估历程就像一场全心设计的"盲测"实验。。。。。 。AI系统需要从一个高条理的研究问题出发 ，，，，，，，，自主设计实验计划 ，，，，，，，，编写和执行代码 ，，，，，，，，剖析实验效果 ，，，，，，，，最后形成有证据支持的科学结论。。。。。 。研究团队然后将AI得出的结论与原始论文的发明举行详细较量 ，，，，，，，，接纳基于声明的评分方法 ，，，，，，，，盘算准确度、召回率和综合得分。。。。。 。
研究团队测试了四个现在最先进的AI研究助手系统 ，，，，，，，，包括开源的OpenHands系统（划分使用GPT-4-mini和GPT-5作为底层模子） ，，，，，，，，以及两个商业系统：OpenAI的Codex（使用GPT-5-medium）和Anthropic的Claude Code（使用Claude-4-Sonnet）。。。。。 。每个AI系统都在相同的情形中运行 ，，，，，，，，拥有相同的盘算资源和数据聚会见权限 ，，，，，，，，确保测试的公正性。。。。。 。
**一、AI科学家的体现怎样？ ？？ ？？？ ？效果令人深思**
测试效果展现了目今AI系统在自力科学研究方面的真实水平。。。。。 。纵然是体现最好的Claude Code系统 ，，，，，，，，平均综合得分也只有46.7分（满分100分） ，，，，，，，，其他系统的得分划分为：Codex 41.9分 ，，，，，，，，使用GPT-5的OpenHands 37.9分 ，，，，，，，，使用GPT-4-mini的OpenHands 31.9分。。。。。 。这个效果批注 ，，，，，，，，只管AI系统在许多单项使命上体现精彩 ，，，，，，，，但要完成完整的科学研究流程仍然面临重大挑战。。。。。 。
更令人担心的是效果的不稳固性。。。。。 。研究团队对每个AI系统举行了三次自力测试 ，，，，，，，，发明纵然是相同的系统在相同的使命上 ，，，，，，，，体现也会有很大差别。。。。。 。例如 ，，，，，，，，在"信息位置对模子性能的影响"这个使命上 ，，，，，，，，OpenHands系统的得分波动规模高达40.5分。。。。。 。这种不稳固性在科学研究中是很是危险的 ，，，，，，，，由于科学结论必需具有可重复性和可靠性。。。。。 。
为了更深入地明确AI系统失败的缘故原由 ，，，，，，，，研究团队开发了一套详细的过失剖析框架。。。。。 。他们将科学研究历程分为四个要害阶段：研究妄想、代码实现、实验执行和结论形成。。。。。 。通太过析AI系统在每个阶段的体现 ，，，，，，，，研究职员发明了一个有趣的征象：AI系统的失败主要不是由于编程能力缺乏 ，，，，，，，，而是由于缺乏科学头脑能力。。。。。 。
在研究妄想阶段 ，，，，，，，，AI系统经常接纳与原始研究差别的实验要领 ，，，，，，，，或者偏离了最初的研究目的。。。。。 。这就像一个厨师拿到食谱后 ，，，，，，，，却决议用完全差别的烹饪要领来制作菜品。。。。。 。在结论形成阶段 ，，，，，，，，AI系统虽然能够准确执行实验办法 ，，，，，，，，但经常无法从实验数据中得出准确的结论 ，，，，，，，，就像能够完善演奏音符却无法明确音乐情绪的机械人一样。。。。。 。
**二、差别使命难度下的体现差别**
研究团队凭证使命的庞洪水平将30个测试使命分为简朴、中等和难题三个级别。。。。。 。分类标准主要思量三个维度：看法剖析的重漂后、实验控制的严酷水平 ，，，，，，，，以及数据剖析的庞洪水平。。。。。 。这就像将烹饪使命分为煮利便面、制作家常菜和制作程序大餐三个难度品级。。。。。 。
在简朴使命上 ，，，，，，，，AI系统体现相对较好。。。。。 。这些使命通常有明确的实验流程和直观的评估标准 ，，，，，，，，就像凭证详细说明书组装家具一样。。。。。 。例如 ，，，，，，，，在"信息位置对模子性能的影响"使命中 ，，，，，，，，最好的AI系统抵达了91.7分的高分。。。。。 。这类使命的特点是实验办法相对牢靠 ，，，，，，，，主要磨练AI系统的执行能力而非创立性头脑。。。。。 。
然而 ，，，，，，，，扑面临需要重大实验设计的难题使命时 ，，，，，，，，AI系统的体现急剧下降。。。。。 。特殊是那些需要构建比照组或控制混杂因素的使命 ，，，，，，，，AI系统经常无法设计出合适的实验计划。。。。。 。以"医疗本钱展望中的种族私见"使命为例 ，，，，，，，，原始研究通过巧妙的比照实验设计来隔离种族因素的影响 ，，，，，，，，但所有测试的AI系统都未能重现这种实验设计思绪 ，，，，，，，，因此得分都靠近于零。。。。。 。
这种体现差别展现了AI系统的一个根天性局限：它们善于执行明确的指令和标准化的操作 ，，，，，，，，但在需要创立性问题解决和重大推理的情形下体现不佳。。。。。 。这就像一个严酷凭证食谱烹饪的厨师 ，，，，，，，，在食谱清晰详细时能做出鲜味的菜肴 ，，，，，，，，但当需要凭证现有食材立异菜品时就显得力有未逮。。。。。 。
**三、AI系统犯了哪些典范过失？ ？？ ？？？ ？**
通过对AI系统天生的过失结论举行详细剖析 ，，，，，，，，研究团队发明了四种主要的过失类型。。。。。 。最常见的是矛盾性结论 ，，，，，，，，占所有过失的65%以上。。。。。 。这类过失体现为AI系统得出的结论与已证实的科学发明直接冲突 ，，，，，，，，就像声称"水在100度时会结冰"这样显着违反知识的过失。。。。。 。
第二类过失是不相关结论 ，，，，，，，，约占过失的25%。。。。。 。AI系统虽然举行了实验 ，，，，，，，，但得出的结论与研究问题绝不相关 ，，，，，，，，就像被问及苹果的营养价值却回覆香蕉的莳植要领。。。。。 。这反应了AI系统在明确和聚焦研究目的方面的缺陷。。。。。 。
有趣的是 ，，，，，，，，真正的"替换性结论"——即AI系统提出了与原始研究差别但可能合理的科学看法——仅占所有过失的不到11%。。。。。 。这批注AI系统现在还缺乏真正的科学立异能力 ，，，，，，，，它们的过失更多是由于明确误差或执行失误 ，，，，，，，，而非创立性的科学思索。。。。。 。
研究团队还发明 ，，，，，，，，AI系统在处置惩罚需要严酷控制变量的实验时特殊容易蜕化。。。。。 。例如 ，，，，，，，，在研究语言模子的某种特征时 ，，，，，，，，AI系统经常忽略了控制其他可能影响效果的因素 ，，，，，，，，就像在测试新药效果时遗忘使用慰藉剂比照组一样。。。。。 。这种疏忽会导致实验效果不可靠 ，，，，，，，，结论缺乏说服力。。。。。 。
**四、本钱效益剖析展现的问题**
除了性能评估 ，，，，，，，，研究团队还详细剖析了差别AI系统的使用本钱。。。。。 。测试效果显示 ，，，，，，，，性能更好的AI系统通常也更腾贵。。。。。 。体现最佳的Claude Code系统平均每个使命破费0.84美元 ，，，，，，，，而性能相对较低的系统本钱约为每使命0.15-0.72美元不等。。。。。 。
这种本钱与性能的关系反应了目今AI手艺生长的一个现实：更强盛的AI模子需要更多的盘算资源 ，，，，，，，，因此使用本钱也更高。。。。。 。关于希望使用AI举行科学研究的机构来说 ，，，，，，，，这意味着需要在研究质量和预算之间做出权衡。。。。。 。
有趣的是 ，，，，，，，，研究团队发明某些使命的本钱差别很大。。。。。 。需要重大推理和多轮迭代的使命本钱显着更高 ，，，，，，，，由于AI系统需要举行更多的盘算和API挪用。。。。。 。这就像解决重大数学题需要更多的底稿纸和思索时间一样。。。。。 。
**五、数据污染问题的深入视察**
思量到测试中使用的都是近期揭晓的研究论文 ，，，，，，，，研究团队特殊关注了一个主要问题：AI系统的优异体现是否是由于它们在训练时已经"见过"这些研究内容？ ？？ ？？？ ？这种征象被称为数据污染 ，，，，，，，，就像学生考试前偷看了谜底一样。。。。。 。
为了磨练这种可能性 ，，，，，，，，研究团队将测试使命凭证AI模子的知识阻止时间举行分类 ，，，，，，，，较量AI系统在知识阻止前后揭晓的论文上的体现差别。。。。。 。若是保存严重的数据污染 ，，，，，，，，AI系统在较早揭晓的论文上应该体现更好。。。。。 。
然而 ，，，，，，，，剖析效果显示并没有显着的数据污染迹象。。。。。 。AI系统在知识阻止时间前后揭晓的论文上体现相似 ，，，，，，，，有些甚至在较新的论文上体现更好。。。。。 。这批注FIRE-BENCH的测试效果确实反应了AI系统的真实科学研究能力 ，，，，，，，，而非简朴的影象和重复。。。。。 。
研究团队以为 ，，，，，，，，这种征象的缘故原由在于FIRE-BENCH的奇异设计。。。。。 。纵然AI系统可能"记着"了某篇论文的内容 ，，，，，，，，但由于测试时只提供高条理的研究问题而隐藏了详细的实验细节和结论 ，，，，，，，，AI系统仍然需要自力举行推理和实验设计。。。。。 。这就像记着了一个故事的下场 ，，，，，，，，但仍然需要自己重新编织整个故事情节一样。。。。。 。
**六、对AI科学研究能力的深度思索**
FIRE-BENCH的测试效果为我们明确AI在科学研究中的角色提供了主要启示。。。。。 。首先 ，，，，，，，，目今的AI系统确实具备了执行科学研究各个环节的基础能力——它们能够明确研究问题 ，，，，，，，，设计实验计划 ，，，，，，，，编写和执行代码 ，，，，，，，，剖析数据并形成结论。。。。。 。这些能力的保存意味着AI已经可以作为有力的科学研究助手。。。。。 。
然而 ，，，，，，，，测试同时展现了AI系统在自力科学研究方面的根天性限制。。。。。 。它们在需要创立性头脑、重大推理和准确控制的使命上体现不佳 ，，，，，，，，特殊是在需要设计巧妙比照实验或处置惩罚多变量交互的情形下。。。。。 。这批注目今的AI系统更适合肩负� ？？ ？？？ ？蒲а芯恐械闹葱行允虑� ，，，，，，，，而非肩负需要深度科学洞察的创立性使命。。。。。 。
研究效果还显示 ，，，，，，，，AI系统的体现具有显著的不稳固性 ，，，，，，，，这在科学研究中是一个严重问题。。。。。 。� ？？ ？？？ ？蒲Х⒚餍枰哂锌芍馗葱院涂煽啃� ，，，，，，，，而AI系统现在的不稳固体现使其难以自力肩负主要的科学研究使命。。。。。 。这就像一个时而准确时而蜕化的丈量仪器 ，，，，，，，，虽然有时能给出准确效果 ，，，，，，，，但整体可靠性缺乏。。。。。 。
**七、对未来AI科学研究的展望**
FIRE-BENCH不但是一个评估工具 ，，，，，，，，更为AI科学研究能力的生长指明晰偏向。。。。。 。研究团队发明 ，，，，，，，，AI系统的主要弱点集中在研究妄想和结论形成两个阶段 ，，，，，，，，这恰恰是最需要科学头脑和创立性洞察的环节。。。。。 。未来的AI系统生长应该重点增强这些方面的能力。。。。。 。
在研究妄想方面 ，，，，，，，，AI系统需要更好地明确科学问题的实质 ，，，，，，，，能够设计出既严酷又巧妙的实验计划。。。。。 。这需要AI系统不但具备逻辑推理能力 ，，，，，，，，还要具备科学直觉和创立性头脑。。。。。 。在结论形成方面 ，，，，，，，，AI系统需要能够从重大的实验数据中提取出有意义的模式和纪律 ，，，，，，，，并将这些发明与更普遍的科学知识舷联系起来。。。。。 。
研究团队建议 ，，，，，，，，刷新AI科学研究能力的一个主要偏向是增强其对科学要领论的明确。。。。。 。目今的AI系统主要通过模拟人类科学家的详细操作来举行研究 ，，，，，，，，但缺乏对科学要领自己的深度明确。。。。。 。若是能让AI系统更好地掌握科学推理的基来源则 ，，，，，，，，好比怎样控制变量、怎样设计比照实验、如那里置混杂因素等 ，，，，，，，，其科学研究能力将获得显著提升。。。。。 。
另一个主要的刷新偏向是提高AI系统的稳固性和可靠性。。。。。 。这可能需要在AI系统的训练历程中加入更多的科学推理使命 ，，，，，，，，让它们在面临不确定性和重大性时能够坚持一致的高质量输出。。。。。 。
说究竟 ，，，，，，，，FIRE-BENCH展现了一个既令人鼓舞又值得深思的现实：AI系统已经起源具备了科学研究的各项基础能力 ，，，，，，，，但要真正成为自力的科学研究者尚有很长的路要走。。。。。 。目今的AI系统更像是勤勤恳恳的研究助手 ，，，，，，，，它们能够资助人类科学家处置惩罚大宗的数据剖析和实验执行事情 ，，，，，，，，但在需要创立性洞察和深度科学头脑的使命上仍然需要人类的指导。。。。。 。
这项研究提醒我们 ，，，，，，，，AI在科学研究中的角色应该是增强而非替换人类科学家。。。。。 。通过让AI肩负更多的执行性使命 ，，，，，，，，人类科学家可以将更多精神投入到创立性思索和科学洞察上 ，，，，，，，，从而实现人机协作的科学研究新模式。。。。。 。同时 ，，，，，，，，FIRE-BENCH为评估和刷新AI科学研究能力提供了一个标准化的平台 ，，，，，，，，信托随着手艺的一直生长 ，，，，，，，，AI系统的科学研究能力将会获得显著提升。。。。。 。
有兴趣深入相识这项研究的读者 ，，，，，，，，可以通过论文编号arXiv:2602.02905v1在预印本平台上查阅完整的研究内容。。。。。 。这项事情不但为AI科学研究能力评估提供了新的要领论 ，，，，，，，，也为未来AI在科学发明中施展更着述用涤讪了主要基础。。。。。 。
Q&A
Q1：什么是FIRE-BENCH测试平台？ ？？ ？？？ ？
A：FIRE-BENCH是一个专门评估AI系统科学研究能力的测试平台 ，，，，，，，，由加州大学圣地亚哥分校等多所高校团结开发。。。。。 。它通过让AI重新发明已被证实的科学结论来测试AI是否具备自力举行科学研究的能力 ，，，，，，，，就像让侦探重新视察已破解的案件但不告诉最终谜底一样。。。。。 。
Q2：目今最先进的AI科学助手体现怎样？ ？？ ？？？ ？
A：测试效果显示体现最好的Claude Code系统综合得分只有46.7分（满分100分） ，，，，，，，，其他系统得分在32-42分之间。。。。。 。更令人担心的是效果不稳固 ，，，，，，，，统一系统在相同使命上的体现差别可达40多分 ，，，，，，，，这在需要可重复性的科学研究中是严重问题。。。。。 。
Q3：AI系统在科学研究中主要保存哪些问题？ ？？ ？？？ ？
A：AI系统的主要问题集中在湖南潇湘文化传媒有限公司两个方面：研究妄想能力缺乏和结论形成能力欠缺。。。。。 。它们经常接纳过失的实验要领或无法从准确的实验数据中得出准确结论。。。。。 。简朴执行性使命体现较好 ，，，，，，，，但面临需要创立性头脑和重大控制的使命时体现急剧下降。。。。。 。