在这个信息爆炸的时代，，，，，企业天天都面临着一个令人头疼的问题：怎样从群集如山的文档中快速准确地提取所需信息？？？？？？？？无论是财务报表、条约文件，，，，，照旧种种表格和图表，，，，，人工处置惩罚这些文档不但费时艰辛，，，，，还容易蜕化。。 。。。。。正是为相识决这一普遍保存的痛点，，，，，来自J.P. Morgan AI Research的研究团队开发了一项立异性的解决计划。。 。。。。。
这项研究效果被命名为EXSTRUCTINY，，，，，于2026年揭晓在盘算机科学顶级期刊上。。 。。。。。研究团队包括Mathieu Sibue、Andres Munoz Garza、Samuel Mensah、Pranav Shetty、Zhiqiang Ma、Xiaomo Liu和Manuela Veloso等多位专家。。 。。。。。有兴趣深入相识的读者可以通过arXiv:2602.12203v1这个编号盘问完整论文。。 。。。。。
这项研究的意义远超学术领域。。 。。。。。在当今商业情形中，，，，，企业天天处置惩罚的文档数目呈指数级增添，，，，，从包管理赔单到银行贷款申请，，，，，从医疗纪录到执法条约，，，，，准确提取要害信息已成为企业运营效率的主要决议因素。。 。。。。。古板的人工处置惩罚方法不但本钱高昂，，，，，并且容易因疲劳和注重力不集中导致过失，，，，，这些过失可能带来严重的商业效果。。 。。。。。
研究团队发明，，，，，现有的AI系统虽然在某些特定使命上体现不错，，，，，但在面临真实商业情形中重大多变的文档时却显得力有未逮。。 。。。。。这些系统往往只能处置惩罚牢靠名堂的文档，，，，，或者只能回覆很是简朴的问题，，，，，无法应对企业现实需求中那些重大、无邪的信息提取使命。。 。。。。。
为了彻底解决这个问题，，，，，研究团队建设了一个全新的测试基准，，，，，就像为AI系统设计了一个更贴近现实的考试。。 。。。。。这个考试不但考察AI能否找到信息，，，，，更主要的是考察它能否凭证人类的需求，，，，，将信息整理成结构化、易于使用的名堂。。 。。。。。
一、重新界说文档信息提取的标准
想象你正在整理家庭主要文件，，，，，需要从种种票据中提守信息制作一份清单。。 。。。。。有时间你知道详细要找什么，，，，，好比"电费单金额"；；；；；；；有时间你只有模糊的需求，，，，，好比"所有与包管相关的信息"。。 。。。。。EXSTRUCTINY正是基于这样的现实需求场景设计的。。 。。。。。
古板的AI测试系统就像只会按牢靠菜单点菜的效劳员，，，，，只能处置惩罚标准化的请求。。 。。。。。而EXSTRUCTINY则像一位履历富厚的助手，，，，，能够明确种种表达方法的需求，，，，，并且知道怎样将找到的信息凭证你的要求整理好。。 。。。。。
这个系统最大的立异在于它能够处置惩罚三种差别类型的信息提取请求。。 。。。。。第一种是明确指定需求的情形，，，，，就像你明确告诉助手"我需要找到所有署名人的姓名和职位"。。 。。。。。第二种是提供结构模板的情形，，，，，相当于你给助手一张表格说"请凭证这个名堂填写信息"。。 。。。。。第三种是开放式需求，，，，，好比你只说"帮我整理所有关于署名人的信息"，，，，，而详细需要什么信息由助手凭证文档内容来判断。。 。。。。。
研究团队特殊注重让这个系统能够处置惩罚现实天下中的重大情形。。 。。。。。在现实事情中，，，，，我们经常遇到信息不完整的文档，，，，，有些表格可能有空缺栏目，，，，，有些问题可能在文档中找不到谜底。。 。。。。。EXSTRUCTINY被训练来优雅地处置惩罚这些情形，，，，，就像一位仔细的助手会明确告诉你"这份文档中没有提供这个信息"，，，，，而不是胡乱推测。。 。。。。。
为了确保测试的周全性，，，，，研究团队网络了110份多页文档，，，，，涵盖了表格、财务报告、演示文稿和网页截图等多种名堂。。 。。。。。这些文档就像一个小型的现实商业情形，，，，，包括了企业日�？？？？？？？？赡苡龅降闹种中畔⑻崛√粽�。。 。。。。。
二、突破古板的数据天生要领
建设这样一个综合性的测试基准面临着重大的挑战，，，，，由于需要大宗高质量、多样化的测试案例。。 。。。。。若是完全依赖人工建设，，，，，不但本钱高昂，，，，，并且很难确保足够的多样性。。 。。。。。研究团队接纳了一个巧妙的解决计划：将人工全心制作的高质量样本与AI辅助天生的大宗样内情团结。。 。。。。。
这个历程就像培训一位新员工。。 。。。。。首先，，，，，履历富厚的专家手工制作了一指挥范性的案例，，，，，这些案例展示了种种可能的情形和准确的处置惩罚方法。。 。。。。。然后，，，，，研究团队使用这些树模案例来训练一个AI助手（Gemini-2.5-Flash-Thinking），，，，，让它学会怎样天生类似质量的新案例。。 。。。。。
但这还不敷。。 。。。。。研究团队深知，，，，，AI天生的内容虽然数目大，，，，，但质量可能狼籍不齐。。 。。。。。因此，，，，，他们建设了一个严酷的质量控制流程。。 。。。。。每一个AI天生的案例都要经由人类专家的仔细审核和修正。。 。。。。。专家们会检盘问题是否合理、谜底是否准确、名堂是否准确，，，，，并凭证需要举行调解。。 。。。。。
这个质量控制历程异常详尽。。 。。。。。研究团队发明，，，，，平均每个AI天生的案例需要举行25.5处修改才华抵达标准。。 。。。。。这些修改包括澄清问题表述、确保提取的文本与原文档完全一致、修正页面引用、调解界线框坐标，，，，，以及确保输特殊式的一致性。。 。。。。。
为了增添测试的现实性和挑战性，，，，，研究团队还特意设计了几种特殊情形。。 。。。。。他们让AI重新表述实体名称，，，，，镌汰与文档原文的词汇重叠，，，，，这样可以测试系统是否真正明确语义，，，，，而不是简朴地举行文本匹配。。 。。。。。他们还加入了一些文档中不保存信息的问题，，，，，模拟现实中信息不完整的情形。。 。。。。。
最终，，，，，这个数据天生和验证历程爆发了304个高质量的问答对，，，，，笼罩了110份文档。。 。。。。。这些案例在包管质量的同时，，，，，也确保了足够的多样性和挑战性，，，，，为AI系统提供了一个真正周全的测试情形。。 。。。。。
三、建设全新的评估标准
评估AI系统在文档信息提取方面的体现，，，，，远比评估其他AI使命要重大得多。。 。。。。。古板的评估要领往往过于简朴，，，，，只关注谜底是否准确，，，，，而忽视了却构化输出的质量和适用性。。 。。。。。研究团队意识到，，，，，需要建设一套全新的评估标准，，，，，才华真正权衡AI系统在现实应用中的体现。。 。。。。。
这个挑战可以用餐厅效劳来类比。。 。。。。。古板评估就像只检查效劳员是否端对了菜品，，，，，而忽视了摆盘、温度、上菜顺序等影响用餐体验的主要因素。。 。。。。。EXSTRUCTINY的评估系统则像一位专业的餐厅评估师，，，，，会从多个维度综合考量效劳质量。。 。。。。。
评估系统关注四个要害维度。。 。。。。。首先是文本提取的准确性，，，，，这相当于检查信息是否找对了。。 。。。。。其次是页面定位的准确性，，，，，即检查AI是否知道信息泉源于文档的哪一页。。 。。。。。第三是界线框展望，，，，，这涉及AI能否准确标出信息在页面上的详细位置。。 。。。。。最后是结构展望，，，，，即检查AI天生的输特殊式是否切合要求。。 。。。。。
最具挑战性的问题在于，，，，，差别的AI系统可能用完全差别的方法组织相同的信息。。 。。。。。就像两小我私家可能用差别的方法整理统一堆文件，，，，，但只要信息完整准确，，，，，两种整理方法都应该被以为是准确的。。 。。。。。为相识决这个问题，，，，，研究团队开发了一套智能的语义映射系统。。 。。。。。
这套映射系统使用另一个AI模子作为"翻译官"，，，，，认真明确差别AI系统输特殊式之间的对应关系。。 。。。。。它能够识别出"客户姓名"和"主顾名字"现实上指的是统一个看法，，，，，能够处置惩罚信息粒度的差别，，，，，好比一个系统输出"John Doe"而另一个系统划分输出"John"和"Doe"的情形。。 。。。。。
为了确保这套评估标准的可靠性，，，，，研究团队举行了大宗的测试和验证事情。。 。。。。。他们较量了差别文本模子在映射使命上的体现，，，，，最终选择了体现最佳的gpt-oss-20b模子作为标准映射器。。 。。。。。测试效果显示，，，，，这个映射器在处置惩罚种种重大情形时都能抵达96%以上的准确率，，，，，为可靠的评估提供了基础。。 。。。。。
这套综合性的评估标准不但能够客观地权衡AI系统的体现，，，，，更主要的是，，，，，它反应了现实应用场景中的真实需求。。 。。。。。企业在使用这些AI系统时，，，，，体贴的不但仅是信息是否准确，，，，，更体贴信息是否以有用的名堂提供，，，，，是否能够支持后续的营业流程。。 。。。。。
四、周全测试目今最先进的AI系统
为了验证EXSTRUCTINY测试基准的有用性，，，，，研究团队对市场上最先进的视觉语言模子举行了周全测试。。 。。。。。这些模子既包括果真可用的开源模子，，，，，也包括来自尊型科技公司的闭源商业模子。。 。。。。。测试效果展现了目今AI手艺在文档信息提取方面的真实水平和主要挑战。。 。。。。。
测试就像一次大型的能力验证考试，，，，，加入者包括了AI界的"明星学生"。。 。。。。�？？？？？？？？茨Ｗ诱笥瞬畋鸸婺５腝wen2.5-VL系列（从3B到72B参数）、Gemma-3系列、Pixtral-12B、Kimi-VL-A3B-16B等。。 。。。。。商业模子则包括了Google的Gemini-2.5-Flash和Gemini-2.5-Pro等顶级产品。。 。。。。。
测试效果显示了一个清晰的性能梯度。。 。。。。。商业闭源模子在整体体现上显着优于开源模子，，，，，最好的商业模子（Gemini-2.5-Pro）抵达了79.5%的综合得分，，，，，而体现最佳的开源模子（Qwen2.5-VL-72B-FP8）为61.4%，，，，，两者之间保存显着的性能差别。。 。。。。。
模子规模对性能的影响很是显著。。 。。。。。在统一模子系列中，，，，，参数目更大的版本险些总是体现更好。。 。。。。。以Qwen2.5-VL系列为例，，，，，从3B参数版本的38.5%得分提升到72B参数版本的61.4%得分，，，，，性能提升幅度抵达了60%。。 。。。。。这种趋势在所有测试的模子系列中都获得了验证，，，，，批注在文档信息提取这类重大使命中，，，，，模子规模仍然是性能的主要决议因素。。 。。。。。
差别类型的盘问体现出了差别的难度特征。。 。。。。。简朴的文本盘问（直接询问特定信息）通常体现最好，，，，，由于这类盘问明确指定了需要查找的内容。。 。。。。。而基于模式的盘问（提供结构化模板让AI填充）体现稍差，，，，，主要是由于这类盘问通常要求提取更多的信息实体。。 。。。。。最具挑战性的是开放式盘问，，，，，这类盘问只提供模糊的指导，，，，，需要AI自主决议提取哪些信息以及怎样组织这些信息。。 。。。。。
一个特殊有趣的发明是，，，，，当需要提取的信息数目增添时，，，，，开源模子的性能下降更为显着。。 。。。。。当盘问要求提取50个以上的信息项时，，，，，开源模子的体现急剧下降，，，，，而商业模子能够坚持相对稳固的性能。。 。。。。。这批注商业模子在处置惩罚重大、大规模信息提取使命时具有更强的鲁棒性。。 。。。。。
手工标注数据与AI天生数据的测试效果也展现了有趣的比照。。 。。。。。所有模子在手工标注的测试案例上体现都比在AI天生案例上稍差，，，，，平均差别约为13.6%。。 。。。。。这个效果验证了手工标注案例的高质量和挑战性，，，，，同时也批注AI天生的测试案例经由人工验证后能够很好地模拟真实场景。。 。。。。。
五、展现AI系统的要害弱点
通过深入剖析测试效果，，，，，研究团队发明了目今AI系统在文档信息提取方面保存的几个要害弱点。。 。。。。。这些发明不但展现了手艺生长的瓶颈，，，，，也为未来的刷新偏向提供了主要指导。。 。。。。。
位置定位能力是所有测试模子的一个显著弱点。。 。。。。。纵然是体现最好的商业模子，，，，，在准确标出信息在文档中的详细位置方面也只能抵达84.3%的准确率，，，，，而在展望信息所在页面方面的体现更是差强人意。。 。。。。。更令人担心的是，，，，，纵然AI系统准确提取了文本信息，，，，，也不可包管它能准确指出信息的泉源位置。。 。。。。。这个问题在现实应用中可能带来严重效果，，，，，由于用户往往需要验证AI提取的信息，，，，，而无法准确定位信息泉源会大大降低系统的可信度。。 。。。。。
模子在差别文档内容类型上的体现差别也很显着。。 。。。。。险些所有模子在处置惩罚图表和自由文本时体现最差。。 。。。。。图表处置惩罚的难题是可以明确的，，，，，由于图表包括大宗视觉元素，，，，，如颜色、形状、位置关系等，，，，，这些元素对信息明确至关主要，，，，，但对目今的AI系统来说仍然是挑战。。 。。。。。自由文本的处置惩罚难题则可能源于信息密度较低，，，，，在大宗无关文本中找到相关信息需要更强的语义明确能力。。 。。。。。
词汇重叠问题反应了AI系统对语义明确的局限性。。 。。。。。当盘问中使用的词汇与文档中的原始文本高度重叠时，，，，，AI系统体现较好；；；；；；；但当研究团队居心镌汰词汇重叠，，，，，使用同义词或差别表达方法时，，，，，系统性能显著下降。。 。。。。。这批注许多AI系统仍然在很洪流平上依赖外貌的文本匹配，，，，，而不是真正的语义明确。。 。。。。。
处置惩罚不完整信息的能力是另一个主要弱点。。 。。。。。在现实应用中，，，，，文档经常包括空缺字段或缺失约息，，，，，AI系统需要能够准确识别并报告这些情形。。 。。。。。然而，，，，，测试效果显示，，，，，大大都系统在处置惩罚部分无法回覆的盘问时体现不佳，，，，，往往倾向于强行提供谜底而不是认可信息缺失。。 。。。。。
结构化输出的质量也保存显着的模子间差别。。 。。。。。较小的模子经常爆发名堂过失的输出，，，，，甚至无法天生有用的结构化数据。。 。。。。。只有参数目凌驾12B的模子才华稳固地爆发切及名堂要求的输出。。 。。。。。纵然是大型模子，，，，，在坚持输出结构与盘问要求一致方面也保存挑战，，，，，特殊是在处置惩罚重大的嵌套结构时。。 。。。。。
这些发明配合指向了一个主要结论：虽然目今的AI系统在文档信息提取方面已经取得了可观的希望，，，，，但距离真正可靠的商业应用仍有相当距离。。 。。。。。特殊是在需要高度准确性和可追溯性的应用场景中，，，，，这些局限性可能成为接纳AI手艺的主要障碍。。 。。。。。
六、为未来AI生长指明偏向
EXSTRUCTINY不但是一个测试基准，，，，，更是推动整个领域向宿世长的催化剂。。 。。。。。通过周全展现目今AI系统的能力界线和要害弱点，，，，，这项研究为未来的手艺生长指明晰详细的刷新偏向。。 。。。。。
首先，，，，，提升语义明确能力应当成为优先生长偏向。。 。。。。。目今AI系统太过依赖词汇匹配的问题批注，，，，，我们需要开发能够真正明确看法和关系的模子，，，，，而不是仅仅举行文本模式识别。。 。。。。。这要求在模子训练中加入更多的语义明确使命，，，，，并可能需要团结知识图谱等外部知识源来增强模子的看法明确能力。。 。。。。。
位置定位手艺的刷新也至关主要。。 。。。。。研究效果显示，，，，，纵然是最先进的商业模子在准确定位信息泉源方面也保存显着缺乏。。 。。。。。未来的系统需要更好地整合视觉明确和文本明确，，，，，开发专门的空间推理能力，，，，，能够准确地将提取的信息与其在文档中的详细位置关联起来。。 。。。。。
处置惩罚重大盘问和大规模信息提取的能力需要获得显著提升。。 。。。。。目今开源模子在面临需要提取大宗信息的盘问时性能急剧下降，，，，，这批注需要开发更有用的注重力机制和信息整合战略。。 。。。。�？？？？？？？？赡艿慕饩黾苹ǚ植愦χ贸头＜芄梗紫仁侗鹣喙厍颍缓笤谡庑┣蚰诰傩邢改逄崛�。。 。。。。。
鲁棒性和一致性也是未来生长的主要偏向。。 。。。。。理想的商业AI系统应该能够在种种文档类型、盘问气概和信息重漂后下坚持稳固的性能。。 。。。。。这要求在训练数据的多样性、模子架构的顺应性，，，，，以及推理历程的稳固性等多个方面举行刷新。。 。。。。。
交互式信息提取可能代表了未来生长的一个主要趋势。。 。。。。。与其要求AI系统一次性完善地处置惩罚重大盘问，，，，，不如开发能够与用户举行多轮交互的系统，，，，，通过对话来澄清需求、确认效果、处置惩罚界线情形。。 。。。。。这种方法可能更切合现实事情流程的需要。。 。。。。。
领域顺应性的刷新也不可忽视。。 。。。。。差别行业的文档具有奇异的名堂、术语和信息组织方法，，，，，通用模子可能难以处置惩罚这些特殊性。。 。。。。。未来需要开发更好的领域顺应手艺，，，，，能够快速调解模子以顺应特定行业或组织的需求。。 。。。。。
数据质量和标注要领的刷新同样主要。。 。。。。。EXSTRUCTINY的建设历程批注，，，，，高质量的训练和测试数据对模子性能至关主要。。 。。。。。未来需要开发更高效的数据天生和质量控制要领，，，，，可能包括更智能的AI辅助标注工具和更完善的质量评估系统。。 。。。。。
这项研究还体现了评估要领自己需要一直演进。。 。。。。。随着AI系统能力的提升，，，，，我们需要更详尽、更周全的评估标准来准确权衡系统性能。。 。。。。。未来的评估可能需要思量更多维度，，，，，如处置惩罚时间、盘算资源消耗、可诠释性等现实应用中体贴的因素。。 。。。。。
说究竟，，，，，EXSTRUCTINY代表的不但仅是手艺前进的一个里程碑，，，，，更是整小我私家工智能应用从实验室走向现实商业情形历程中必经的主要一步。。 。。。。。它告诉我们，，，，，真正有用的AI系统不但需要在标准测试中体现精彩，，，，，更需要在重大、多变的现真相形中坚持可靠和适用。。 。。。。。
这项研究的影响将远远逾越学术界。。 。。。。。关于企业决议者来说，，，，，它提供了评估AI解决计划的科学标准；；；；；；；关于手艺开发者来说，，，，，它明确了刷新的偏向和优先级；；；；；；；关于通俗用户来说，，，，，它预示着更智能、更可靠的文档处置惩罚工具即将到来。。 。。。。。随着这些手艺的一直刷新，，，，，我们可以期待一个文档处置惩罚越发自动化、智能化的未来，，，，，在这个未来里，，，，，人们将能够将更多时间和精神投入到创立性事情中，，，，，而不是重复性的信息提取使命。。 。。。。。
Q&A
Q1：EXSTRUCTINY是什么？？？？？？？？
A：EXSTRUCTINY是由J.P. Morgan AI Research团队开发的文档信息提取测试基准，，，，，专门用于评估AI系统从种种文档图像中提取和组织信息的能力。。 。。。。。它包括304个盘问-谜底对，，，，，笼罩110份多页文档，，，，，支持三种差别类型的信息提取盘问。。 。。。。。
Q2：EXSTRUCTINY与古板的AI测试有什么差别？？？？？？？？
A：古板测试通常只处置惩罚牢靠名堂文档或简朴问题，，，，，而EXSTRUCTINY能处置惩罚重大的结构化提取使命，，，，，包括多实体盘问、跨页面信息和无法回覆的情形。。 。。。。。它更贴近现实商业情形的需求，，，，，要求AI不但要找到信息，，，，，还要凭证用户要求的名堂举行整理。。 。。。。。
Q3：现在AI系统在文档信息提取方面体现怎样？？？？？？？？
A：测试效果显示商业闭源模子安徽科盛智能装备有限公司体现最好，，，，，最高抵达79.5%的得分，，，，，而开源模子最好为61.4%。。 。。。。。所有系统都在位置定位、处置惩罚图表内容和大规模信息提取方面保存显着弱点，，，，，特殊是当需要提取50个以上信息项时，，，，，开源模子性能会急剧下降。。 。。。。。