这项由大连理工大学人工智能学院和新加坡南洋理工大学S-Lab团结完成的研究揭晓于2026年2月5日 ，，，，，，，论文编号为arXiv:2602.04802v1。。。。。。。有兴趣深入相识的读者可以通过该编号盘问完整论文。。。。。。。
研究团队发明了一个令人意外的征象：那些在处置惩罚纯文本时体现优异的视觉语言模子 ，，，，，，，扑面临同样内容但以图片形式泛起的文字时 ，，，，，，，体现却大幅下降。。。。。。。这就像一个阅读能手 ，，，，，，，看印刷品毫无压力 ，，，，，，，但面临手写字迹就最先犯糊涂。。。。。。。为了系统性地研究这个问题 ，，，，，，，研究团队构建了名为VISTA-Bench的专门测试平台 ，，，，，，，评估了20多个主流视觉语言模子 ，，，，，，，效果让人惊讶：险些所有模子都保存这种"模态差别"征象。。。。。。。
这项研究的主要性不但在于发明了问题 ，，，，，，，更在于为未来人工智能的生长指明晰偏向。。。。。。。随着越来越多的信息以图片形式保存于PT视讯(中国区)官网数字生涯中 ，，，，，，，AI系统能否准确明确这些视觉化文本将直接影响它们在现实天下中的应用效果。。。。。。。
一、从一个有趣的征象提及
现代人工智能有个奇异征象：当你给AI模子输入一段纯文本问题时 ，，，，，，，它能对答如流 ，，，，，，，但若是你把完全相同的文字做成图片再问它 ，，，，，，，谜底质量就会显着下降。。。。。。。这种征象就像一个博学的教授 ，，，，，，，面临印刷教科书时思绪清晰 ，，，，，，，但看到黑板上的板书就最先迟疑。。。。。。。
研究团队将这种征象称为"模态差别"。。。。。。。模态在这里指的是信息转达的方法——文字直接输入是一种模态 ，，，，，，，图片中的文字是另一种模态。。。。。。。虽然内容完全相同 ，，，，，，，但转达方法的改变就让AI模子泛起了疑心。。。。。。。
这个发明并非无意。。。。。。。近年来 ，，，，，，，随着DeepSeek-OCR和Glyph等新手艺的泛起 ，，，，，，，"文字转像素"的处置惩罚方法正在兴起。。。。。。。这种方法将文字转换成图像处置惩罚 ，，，，，，，不但能节约盘算资源 ，，，，，，，还能建设统一的多模态处置惩罚界面。。。。。。。然而 ，，，，，，，这种转换是否真的不影响AI的明确能力？？？？ ？？？研究团队决议深入探讨这个问题。。。。。。。
他们的起源实验证实了这种担心。。。。。。。当同样的问题以纯文本和图片文字两种形式泛起给AI模子时 ，，，，，，，险些所有模子在图片文字上的体现都有显着下降。。。。。。。更令人惊讶的是 ，，，，，，，这种差别随着图片文字的视觉重漂后增添而进一步扩大——字体越小、气概越特殊 ，，，，，，，AI的体现就越差。。。。。。。
二、VISTA-Bench：专门的"考试系统"
为了系统性地研究这个问题 ，，，，，，，研究团队开发了VISTA-Bench这个专门的评测平台。。。。。。�？？？？ ？？？梢园阉胂蟪梢桓鲎派杓频�"考试系统" ，，，，，，，能够公正地较量AI模子在处置惩罚纯文本和图片文字时的体现差别。。。。。。。
这个系统包括1500个全心筛选的问题 ，，，，，，，每个问题都有两个版本：纯文本版本和图片文字版本。。。。。。。内容完全相同 ，，，，，，，只是泛起方法差别。。。。。。。就像统一道数学题 ，，，，，，，一个直接打印在纸上 ，，，，，，，另一个制作成图片显示在屏幕上。。。。。。。
VISTA-Bench的问题涵盖四个主要领域。。。。。。。首先是多模态感知使命 ，，，，，，，包括300个问题 ，，，，，，，测试AI能否准确识别和明确图片中的种种元素。。。。。。。好比让AI判断图片中人物的职业 ，，，，，，，或者识别画作的气概特征。。。。。。。这类使命既要求AI明确图片内容 ，，，，，，，又要明确图片形式的问题形貌。。。。。。。
其次是多模态推理使命 ，，，，，，，同样包括300个问题 ，，，，，，，重点考察AI的逻辑头脑能力。。。。。。。这就像让学生看着一张地图回覆地理问题 ，，，，，，，不但要看懂地图 ，，，，，，，还要举行空间推理和逻辑剖析。。。。。。。
第三类是多模态知识使命 ，，，，，，，包括400个问题 ，，，，，，，涵盖STEM、医学、人文、治理等多个学科领域。。。。。。。这类问题需要AI团结图片信息和专业知识给出谜底 ，，，，，，，就像医学院的考试 ，，，，，，，既要看懂X光片 ，，，，，，，又要运用医学理论举行诊断。。。。。。。
最后是纯文本知识使命 ，，，，，，，包括500个问题 ，，，，，，，专门测试AI在没有特殊图片信息支持时 ，，，，，，，能否准确明确图片形式的文字并运用相关知识。。。。。。。这就像把历史教科书的内容制作成图片 ，，，，，，，然后让AI回覆历史问题。。。。。。。
三、令人意外的测试效果
当研究团队使用VISTA-Bench对20多个主流视觉语言模子举行测试时 ，，，，，，，效果令人震惊。。。。。。。险些所有模子都保存显着的模态差别 ，，，，，，，只有少少数破例。。。。。。。
以一些着名模子为例 ，，，，，，，NEO-9B-SFT模子的整体体现从纯文本时的59.3%下降到图片文字时的28.5% ，，，，，，，降幅凌驾30个百分点。。。。。。。这相当于一个考试效果优异的学生 ，，，，，，，仅仅由于问题从打印版本改为手写版本 ，，，，，，，效果就从90分掉到60分。。。。。。。
更详尽的剖析显示 ，，，，，，，这种差别在差别类型使命中体现各异。。。。。。。在多模态感知使命中 ，，，，，，，模子相对体现较好 ，，，，，，，差别相对较小。。。。。。。这可能是由于图片自己提供了特另外视觉线索 ，，，，，，，资助模子明确问题。。。。。。。就像解读一幅画时 ，，，，，，，纵然文字形貌不敷清晰 ，，，，，，，画面内容自己也能提供许多信息。。。。。。。
然而 ，，，，，，，在推理和知识使命中 ，，，，，，，差别就变得很是显着。。。。。。。推理使命的特点是需要多办法的逻辑思索 ，，，，，，，而知识使命需要准确的信息提取和应用。。。。。。。当文字以图片形式泛起时 ，，，，，，，纵然是很小的明确误差也会在推理历程中被放大 ，，，，，，，最终导致过失结论。。。。。。。
最令人担心的是纯文本知识使命的效果。。。。。。。在这类使命中 ，，，，，，，模子完全依赖对图片文字的明确 ，，，，，，，没有特另外视觉信息可以参考。。。。。。。效果显示 ，，，，，，，大大都模子的体现都泛起了严重下降 ，，，，，，，有些模子的降幅甚至凌驾40个百分点。。。。。。。
不过 ，，，，，，，也有一些令人鼓舞的破例。。。。。。。MiMo-VL-7B-RL模子展现出了remarkable的稳固性 ，，，，，，，在图片文字上的体现甚至略好于纯文本。。。。。。。这批注 ，，，，，，，通过适当的手艺优化 ，，，，，，，确实可以让AI模子在差别模态间坚持一致的体现水平。。。。。。。
四、深入挖掘：问题究竟出在那里？？？？ ？？？
为了找出造成模态差别的基础缘故原由 ，，，，，，，研究团队举行了深入的剖析。。。。。。。他们发明 ，，，，，，，问题主要集中在两个方面：感知鲁棒性缺乏和渲染敏感性过高。。。。。。。
感知鲁棒性缺乏是指AI模子对图片文字的识别能力保存局限。。。。。。。当研究团队剖析那些在纯文本版本中答对、但在图片版本中答错的案例时 ，，，，，，，发明大大都过失都与文字识别有关。。。。。。。这就像一个学生着实知道谜底 ，，，，，，，但由于看不清问题而答错了。。。。。。。
更详细地说 ，，，，，，，AI模子在面临视觉质量较低的文字时体现尤其糟糕。。。。。。。当字体过小、气概特殊或图片质量不佳时 ，，，，，，，模子的体现会急剧下降。。。。。。。研究团队测试了差别字体巨细的影响 ，，，，，，，发明9磅的小字体会显著增添模态差别 ，，，，，，，而32-48磅的大字体则能显着改善体现。。。。。。。
字体气概也有类似影响。。。。。。。标准字体如Arial、Times New Roman等 ，，，，，，，模子处置惩罚起来相对容易 ，，，，，，，差别较小。。。。。。。但面临手写体气概的Brush Script MT字体时 ，，，，，，，所有模子的体现都大幅下降。。。。。。。这种征象就像人类阅读一样——印刷体容易识别 ，，，，，，，草书就较量难题。。。。。。。
研究团队还发明了一个有趣征象：多模态使命中的视觉信息能够在一定水平上填补文字识别的缺乏。。。。。。。当问题配有相关图片时 ，，，，，，，纵然问题文字识别不完善 ，，，，，，，模子也能通过图片内容推测出部分信息 ，，，，，，，从而减小体现差别。。。。。。。这就像考试时 ，，，，，，，纵然问题文字有些模糊 ，，，，，，，但若是配有相关图表 ，，，，，，，学生仍然能够明确题意。。。。。。。
五、手艺细节：怎样制作"公正"的测试
VISTA-Bench的构建历程体现了研究的严谨性。。。。。。。研究团队接纳了三步流程确保测试的公正性和准确性。。。。。。。
第一步是数据构建。。。。。。。研究团队从现有的权威测试基准中全心挑选问题 ，，，，，，，确保涵盖差别难度和领域。。。。。。。这个历程就像组卷考试 ，，，，，，，需要包管问题的代表性和难度漫衍的合理性。。。。。。。所有选中的问题都经由了人工审核 ，，，，，，，确保谜底的准确性。。。。。。。
第二步是渲染流程。。。。。。。这是整个系统的手艺焦点 ，，，，，，，需要将纯文本问题转换成视觉上等价的图片。。。。。。。这个历程远比简朴的截图重大。。。。。。。研究团队开发了基于LaTeX的专业渲染系统 ，，，，，，，能够准确处置惩罚数学公式、代码片断和特殊符号。。。。。。。就像专业的排版软件一样 ，，，，，，，这个系统能够包管文字的视觉质量和语义完整性。。。。。。。
渲染历程中 ，，，，，，，研究团队特殊注重坚持视觉协调性。。。。。。。他们统一将图片宽度设定为800像素 ，，，，，，，高度则凭证内容自顺应调解。。。。。。。字体巨细从9磅到48磅不等 ，，，，，，，字体类型包括Arial、Times New Roman、Cambria和手写体Brush Script MT ，，，，，，，确保了测试场景的多样性。。。。。。。
第三步是质量验证。。。。。。。研究团队使用AI模子作为"质检员" ，，，，，，，对每个渲染效果举行三个维度的评估：文字保真度、代码完整性和公式准确性。。。。。。。只有在所有维度都抵达"完善"评级的问题才会被纳入最终测试集。。。。。。。这种严酷的质量控制确保了测试的可靠性。。。。。。。
六、意外发明：AI模子的"个性差别"
在测试历程中 ，，，，，，，研究团队发明差别AI模子体现出了显着的"个性差别"。。。。。。。这些差别不但体现在整体体现上 ，，，，，，，更体现在对差别类型视觉挑战的敏感水平上。。。。。。。
一些模子对字体巨细特殊敏感。。。。。。。当字体从16磅缩小到9磅时 ，，，，，，，这些模子的体现会急剧下降 ，，，，，，，就像近视的人突然摘掉眼镜一样。。。。。。。而另一些模子则对字体气概越发敏感 ，，，，，，，面临手写体时体现显着变差 ，，，，，，，但对小字体的容忍度相对较高。。。。。。。
更有趣的是 ，，，，，，，研究团队发明模子的OCR（光学字符识别）能力与模态差别之间保存显着相关性。。。。。。。那些在专门的OCR测试中体现精彩的模子 ，，，，，，，在VISTA-Bench中的模态差别也相对较小。。。。。。。这就像阅读能力强的人 ，，，，，，，无论面临什么样的文本都能坚持相对稳固的明确水平。。。。。。。
例如 ，，，，，，，Qwen3-VL-8B-Instruct模子在DocVQA测试中得分96.1 ，，，，，，，在OCRBench中得分896 ，，，，，，，这两个都是OCR能力的专业测试。。。。。。。响应地 ，，，，，，，它在VISTA-Bench中的模态差别只有5.8个百分点。。。。。。。而InternVL-3.5-8B模子的OCR测试效果划分是92.3和832 ，，，，，，，模态差别则抵达8.9个百分点。。。。。。。
这种关联性批注 ，，，，，，，提升AI模子的基础文字识别能力可能是缩小模态差别的要害途径。。。。。。。就像提高一个学生的阅读基本功 ，，，，，，，能够资助他在种种考试形式中都坚持稳固施展。。。。。。。
七、适用建议：怎样"驯服"视觉文字
基于研究发明 ，，，，，，，团队提出了一些适用的优化建议。。。。。。。这些建议不但对AI开发者有价值 ，，，，，，，对通俗用户也具有指导意义。。。。。。。
首先是优化文字泛起质量。。。。。。。研究显示 ，，，，，，，清晰、标准的文字泛起能显著镌汰模态差别。。。。。。。详细来说 ，，，，，，，使用32-48磅的字体巨细、选择标准字体如Arial或Times New Roman、包管足够的图片区分率 ，，，，，，，都能资助AI更准确地明确文字内容。。。。。。。这就像给近视的朋侪准备阅读质料时 ，，，，，，，选择大号清晰的字体一样。。。。。。。
其次是合理设计提醒语句。。。。。。。研究发明 ，，，，，，，适度详细的指导语句能资助AI更好地处置惩罚图片文字 ，，，，，，，但过于重大的提醒反而可能爆发滋扰。。。。。。。最有用的方法是使用中等长度、语义清晰的指导语 ，，，，，，，明确告诉AI需要关注图片中的文字内容。。。。。。。
第三是充分使用多模态信息。。。。。。。当图片文字配有相关图像时 ，，，，，，，AI的体现会显着改善。。。。。。。这是由于图像提供了特另外上下文信息 ，，，，，，，资助AI明确和验证文字内容。。。。。。。在现实应用中 ，，，，，，，只管保存相关的视觉信息 ，，，，，，，而不是将所有内容都转换为纯文字形式。。。。。。。
最后是选择合适的AI模子。。。。。。。差别模子在处置惩罚图片文字方面的能力差别很大。。。。。。。关于需要大宗处置惩罚图片文字的应用场景 ，，，，，，，选择那些在OCR能力和VISTA-Bench测试中体现优异的模子会获得更好的效果。。。。。。。
八、展望未来：统一的多模态明确
这项研究不但发明了问题 ，，，，，，，更为未来的AI生长指明晰偏向。。。。。。。随着信息以越来越多样的形式保存于数字天下中 ，，，，，，，AI系统需要具备真正统一的多模态明确能力。。。。。。。
研究团队以为 ，，，，，，，理想的AI系统应该能够无缝处置惩罚种种形式的信息 ，，，，，，，无论是纯文本、图片文字、语音照旧视频内容。。。。。。。这种能力的实现需要从基础上刷新AI的信息处置惩罚机制 ，，，，，，，而不但仅是简朴地将差别模态的信息拼接在一起。。。。。。。
手艺层面上 ，，，，，，，这要求AI模子具备更强的感知鲁棒性和跨模态对齐能力。。。。。。。感知鲁棒性意味着AI能够准确识别种种质量和气概的文字 ，，，，，，，就像人类能够阅读差别字体和誊写气概的文本一样。。。。。。�？？？？ ？？？缒Ｌ云肽芰υ蛞驛I能够明确差别形式的信息现实上转达着相同的语义内容。。。。。。。
从应用角度看 ，，，，，，，这项研究的影响将是深远的。。。。。。。在教育领域 ，，，，，，，AI tutoring系统需要能够明确课本图片中的文字内容。。。。。。。在医疗领域 ，，，，，，，AI诊断系统需要准确解读医学影像中的标注信息。。。。。。。在执法领域 ，，，，，，，AI需要处置惩罚种种形式的执法文件。。。。。。。所有这些应用都要求AI具备优异的视觉文字明确能力。。。。。。。
研究团队特殊指出 ，，，，，，，随着"文字转像素"手艺的生长 ，，，，，，，这个问题变得愈发主要。。。。。。。当越来越多的文本信息被转换为图像名堂以提高处置惩罚效率时 ，，，，，，，确保AI在这种转换历程中不丧失明确能力就成为了要害挑战。。。。。。。
有趣的是 ，，，，，，，研究还涉及了天生式AI模子的评估。。。。。。。团队测试了Qwen-Image-Edit这样的天生模子 ，，，，，，，发明它们在处置惩罚图片文字使命时面临着差别的挑战。。。。。。。这些模子不但要明确输入的图片文字 ，，，，，，，还要天生包括准确信息的输出图像。。。。。。。这为未来的多模态天外行艺提出了新的手艺要求。。。。。。。
说究竟 ，，，，，，，VISTA-Bench的意义不但在于发明了目今AI系统的局限性 ，，，，，，，更在于为整个领域提供了一个systematic的评估框架。。。。。。。这个框架让研究者和开发者能够量化地评估差别手艺计划的效果 ，，，，，，，从而推动整个领域向着越发robust和unified的偏向生长。。。。。。。
归根结底 ，，，，，，，这项研究提醒我们 ，，，，，，，AI系统的智能不但体现在能做什么 ，，，，，，，更体现在能否在种种条件下坚持consistent的体现。。。。。。。当我们设计AI系统时 ，，，，，，，需要思量信息可能以种种形式泛起 ，，，，，，，而不可假设所有输入都是ideal的条件。。。。。。。只有这样 ，，，，，，，AI才华真正在重大多变的现实天下中施展作用。。。。。。。
这项研究为AI领域翻开了一扇新的窗口 ，，，，，，，让我们重新审阅多模态明确的实质。。。。。。。未来的AI系统需要像人类一样 ，，，，，，，无论信息以何种形式泛起 ，，，，，，，都能坚持稳固而准确的明确能力。。。。。。。这不但是手艺挑战 ，，，，，，，更是通向真正智能系统的必经之路。。。。。。。
Q&A
Q1：什么是VISTA-Bench评测平台？？？？ ？？？
A：VISTA-Bench是大连理工大学开发的专门测试平台 ，，，，，，，包括1500个全心设计的问题 ，，，，，，，每个问题都有纯文本和图片文字两个版本 ，，，，，，，用来评估AI模子处置惩罚这两种差别形式文字时的体现差别。。。。。。。就像一个专门的考试系统 ，，，，，，，能公正较量AI在差别条件下的能力。。。。。。。
Q2：为什么AI模子看图片文字比看纯文字体现更差？？？？ ？？？
A：主要缘故原由是AI的感知鲁棒性缺乏。。。。。。。当文字以图片形式泛起时 ，，，，，，，字体巨细、气概、图片质量等因素都会影响AI的识别准确度。。。。。。。就像人类看清晰印刷体比看模糊手写字更容易一样 ，，，，，，，AI面临视觉质量较低的图片文字时容易蜕化 ，，，，，，，而这些过失会在后续推理中被放大。。。。。。。
Q3：怎样让AI更好地处置惩罚图片中的文字？？？？ ？？？
A：可以从几个方面优化：使用远洋国际商业有限公司32-48磅的大字体、选择Arial等标准字体、包管图片清晰度、配上相关图像提供上下文信息 ，，，，，，，以及选择OCR能力强的AI模子。。。。。。。这些步伐就像给近视朋侪准备大号清晰字体的阅读质料一样 ，，，，，，，能资助AI更准确明确内容。。。。。。。