AI看图一本正经乱说八道？？？？？「一拉一推」让模子看得全又准

您目今位置:首页 > 新闻中心 > 新要闻

新闻中心

NEWS CENTER

2026-02-26 11:15:18

BiPS团队投稿量子位 |重庆嘉陵江装备科技有限公司公众号 QbitAI

随着视觉-语言模子（VLM）推理能力一直增强，，，，，，，，一个隐藏的问题逐渐浮现：

许多过失不是推理没做好，，，，，，，，而是“看错了”。。。。。。。。

在重大视觉使命中，，，，，，，，模子往往能准确识别工具、明确问题，，，，，，，，甚至给出完整的推理链，，，，，，，，却因捕获了过失的视觉证据，，，，，，，，得出自信却过失的谜底。。。。。。。。

现有要领通常在推理阶段“指路”——例如天生视觉提醒或挪用外部工具，，，，，，，，以暂时对齐证据。。。。。。。。这类战略虽有用，，，，，，，，却面临显着局限：视觉线索形式受限、高度依赖详细使命，，，，，，，，且推理开销大。。。。。。。。更主要的是，，，，，，，，它引出一个根天性问题：

若是模子始终需要外部提醒才知道“看哪儿”，，，，，，，，它是否真的明确了视觉天下？？？？？

为此，，，，，，，，微软亚洲研究院与清华大学提出BiPS（Bi-directional Perceptual Shaping），，，，，，，，从源头重塑模子的“看图方法”。。。。。。。。

BiPS不在推理时暂时提醒关注区域，，，，，，，，而是在训练阶段就教会模子：面临特定问题，，，，，，，，哪些视觉细节必需关注，，，，，，，，哪些可以忽略。。。。。。。。通过系统性地对齐问题与视觉证据，，，，，，，，BiPS促使模子内化一种焦点能力——带着问题去看图。。。。。。。。因此，，，，，，，，在推理时无需任何特殊提醒，，，，，，，，模子也能自动聚焦于真正决议谜底的要害区域与细节。。。。。。。。

实验批注，，，，，，，，这种“看哪儿”的能力具有跨使命迁徙性，，，，，，，，为构建更可靠、通用的视觉明确系统开发了新路径。。。。。。。。

视线错位：VLM的“看”与“想”为何脱节？？？？？

我们常被视觉-语言模子（VLM）行云流水的回覆疑惑，，，，，，，，以为它真的“看懂”了图片。。。。。。。。但事实可能是：它识别出了图中物体，，，，，，，，却抓错了要害信息。。。。。。。。

人类的视觉是目的驱动的：问趋势就追曲线，，，，，，，，问数值就盯刻度，，，，，，，，问关系就比位置。。。。。。。。但目今VLM的“看”仍停留在打标签阶段，，，，，，，，缺乏对要害证据的精准定位能力。。。。。。。。它知道图里有什么，，，，，，，，却不知道该看那里

为解决这一“视线错位”，，，，，，，，学界常接纳视觉证据指导——通过框选、掩码或线索提醒，，，，，，，，为模子的“视线”装上“准星”。。。。。。。。然而，，，，，，，，这种指导式感知保存三重局限：

其一，，，，，，，，天下不是矩形的。。。。。。。。图表中的折线拐点、几何题中的交叠多边形、医学影像中的弥散病灶……这些要害线索往往是不规则且弥散的，，，，，，，，难以被标准框或掩码完整笼罩。。。。。。。。裁大引入噪声，，，，，，，，裁小丧失细节，，，，，，，，模子“看”到了区域，，，，，，，，却依然看错了证据。。。。。。。。

其二，，，，，，，，聚焦能力无法迁徙。。。。。。。。当条件示要领多为特定使命定制，，，，，，，，依赖特定命据漫衍或标注规则。。。。。。。。模子的感知能力被绑死在使命专属的视觉体现上，，，，，，，，难以泛化。。。。。。。。�；；；；；；灰桓鍪姑�，，，，，，，就得重教它“怎么看”。。。。。。。。

其三，，，，，，，，感知被推迟到推理之后。。。。。。。。大都计划将视觉聚焦视为推理链中的中心调解办法，，，，，，，，不但拖慢效率，，，，，，，，更让过失在后续推理中滚雪球式放大。。。。。。。。

焦点挑战由此浮现：怎样让模子学会“带着问题去看图”？？？？？

从“推理时调解”到“训练时内化”：BiPS的焦点转向

若是问题泉源不在“推理不敷智慧”，，，，，，，，而在“从第一眼就看错了图”，，，，，，，，是否该换个思绪？？？？？

能否不再依赖推理阶段的视觉外挂，，，，，，，，而是在训练阶段，，，，，，，，就让模子真正学会识别什么是“准确的视觉证据”？？？？？

这正是BiPS（Bi-directional Perceptual Shaping）的焦点革命。。。。。。。。

它不做界线框、不打掩码、不调工具，，，，，，，，而是：

把推理阶段依赖的视觉提醒，，，，，，，，提前转化为指导模子“该往哪儿看”的训练信号。。。。。。。。让模子学会本能聚焦要害证据。。。。。。。。

一拉一推：让模子既“看全”，，，，，，，，又“看准”

BiPS的焦点在于一套偏向相反、粒度互补的双重感知塑形机制：

先把模子的视线“拉”回到所有相关证据，，，，，，，，再“推”它看向真正要害的细节。。。。。。。。

“拉”：看少，，，，，，，，但看全

真实问答常依赖疏散却环环相扣的视觉证据链——如折线走势、图例颜色、坐标刻度与子图问题的组合。。。。。。。。

为此，，，，，，，，BiPS构建Evidence-Preserving View（证据保存视图）：系统性剔除滋扰，，，，，，，，仅保存回覆必需的视觉元素，，，，，，，，宁愿粒度粗，，，，，，，，也不遗漏要害。。。。。。。。

模子需基于这种“信息更少但结构完整”的视图，，，，，，，，输出与原始图像一致的谜底。。。。。。。。

这一历程将模子从噪声与私见中拉回，，，，，，，，使其回覆锚定于完整的证据链。。。。。。。。

“推”：看对要害细节

“看全”只是起点。。。。。。。。若模子仅模糊定位相关区域，，，，，，，，仍可能依赖语言先验或统计私见作答。。。。。。。。

BiPS引入Evidence-Ablated View（证据消融视图）：精准移除决议谜底的要害细节（如某条折线）。。。。。。。。这类改动视觉上微�。。。。。。。。�，，，，，，，却足以倾覆谜底。。。。。。。。

此时训练目的反转：一旦要害证据消逝，，，，，，，，模子必需拒绝原谜底。。。。。。。。

这是一种反事实约束——任何绕过要害视觉证据的“替换推理”都应失效。。。。。。。。

协同塑形感知

“拉”与“推”组成递进流程：

“拉”确保�；；；；；；馗不谕暾⑿胍氖泳踔ぞ荩�；；；；；；“推”迫使模子识别不可替换的细粒度线索。。。。。。。。

二者协同，，，，，，，，推动模子从外貌关联走向因果一致的证据依赖，，，，，，，，学会像人类一样“带着问题看天下”。。。。。。。。

图表是最好的先生：用准确证据，，，，，，，，教会模子“看那里”

当BiPS把“看准”作为训练目的后，，，，，，，，一个现实问题随之而来：

那些细腻又紧询问题的视觉证据，，，，，，，，究竟从哪儿来？？？？？

图表是极佳的训练起点：它们以多子图、细折线、小标记与准确刻度等，，，，，，，，组成磷七密度、高信息量的视觉场景。。。。。。。。这些细小元素往往是解题的要害线索，，，，，，，，提供了富厚且细粒度的感知质料

更主要的是，，，，，，，，图表中的视觉证据是可控的。。。。。。。。每个元素都可被程序化地添加、移除或遮蔽，，，，，，，，并能直接验证其对谜底的影响，，，，，，，，从而能够以程序化的方法，，，，，，，，准确构建“证据保存”与“证据消融”的比照视图。。。。。。。。

因此，，，，，，，，在BiPS的训练系统中，，，，，，，，图表是一个高重漂后、高度可控的实验�。。。。。。。。杭茸愎恢卮笠蕴峁┱媸档南噶６戎ぞ荩�，，，，，，，又足够可控以精准使用这些证据。。。。。。。。模子在此学习的，，，，，，，，并非解读图表，，，，，，，，而是在重大视觉场景中，，，，，，，，学会将注重力聚焦于与问题真正相关的局部线索

13K训练样本，，，，，，，，8个基准：一次“小数据”的能力迁徙

BiPS展示出了一种高效而稳固的训练范式。。。。。。。。仅用13K条图表样本对基础模子举行微调，，，，，，，，无需人工标注，，，，，，，，也未针对差别使命定制专门工具或模板。。。。。。。。训练目的简单明确：学会“问题指哪，，，，，，，，就看哪”的视觉逻辑

效果显著：在8个差别的评测基准上，，，，，，，，模子均实现了一致且显著的性能提升，，，，，，，，涵盖：

真实图标明确（如CharXiv）图像驱动的数理逻辑推理（如MathVision）通用视觉问答（如MMStar）

以Qwen2.5-VL-7B为基础模子，，，，，，，，BiPS带来了平均准确率+7.3%的提升，，，，，，，，这一提升并非集中在某一特定领域，，，，，，，，而是跨越数据漫衍、跨越使命类型的周全前进。。。。。。。。

即便在推理能力已高度强化的Qwen3-VL-8B-Thinking上，，，，，，，，这一效果依然建设：

CharXiv：53.0→58.1；；；；；；；MathVision：62.7→63.9；；；；；；；MMStar：75.3→76.3

这些效果批注，，，，，，，，BiPS学到的不是“图表特有的解题技巧”，，，，，，，，而是一种可迁徙的“看对地方”的能力

学会“看对地方”：迈向通用智能的要害一步

真正的视觉智能不但是“看到”，，，，，，，，更是在重大信息中，，，，，，，，聚焦于与问题相关的要害证据

BiPS实现的并非简朴的技巧优化，，，，，，，，而是一种根天性的能力转变：使模子的视觉注重力从被动、匀称的扫视，，，，，，，，转变为自动、问题驱动的精准聚焦

这无疑是通向通用视觉智能的要害一步，，，，，，，，其焦点在于：让模子的眼睛，，，，，，，，真正看向问题的要害。。。。。。。。

论文链接：

PT视讯(中国区)官网