BiPS团队 投稿量子位 |晋海细密制造有限公司 公众号 QbitAI
随着视觉-语言模子（VLM）推理能力一直增强，，，， ，一个隐藏的问题逐渐浮现：
许多过失不是推理没做好，，，， ，而是“看错了”。 。。。。
在重大视觉使命中，，，， ，模子往往能准确识别工具、明确问题，，，， ，甚至给出完整的推理链，，，， ，却因捕获了过失的视觉证据，，，， ，得出自信却过失的谜底。 。。。。
现有要领通常在推理阶段“指路”——例如天生视觉提醒或挪用外部工具，，，， ，以暂时对齐证据。 。。。。这类战略虽有用，，，， ，却面临显着局限：视觉线索形式受限、高度依赖详细使命，，，， ，且推理开销大。 。。。。更主要的是，，，， ，它引出一个根天性问题：
若是模子始终需要外部提醒才知道“看哪儿”，，，， ，它是否真的明确了视觉天下？？？？？？？
为此，，，， ，微软亚洲研究院与清华大学提出BiPS（Bi-directional Perceptual Shaping），，，， ，从源头重塑模子的“看图方法”。 。。。。
BiPS不在推理时暂时提醒关注区域，，，， ，而是在训练阶段就教会模子：面临特定问题，，，， ，哪些视觉细节必需关注，，，， ，哪些可以忽略。 。。。。通过系统性地对齐问题与视觉证据，，，， ，BiPS促使模子内化一种焦点能力——带着问题去看图。 。。。。因此，，，， ，在推理时无需任何特殊提醒，，，， ，模子也能自动聚焦于真正决议谜底的要害区域与细节。 。。。。
实验批注，，，， ，这种“看哪儿”的能力具有跨使命迁徙性，，，， ，为构建更可靠、通用的视觉明确系统开发了新路径。 。。。。
视线错位：VLM的“看”与“想”为何脱节？？？？？？？
我们常被视觉-语言模子（VLM）行云流水的回覆疑惑，，，， ，以为它真的“看懂”了图片。 。。。。但事实可能是：它识别出了图中物体，，，， ，却抓错了要害信息。 。。。。
人类的视觉是目的驱动的：问趋势就追曲线，，，， ，问数值就盯刻度，，，， ，问关系就比位置。 。。。。但目今VLM的“看”仍停留在打标签阶段，，，， ，缺乏对要害证据的精准定位能力。 。。。。它知道图里有什么，，，， ，却不知道该看那里
为解决这一“视线错位”，，，， ，学界常接纳视觉证据指导——通过框选、掩码或线索提醒，，，， ，为模子的“视线”装上“准星”。 。。。。然而，，，， ，这种指导式感知保存三重局限：
其一，，，， ，天下不是矩形的。 。。。。图表中的折线拐点、几何题中的交叠多边形、医学影像中的弥散病灶……这些要害线索往往是不规则且弥散的，，，， ，难以被标准框或掩码完整笼罩。 。。。。裁大引入噪声，，，， ，裁小丧失细节，，，， ，模子“看”到了区域，，，， ，却依然看错了证据。 。。。。
其二，，，， ，聚焦能力无法迁徙。 。。。。当条件示要领多为特定使命定制，，，， ，依赖特定命据漫衍或标注规则。 。。。。模子的感知能力被绑死在使命专属的视觉体现上，，，， ，难以泛化。 。。。。唬�；；；；灰桓鍪姑�，，，， ，就得重教它“怎么看”。 。。。。
其三，，，， ，感知被推迟到推理之后。 。。。。大都计划将视觉聚焦视为推理链中的中心调解办法，，，， ，不但拖慢效率，，，， ，更让过失在后续推理中滚雪球式放大。 。。。。
焦点挑战由此浮现：怎样让模子学会“带着问题去看图”？？？？？？？
从“推理时调解”到“训练时内化”：BiPS的焦点转向
若是问题泉源不在“推理不敷智慧”，，，， ，而在“从第一眼就看错了图”，，，， ，是否该换个思绪？？？？？？？
能否不再依赖推理阶段的视觉外挂，，，， ，而是在训练阶段，，，， ，就让模子真正学会识别什么是“准确的视觉证据”？？？？？？？
这正是BiPS（Bi-directional Perceptual Shaping）的焦点革命。 。。。。
它不做界线框、不打掩码、不调工具，，，， ，而是：
把推理阶段依赖的视觉提醒，，，， ，提前转化为指导模子“该往哪儿看”的训练信号。 。。。。让模子学会本能聚焦要害证据。 。。。。
一拉一推：让模子既“看全”，，，， ，又“看准”
BiPS的焦点在于一套偏向相反、粒度互补的双重感知塑形机制：
先把模子的视线“拉”回到所有相关证据，，，， ，再“推”它看向真正要害的细节。 。。。。
“拉”：看少，，，， ，但看全
真实问答常依赖疏散却环环相扣的视觉证据链——如折线走势、图例颜色、坐标刻度与子图问题的组合。 。。。。
为此，，，， ，BiPS构建Evidence-Preserving View（证据保存视图）：系统性剔除滋扰，，，， ，仅保存回覆必需的视觉元素，，，， ，宁愿粒度粗，，，， ，也不遗漏要害。 。。。。
模子需基于这种“信息更少但结构完整”的视图，，，， ，输出与原始图像一致的谜底。 。。。。
这一历程将模子从噪声与私见中拉回，，，， ，使其回覆锚定于完整的证据链。 。。。。
“推”：看对要害细节
“看全”只是起点。 。。。。若模子仅模糊定位相关区域，，，， ，仍可能依赖语言先验或统计私见作答。 。。。。
BiPS引入Evidence-Ablated View（证据消融视图）：精准移除决议谜底的要害细节（如某条折线）。 。。。。这类改动视觉上细小，，，， ，却足以倾覆谜底。 。。。。
此时训练目的反转：一旦要害证据消逝，，，， ，模子必需拒绝原谜底。 。。。。
这是一种反事实约束——任何绕过要害视觉证据的“替换推理”都应失效。 。。。。
协同塑形感知
“拉”与“推”组成递进流程：
“拉”确保唬�；；；；馗不谕暾⑿胍氖泳踔ぞ荩唬�；；；；“推”迫使模子识别不可替换的细粒度线索。 。。。。
二者协同，，，， ，推动模子从外貌关联走向因果一致的证据依赖，，，， ，学会像人类一样“带着问题看天下”。 。。。。
图表是最好的先生：用准确证据，，，， ，教会模子“看那里”
当BiPS把“看准”作为训练目的后，，，， ，一个现实问题随之而来：
那些细腻又紧询问题的视觉证据，，，， ，究竟从哪儿来？？？？？？？
图表是极佳的训练起点：它们以多子图、细折线、小标记与准确刻度等，，，， ，组成磷七密度、高信息量的视觉场景。 。。。。这些细小元素往往是解题的要害线索，，，， ，提供了富厚且细粒度的感知质料
更主要的是，，，， ，图表中的视觉证据是可控的。 。。。。每个元素都可被程序化地添加、移除或遮蔽，，，， ，并能直接验证其对谜底的影响，，，， ，从而能够以程序化的方法，，，， ，准确构建“证据保存”与“证据消融”的比照视图。 。。。。
因此，，，， ，在BiPS的训练系统中，，，， ，图表是一个高重漂后、高度可控的实验�。 。。。。杭茸愎恢卮笠蕴峁┱媸档南噶６戎ぞ�，，，， ，又足够可控以精准使用这些证据。 。。。。模子在此学习的，，，， ，并非解读图表，，，， ，而是在重大视觉场景中，，，， ，学会将注重力聚焦于与问题真正相关的局部线索
13K训练样本，，，， ，8个基准：一次“小数据”的能力迁徙
BiPS展示出了一种高效而稳固的训练范式。 。。。。仅用13K条图表样本对基础模子举行微调，，，， ，无需人工标注，，，， ，也未针对差别使命定制专门工具或模板。 。。。。训练目的简单明确：学会“问题指哪，，，， ，就看哪”的视觉逻辑
效果显著：在8个差别的评测基准上，，，， ，模子均实现了一致且显著的性能提升，，，， ，涵盖：
真实图标明确（如CharXiv）图像驱动的数理逻辑推理（如MathVision）通用视觉问答（如MMStar）
以Qwen2.5-VL-7B为基础模子，，，， ，BiPS带来了平均准确率+7.3%的提升，，，， ，这一提升并非集中在某一特定领域，，，， ，而是跨越数据漫衍、跨越使命类型的周全前进。 。。。。
即便在推理能力已高度强化的Qwen3-VL-8B-Thinking上，，，， ，这一效果依然建设：
CharXiv：53.0→58.1；；；；；；MathVision：62.7→63.9；；；；；；MMStar：75.3→76.3
这些效果批注，，，， ，BiPS学到的不是“图表特有的解题技巧”，，，， ，而是一种可迁徙的“看对地方”的能力
学会“看对地方”：迈向通用智能的要害一步
真正的视觉智能不但是“看到”，，，， ，更是在重大信息中，，，， ，聚焦于与问题相关的要害证据
BiPS实现的并非简朴的技巧优化，，，， ，而是一种根天性的能力转变：使模子的视觉注重力从被动、匀称的扫视，，，， ，转变为自动、问题驱动的精准聚焦
这无疑是通向通用视觉智能的要害一步，，，， ，其焦点在于：让模子的眼睛，，，， ，真正看向问题的要害。 。。。。
论文链接：
https://arxiv.晋海细密制造有限公司org/abs/2512.22120