近年来，，，， ，Vision-Language Models（视觉 — 语言模子）在多模态明确使命中取得了显著希望，，，， ，并逐渐成为通用人工智能的主要手艺蹊径。。。。。。 。然而，，，， ，这类模子在现实应用中往往面临推理开销大、效率受限的问题，，，， ，研究者通常依赖 visual token pruning 等战略降低盘算本钱，，，， ，其中 attention 机制被普遍视为权衡视觉信息主要性的要害依据。。。。。。 。
克日，，，， ，上海大学曾丹团队团结南开大学研究职员，，，， ，从 attention 可靠性的角度出发，，，， ，系统展现了 Vision-Language Models 中普遍保存的 attention 偏置问题，，，， ，并提出了一种无需重新训练的 attention 去偏要领，，，， ，在多个主流模子、剪枝战略及图像与视频基准上验证了其有用性，，，， ，为多模态模子的高效、可靠安排提供了新的思绪。。。。。。 。
论文问题：Attention Debiasing for Token Pruning in Vision Language Models论文链接：https://arxiv.org/abs/2508.17807代码链接：https://github.com/intcomp/attention-bias
一、研究意义
近年来，，，， ，视觉 — 语言模子（Vision-Language Models，，，， ，VLMs）在图像明确、视觉问答、多模态对话等使命中体现突出，，，， ，并逐渐成为通用人工智能的主要手艺基础。。。。。。 。然而，，，， ，这类模子在现实安排时往往面临一个现实挑战：模子推理本钱高，，，， ，速率慢。。。。。。 。
为提升效率，，，， ，研究者通常唬唬�；；；；峤幽蓈isual token pruning（视觉 token 剪枝）手艺，，，， ，即在不显著影响性能的条件下，，，， ，扬弃不主要的视觉信息。。。。。。 。其中，，，， ，attention 机制 被普遍用作判断 “哪些视觉 token 更主要” 的焦点依据。。。。。。 。
但上海大学曾丹团队在研究中发明：attention 并不总是可靠的 “主要性指标”。。。。。。 。在多模态模子中，，，， ，attention 往往受到多种结构性偏置的影响，，，， ，这些偏置与真实语义无关，，，， ，却会直接左右剪枝效果，，，， ，从而影响模子性能。。。。。。 。
针对这一问题，，，， ，该团队系统剖析了 VLM 中 attention 的行为特征，，，， ，提出了一种Attention Debiasing（注重力去偏）要领，，，， ，在无需重新训练模子的条件下，，，， ，有用提升了多种主流剪枝要领的稳固性与可靠性。。。。。。 。如下图所示，，，， ，提出的要领应用于现在基于 attention 的剪枝要领上之后，，，， ，都有提升。。。。。。 。
二、研究配景
在直觉上，，，， ，attention 机制往往被明确为 “模子更关注那里”，，，， ，因此被自然地视为语义主要性的体现。。。。。。 。然而，，，， ，曾丹团队的研究批注，，，， ，在 Vision-Language Models 中，，，， ，attention 往往并非只由内容决议，，，， ，而是隐含着多种系统性偏置。。。。。。 。
其中最典范的有两类：
第一类是位置偏置（recency bias）。。。。。。 。研究发明，，，， ，language-to-vision attention 会随着视觉 token 在序列中的位置一直增大，，，， ，也就是说，，，， ，模子更倾向于关注 “后面的 token”。。。。。。 。如图所示，，，， ，这通常体现为模子对图像下方区域给予更高 attention，，，， ，即便这些区域并不包括要害信息。。。。。。 。
第二类是padding 引发的 attention sink 征象。。。。。。 。在现实输入中，，，， ，为了统一尺寸，，，， ，图像往往需要 padding，，，， ，但这些区域在语义上是 “空缺” 的。。。。。。 。然而，，，， ，由于 hidden state 中泛起异常激活，，，， ，padding 对应的 token 反而可能获得较高 attention，，，， ，从而被过失地保存下来。。。。。。 。下图是 pad 区域填充差别的数值时，，，， ，pad 区域对应的 attention score 数值以及 hidden states 的激活值。。。。。。 。
更值得注重的是，，，， ，当 attention 被用于剪枝排序时，，，， ，这些偏置并不会被削弱，，，， ，反而会被进一步放大，，，， ，最终导致剪枝效果偏离真实语义需求。。。。。。 。
三、研究要领
针对上述问题，，，， ，上海大学曾丹团队并没有提出新的剪枝算法，，，， ，也没有对模子结构举行修改，，，， ，而是从一个更基础的角度出发：既然 attention 自己是有偏的，，，， ，是否可以先对 attention 举行修正？？？？ ？
该团队视察到，，，， ，attention 中的偏置并非随机噪声，，，， ，而是泛起出稳固的整体趋势。。。。。。 。因此，，，， ，他们通过对 attention 随 token 位置转变的趋势举行拟合，，，， ，构建了一条反应 “位置偏置” 的曲线，，，， ，并在此基础上对原始 attention 举行去偏修正，，，， ，显式削弱与内容无关的位置因素，，，， ，使 attention 更靠近真实的语义主要性。。。。。。 。如下图所示。。。。。。 。
与此同时，，，， ，在剪枝阶段显式抑制 padding token 的影响，，，， ，阻止语义为空的区域滋扰剪枝排序。。。。。。 。整个历程无需重新训练模子，，，， ，也不依赖特定的剪枝战略，，，， ，可作为plug-and-play 模�？？？ ？橹苯蛹傻较钟幸熘�。。。。。。 。
四、实验效果
在实验验证中，，，， ，该团队将 Attention Debiasing 要领集成到 FastV、PyramidDrop、SparseVLM、HiMAP、TokenCarve、iLLaVA 等 6 种主流 attention-based 剪枝要领中，，，， ，在 10 个图像明确基准与 3 个视频明确基准 上举行了系统评估，，，， ，并笼罩 LLaVA-7B / 13B 等多种主流 Vision-Language Models。。。。。。 。
实验效果批注，，，， ，在险些所有设置下，，，， ，经由 attention 去偏修正后，，，， ，剪枝模子都能获得一致且稳固的性能提升，，，， ，且在剪枝更激进、token 预算更主要的情形下效果尤为显着。。。。。。 。这说明，，，， ，对 attention 举行去偏处置惩罚，，，， ，有助于模子在 “更少信息” 的条件下做出更可靠的判断。。。。。。 。
别的，，，， ，通过对实验效果的可视化剖析，，，， ，原始 attention-based 剪枝要领往往保存了大宗位于图像下方或 padding 区域的视觉 token，，，， ，而与问题语义亲近相关的要害区域却容易被忽略。。。。。。 。引入 attention 去偏修正后，，，， ，模子保存的视觉区域越发集中于目的物体及要害细节位置，，，， ，有用镌汰了无关配景的滋扰。。。。。。 。该效果直观验证了 attention 去偏在提升剪枝合理性和可诠释性方面的作用。。。。。。 。
五、总结
该研究批注，，，， ，attentio新禾日化工业有限公司n 并非自然等价于语义主要性，，，， ，尤其在 Vision-Language Models 中，，，， ，若是忽视 attention 中潜在的结构性偏置，，，， ，基于 attention 的剪枝战略可能会被误导。。。。。。 。上海大学曾丹团队通过简朴而有用的 attention 去偏要领，，，， ，显著提升了多模态模子在效率与可靠性之间的平衡能力。。。。。。 。