小米Mimo大模子团队投稿量远峰都会建设有限公司子位 | 公众号 QbitAI
小米MiMo大模子团队，，，，，，，，加入AI贺年战场——
推出HySparse，，，，，，，，一种面向Agent时代的混淆希罕注重力架构
HySparse立异使用少少的全注重力（Full Attention）层提供“token选择+KV Cache”，，，，，，，，其余希罕注重力（Sparse Attention）层直接复用这些信息，，，，，，，，实现高效精准的长上下文建模。。。。 。。。
在总共49层的80B-A3BMoE模子实验中，，，，，，，，仅保存5层Full Attention仍能坚持甚至提升模子能力，，，，，，，，同时显著降低KVCache存储与盘算开销，，，，，，，，实现效果与效率的兼顾，，，，，，，，展示出混淆希罕注重力在超长上下文建模中的重大潜力。。。。 。。。
HySparse的设计灵感泉源于学术界已有研究事情的履历和视察之上。。。。 。。。
一部分是显著token在相邻层之间相对稳固。。。。 。。。
已有事情如TidalDecode等，，，，，，，，视察到一连层的 “主要 token” 会高度重合，，，，，，，，因此可以在某层识别主要token并在后续层复用。。。。 。。。
HySparse将这一视察提升用于模子结构设计并直接训练。。。。 。。。
尚有部分受启发于跨层KV Cache共享能显著省显存且不显著伤性能，，，，，，，，YOCO、Gemma3n等架构层面事情已经证实晰跨层共享KV的可行性。。。。 。。。
HySparse将共享直接落在“Full Attention层 → 厥后Sparse Attention层” 的hybrid block内共享上。。。。 。。。
配景：Sparse Attention的 “两朵乌云”
大都Sparse Attention要领都遵照统一基本范式：先选择，，，，，，，，再盘算。。。。 。。。
在真正盘算注重力之前，，，，，，，，先用一个“选择器” 决议哪些主要token是值得注重的，，，，，，，，只在这些位置上举行注重力盘算。。。。 。。。
这一范式降低了盘算量，，，，，，，，但始终绕不开两个基础问题。。。。 。。。
一个问题是主要 Token 的选择依赖署理（Proxy）
Sparse Attention的焦点在于 “选哪些主要token”。。。。 。。。
但现实中，，，，，，，，这一选择往往依赖proxy信号：牢靠模式、启发式规则、近似预计，，，，，，，，或特另外轻量化选择模�？？？？？？？椤�。。。 。。。
这些proxy实质上都是对真实注重力漫衍的近似，，，，，，，，无法包管能完全精准地识别最主要的token；；；；；；在长上下文、一连天生的场景下，，，，，，，，这种近似误差还会不可阻止地累积。。。。 。。。
即即是可训练的Sparse Attention要领，，，，，，，，往往也执偾将人工设计的选择规则替换为可学习的轻量化选择署理模�？？？？？？？椋�，，，，，通过训练来对齐选择行为。。。。 。。。
这在一定水平上缓解了选择误差，，，，，，，，但同时显著增添了训练重漂后，，，，，，，，难以从基础上挣脱这一“署理瓶颈”。。。。 。。。
第二个问题是盘算量降低，，，，，，，，但KV Cache存储未减
现在，，，，，，，，主流的动态Sparse Attention注重力要领主要镌汰的是盘算开销。。。。 。。。
这类做法不再对所有token执行注重力盘算；；；；；；但为了阻止在天生历程中不可逆地过失扬弃KV Cache（由于token的主要性会随天生动态转变），，，，，，，，推理阶段通常仍需保存全量KV Cache。。。。 。。。
带来的效果就是盘算量确实下降了，，，，，，，，但显存与带宽这一主要瓶颈依然保存。。。。 。。。
HySparse：把 “选择” 和 “缓存”交给Full Attention
HySparse做的事是把 “选择” 和 “缓存” 这两件对Sparse Attention来说最难的事，，，，，，，，交给Full Attention来做
为此，，，，，，，，HySparse接纳hybrid block结构。。。。 。。。
每个hybrid block由1层Full Attention+N层Sparse Attention组成。。。。 。。。
Hybrid block内部的Sparse Attention层并不再自力做token选择和维护全量KV，，，，，，，，而是直接复用前置Full Attention层爆发的主要token索引和 KV Cache。。。。 。。。
这背后的念头是Full Attention在完成自身盘算的同时，，，，，，，，已经天生了KV Cache，，，，，，，，并且盘算出了最准确的token主要性信息，，，，，，，，自然可以供后续N个Sparse Attention层直接复用。。。。 。。。
这一设计外貌上很是精练，，，，，，，，却巧妙地同时解决了上述 Sparse Attention 的两大焦点问题，，，，，，，，
选择不再依赖proxy；；；；；；Sparse层不引入特殊KV Cache开销。。。。 。。。
同时，，，，，，，，HySparse希罕层不是简单起径，，，，，，，，希罕层内部也做了一次 “全局希罕 + 局部窗口” 的混淆结构。。。。 。。。
HySparse 的每一层 Sparse Attention 包括两条分支：
块级希罕注重力分支（全局）：在TopK索引对应的共享KV Cache上举行全局Sparse Attention盘算；；；；；；滑动窗口注重力分支（局部）：维护一个很小的外地窗口KV Cache（默认窗口巨细为128）以包管局部建模能力。。。。 。。。
两分支输出通过轻量门控（sigmoid gate）举行融合。。。。 。。。
直观地看，，，，，，，，HySparse并不是用Sparse Attention取代Full Attention ，，，，，，，，而是将全局信息通路拆解为 “少量腾贵但可靠的全注重力”+“多次廉价而高效的全局希罕检索与局部建模”。。。。 。。。
实验效果：整体更优
为了验证HySparse的有用性，，，，，，，，研究团队将其与两类主流架构举行比照：
Full-Attn：所有层均为Full Attention；；；；；；Hybrid SWA：按比例混淆Full Attention和Sliding Window Attention；；；；；；HySparse：接纳与Hybrid SWA相同的Full Attention比例，，，，，，，，但将滑动窗口层升级为“全局希罕 + 局部窗口”的Sparse Attention。。。。 。。。
研究职员划分在7B的Dense模子和80B的MoE模子上举行了实验。。。。 。。。
效果显示，，，，，，，，7B模子共有36层，，，，，，，，其中9层是Full Attention；；；；；；80B MoE模子共有49层，，，，，，，，只有5层是Full Attention，，，，，，，，这为HySparse带来了靠近10×的KV Cache存储降低。。。。 。。。
在多项通用、数学、代码和中文评测中，，，，，，，，HySparse在7B Dense和80B MoE两种规模均带来稳固提升。。。。 。。。
特殊是在80B MoE的激进混淆比例下，，，，，，，，HySparse通过全局希罕检索通路有用坚持长距离信息会见，，，，，，，，维持了全局推理能力，，，，，，，，还在部分使命上逾越了全注重力基线，，，，，，，，充分体现了全局希罕通路的主要作用。。。。 。。。
RULER长文测试批注，，，，，，，，HySparse即便将Full Attention层压到少少，，，，，，，，也能稳固坚持长距离要害信息会见，，，，，，，，充分展现了其混淆希罕结构的优势。。。。 。。。
小米MiMo体现，，，，，，，，妄想在更大规模模子上进一步验证HySparse的极限和潜力，，，，，，，，并一连探索降低Full Attention层数目的可能性，，，，，，，，让超长上下文更高效。。。。 。。。
arXiv链接：https:远峰都会建设有限公司//arxiv.org/abs/2602.03560