小米Mimo大模子团队投稿量恒科金属加工有限公司子位 | 公众号 QbitAI
小米MiMo大模子团队，，，，，加入AI贺年战场——
推出HySparse，，，，，一种面向Agent时代的混淆希罕注重力架构
HySparse立异使用少少的全注重力（Full Attention）层提供“token选择+KV Cache”，，，，，其余希罕注重力（Sparse Attention）层直接复用这些信息，，，，，实现高效精准的长上下文建模。。。 。。。
在总共49层的80B-A3BMoE模子实验中，，，，，仅保存5层Full Attention仍能坚持甚至提升模子能力，，，，，同时显著降低KVCache存储与盘算开销，，，，，实现效果与效率的兼顾，，，，，展示出混淆希罕注重力在超长上下文建模中的重大潜力。。。 。。。
HySparse的设计灵感泉源于学术界已有研究事情的履历和视察之上。。。 。。。
一部分是显著token在相邻层之间相对稳固。。。 。。。
已有事情如TidalDecode等，，，，，视察到一连层的 “主要 token” 会高度重合，，，，，因此可以在某层识别主要token并在后续层复用。。。 。。。
HySparse将这一视察提升用于模子结构设计并直接训练。。。 。。。
尚有部分受启发于跨层KV Cache共享能显著省显存且不显著伤性能，，，，，YOCO、Gemma3n等架构层面事情已经证实晰跨层共享KV的可行性。。。 。。。
HySparse将共享直接落在“Full Attention层 → 厥后Sparse Attention层” 的hybrid block内共享上。。。 。。。
配景：Sparse Attention的 “两朵乌云”
大都Sparse Attention要领都遵照统一基本范式：先选择，，，，，再盘算。。。 。。。
在真正盘算注重力之前，，，，，先用一个“选择器” 决议哪些主要token是值得注重的，，，，，只在这些位置上举行注重力盘算。。。 。。。
这一范式降低了盘算量，，，，，但始终绕不开两个基础问题。。。 。。。
一个问题是主要 Token 的选择依赖署理（Proxy）
Sparse Attention的焦点在于 “选哪些主要token”。。。 。。。
但现实中，，，，，这一选择往往依赖proxy信号：牢靠模式、启发式规则、近似预计，，，，，或特另外轻量化选择�？ ？？？？�。。。 。。。
这些proxy实质上都是对真实注重力漫衍的近似，，，，，无法包管能完全精准地识别最主要的token；；；； ； ；；；在长上下文、一连天生的场景下，，，，，这种近似误差还会不可阻止地累积。。。 。。。
即即是可训练的Sparse Attention要领，，，，，往往也执偾将人工设计的选择规则替换为可学习的轻量化选择署理�？ ？？？？椋�，，，，通过训练来对齐选择行为。。。 。。。
这在一定水平上缓解了选择误差，，，，，但同时显著增添了训练重漂后，，，，，难以从基础上挣脱这一“署理瓶颈”。。。 。。。
第二个问题是盘算量降低，，，，，但KV Cache存储未减
现在，，，，，主流的动态Sparse Attention注重力要领主要镌汰的是盘算开销。。。 。。。
这类做法不再对所有token执行注重力盘算；；；； ； ；；；但为了阻止在天生历程中不可逆地过失扬弃KV Cache（由于token的主要性会随天生动态转变），，，，，推理阶段通常仍需保存全量KV Cache。。。 。。。
带来的效果就是盘算量确实下降了，，，，，但显存与带宽这一主要瓶颈依然保存。。。 。。。
HySparse：把 “选择” 和 “缓存”交给Full Attention
HySparse做的事是把 “选择” 和 “缓存” 这两件对Sparse Attention来说最难的事，，，，，交给Full Attention来做
为此，，，，，HySparse接纳hybrid block结构。。。 。。。
每个hybrid block由1层Full Attention+N层Sparse Attention组成。。。 。。。
Hybrid block内部的Sparse Attention层并不再自力做token选择和维护全量KV，，，，，而是直接复用前置Full Attention层爆发的主要token索引和 KV Cache。。。 。。。
这背后的念头是Full Attention在完成自身盘算的同时，，，，，已经天生了KV Cache，，，，，并且盘算出了最准确的token主要性信息，，，，，自然可以供后续N个Sparse Attention层直接复用。。。 。。。
这一设计外貌上很是精练，，，，，却巧妙地同时解决了上述 Sparse Attention 的两大焦点问题，，，，，
选择不再依赖proxy；；；； ； ；；；Sparse层不引入特殊KV Cache开销。。。 。。。
同时，，，，，HySparse希罕层不是简单起径，，，，，希罕层内部也做了一次 “全局希罕 + 局部窗口” 的混淆结构。。。 。。。
HySparse 的每一层 Sparse Attention 包括两条分支：
块级希罕注重力分支（全局）：在TopK索引对应的共享KV Cache上举行全局Sparse Attention盘算；；；； ； ；；；滑动窗口注重力分支（局部）：维护一个很小的外地窗口KV Cache（默认窗口巨细为128）以包管局部建模能力。。。 。。。
两分支输出通过轻量门控（sigmoid gate）举行融合。。。 。。。
直观地看，，，，，HySparse并不是用Sparse Attention取代Full Attention ，，，，，而是将全局信息通路拆解为 “少量腾贵但可靠的全注重力”+“多次廉价而高效的全局希罕检索与局部建模”。。。 。。。
实验效果：整体更优
为了验证HySparse的有用性，，，，，研究团队将其与两类主流架构举行比照：
Full-Attn：所有层均为Full Attention；；；； ； ；；；Hybrid SWA：按比例混淆Full Attention和Sliding Window Attention；；；； ； ；；；HySparse：接纳与Hybrid SWA相同的Full Attention比例，，，，，但将滑动窗口层升级为“全局希罕 + 局部窗口”的Sparse Attention。。。 。。。
研究职员划分在7B的Dense模子和80B的MoE模子上举行了实验。。。 。。。
效果显示，，，，，7B模子共有36层，，，，，其中9层是Full Attention；；；； ； ；；；80B MoE模子共有49层，，，，，只有5层是Full Attention，，，，，这为HySparse带来了靠近10×的KV Cache存储降低。。。 。。。
在多项通用、数学、代码和中文评测中，，，，，HySparse在7B Dense和80B MoE两种规模均带来稳固提升。。。 。。。
特殊是在80B MoE的激进混淆比例下，，，，，HySparse通过全局希罕检索通路有用坚持长距离信息会见，，，，，维持了全局推理能力，，，，，还在部分使命上逾越了全注重力基线，，，，，充分体现了全局希罕通路的主要作用。。。 。。。
RULER长文测试批注，，，，，HySparse即便将Full Attention层压到少少，，，，，也能稳固坚持长距离要害信息会见，，，，，充分展现了其混淆希罕结构的优势。。。 。。。
小米MiMo体现，，，，，妄想在更大规模模子上进一步验证HySparse的极限和潜力，，，，，并一连探索降低Full Attention层数目的可能性，，，，，让超长上下文更高效。。。 。。。
arXiv链接：https:恒科金属加工有限公司//arxiv.org/abs/2602.03560