СÃ׸øKV Cache¼õ¸º80%£¡MiMoÍŶÓÍÆ³ö»ìÏýÏ£º±×¢ÖØÁ¦¼Ü¹¹
2026-02-26 17:02:44

СÃ×Mimo´óÄ£×ÓÍŶÓͶ¸åÁ¿ºã¿Æ½ðÊô¼Ó¹¤ÓÐÏÞ¹«Ë¾×Óλ | ¹«ÖںŠQbitAI

СÃ×MiMo´óÄ£×ÓÍŶӣ¬£¬£¬£¬£¬¼ÓÈëAIºØÄêÕ½³¡¡ª¡ª

ÍÆ³öHySparse£¬£¬£¬£¬£¬Ò»ÖÖÃæÏòAgentʱ´úµÄ»ìÏýÏ£º±×¢ÖØÁ¦¼Ü¹¹

HySparseÁ¢ÒìʹÓÃÉÙÉÙµÄÈ«×¢ÖØÁ¦£¨Full Attention£©²ãÌṩ¡°tokenÑ¡Ôñ+KV Cache¡±£¬£¬£¬£¬£¬ÆäÓàÏ£º±×¢ÖØÁ¦£¨Sparse Attention£©²ãÖ±½Ó¸´ÓÃÕâЩÐÅÏ¢£¬£¬£¬£¬£¬ÊµÏÖ¸ßЧ¾«×¼µÄ³¤ÉÏÏÂÎĽ¨Ä£¡£¡£¡£ ¡£¡£¡£

ÔÚ×ܹ²49²ãµÄ80B-A3BMoEÄ£×ÓʵÑéÖУ¬£¬£¬£¬£¬½ö±£´æ5²ãFull AttentionÈÔÄܼá³ÖÉõÖÁÌáÉýÄ£×ÓÄÜÁ¦£¬£¬£¬£¬£¬Í¬Ê±ÏÔÖø½µµÍKVCache´æ´¢ÓëÅÌË㿪Ïú£¬£¬£¬£¬£¬ÊµÏÖЧ¹ûÓëЧÂʵļæ¹Ë£¬£¬£¬£¬£¬Õ¹Ê¾³ö»ìÏýÏ£º±×¢ÖØÁ¦ÔÚ³¬³¤ÉÏÏÂÎĽ¨Ä£ÖеÄÖØ´óDZÁ¦¡£¡£¡£ ¡£¡£¡£

HySparseµÄÉè¼ÆÁé¸ÐȪԴÓÚѧÊõ½çÒÑÓÐÑо¿ÊÂÇéµÄÂÄÀúºÍÊÓ²ìÖ®ÉÏ¡£¡£¡£ ¡£¡£¡£

Ò»²¿·ÖÊÇÏÔÖøtokenÔÚÏàÁÚ²ãÖ®¼äÏà¶ÔÎȹÌ¡£¡£¡£ ¡£¡£¡£

ÒÑÓÐÊÂÇéÈçTidalDecodeµÈ£¬£¬£¬£¬£¬ÊӲ쵽һÁ¬²ãµÄ ¡°Ö÷Òª token¡± »á¸ß¶ÈÖØºÏ£¬£¬£¬£¬£¬Òò´Ë¿ÉÒÔÔÚij²ãʶ±ðÖ÷Òªtoken²¢ÔÚºóÐø²ã¸´Óᣡ£¡£ ¡£¡£¡£

HySparse½«ÕâÒ»ÊÓ²ìÌáÉýÓÃÓÚÄ£×ӽṹÉè¼Æ²¢Ö±½ÓѵÁ·¡£¡£¡£ ¡£¡£¡£

ÉÐÓв¿·ÖÊÜÆô·¢ÓÚ¿ç²ãKV Cache¹²ÏíÄÜÏÔÖøÊ¡ÏÔ´æÇÒ²»ÏÔÖøÉËÐÔÄÜ£¬£¬£¬£¬£¬YOCO¡¢Gemma3nµÈ¼Ü¹¹²ãÃæÊÂÇéÒѾ­Ö¤ÊµÎú¿ç²ã¹²ÏíKVµÄ¿ÉÐÐÐÔ¡£¡£¡£ ¡£¡£¡£

HySparse½«¹²ÏíÖ±½ÓÂäÔÚ¡°Full Attention²ã ¡ú ØÊºóSparse Attention²ã¡± µÄhybrid blockÄÚ¹²ÏíÉÏ¡£¡£¡£ ¡£¡£¡£

Åä¾°£ºSparse AttentionµÄ ¡°Á½¶äÎÚÔÆ¡±

´ó¶¼Sparse AttentionÒªÁì¶¼×ñÕÕͳһ»ù±¾·¶Ê½£ºÏÈÑ¡Ôñ£¬£¬£¬£¬£¬ÔÙÅÌËã¡£¡£¡£ ¡£¡£¡£

ÔÚÕæÕýÅÌËã×¢ÖØÁ¦Ö®Ç°£¬£¬£¬£¬£¬ÏÈÓÃÒ»¸ö¡°Ñ¡ÔñÆ÷¡± ¾öÒéÄÄЩÖ÷ÒªtokenÊÇÖµµÃ×¢ÖØµÄ£¬£¬£¬£¬£¬Ö»ÔÚÕâЩλÖÃÉϾÙÐÐ×¢ÖØÁ¦ÅÌËã¡£¡£¡£ ¡£¡£¡£

ÕâÒ»·¶Ê½½µµÍÁËÅÌËãÁ¿£¬£¬£¬£¬£¬µ«Ê¼ÖÕÈÆ²»¿ªÁ½¸ö»ù´¡ÎÊÌâ¡£¡£¡£ ¡£¡£¡£

Ò»¸öÎÊÌâÊÇÖ÷Òª Token µÄÑ¡ÔñÒÀÀµÊðÀí£¨Proxy£©

Sparse AttentionµÄ½¹µãÔÚÓÚ ¡°Ñ¡ÄÄЩÖ÷Òªtoken¡±¡£¡£¡£ ¡£¡£¡£

µ«ÏÖʵÖУ¬£¬£¬£¬£¬ÕâһѡÔñÍùÍùÒÀÀµproxyÐźţºÀο¿Ä£Ê½¡¢Æô·¢Ê½¹æÔò¡¢½üËÆÔ¤¼Æ£¬£¬£¬£¬£¬»òÌØÁíÍâÇáÁ¿»¯Ñ¡ÔñÄ£¿ £¿£¿£¿£¿é¡£¡£¡£ ¡£¡£¡£

ÕâЩproxyʵÖÊÉ϶¼ÊǶÔÕæÊµ×¢ÖØÁ¦ÂþÑܵĽüËÆ£¬£¬£¬£¬£¬ÎÞ·¨°ü¹ÜÄÜÍêÈ«¾«×¼µØÊ¶±ð×îÖ÷ÒªµÄtoken£»£»£»£» £» £»£»£»ÔÚ³¤ÉÏÏÂÎÄ¡¢Ò»Á¬ÌìÉúµÄ³¡¾°Ï£¬£¬£¬£¬£¬ÕâÖÖ½üËÆÎó²î»¹»á²»¿É×èÖ¹µØÀÛ»ý¡£¡£¡£ ¡£¡£¡£

¼´¼´ÊÇ¿ÉѵÁ·µÄSparse AttentionÒªÁ죬£¬£¬£¬£¬ÍùÍùÒ²Ö´Ùǽ«È˹¤Éè¼ÆµÄÑ¡Ôñ¹æÔòÌæ»»Îª¿ÉѧϰµÄÇáÁ¿»¯Ñ¡ÔñÊðÀíÄ£¿ £¿£¿£¿£¿é£¬£¬£¬£¬£¬Í¨¹ýѵÁ·À´¶ÔÆëÑ¡ÔñÐÐΪ¡£¡£¡£ ¡£¡£¡£

ÕâÔÚÒ»¶¨Ë®Æ½ÉÏ»º½âÁËÑ¡ÔñÎó²î£¬£¬£¬£¬£¬µ«Í¬Ê±ÏÔÖøÔöÌíÁËѵÁ·ÖØÆ¯ºó£¬£¬£¬£¬£¬ÄÑÒÔ´Ó»ù´¡ÉÏÕõÍÑÕâÒ»¡°ÊðÀíÆ¿¾±¡±¡£¡£¡£ ¡£¡£¡£

µÚ¶þ¸öÎÊÌâÊÇÅÌËãÁ¿½µµÍ£¬£¬£¬£¬£¬µ«KV Cache´æ´¢Î´¼õ

ÏÖÔÚ£¬£¬£¬£¬£¬Ö÷Á÷µÄ¶¯Ì¬Sparse Attention×¢ÖØÁ¦ÒªÁìÖ÷ÒªïÔÌ­µÄÊÇÅÌË㿪Ïú¡£¡£¡£ ¡£¡£¡£

ÕâÀà×ö·¨²»ÔÙ¶ÔËùÓÐtokenÖ´ÐÐ×¢ÖØÁ¦ÅÌË㣻£»£»£» £» £»£»£»µ«ÎªÁË×èÖ¹ÔÚÌìÉúÀú³ÌÖв»¿ÉÄæµØ¹ýʧÑïÆúKV Cache£¨ÓÉÓÚtokenµÄÖ÷ÒªÐÔ»áËæÌìÉú¶¯Ì¬×ª±ä£©£¬£¬£¬£¬£¬ÍÆÀí½×¶Îͨ³£ÈÔÐè±£´æÈ«Á¿KV Cache¡£¡£¡£ ¡£¡£¡£

´øÀ´µÄЧ¹û¾ÍÊÇÅÌËãÁ¿È·ÊµÏ½µÁË£¬£¬£¬£¬£¬µ«ÏÔ´æÓë´ø¿íÕâÒ»Ö÷Ҫƿ¾±ÒÀÈ»±£´æ¡£¡£¡£ ¡£¡£¡£

HySparse£º°Ñ ¡°Ñ¡Ôñ¡± ºÍ ¡°»º´æ¡±½»¸øFull Attention

HySparse×öµÄÊÂÊÇ°Ñ ¡°Ñ¡Ôñ¡± ºÍ ¡°»º´æ¡± ÕâÁ½¼þ¶ÔSparse AttentionÀ´Ëµ×îÄѵÄÊ£¬£¬£¬£¬£¬½»¸øFull AttentionÀ´×ö

Ϊ´Ë£¬£¬£¬£¬£¬HySparse½ÓÄÉhybrid block½á¹¹¡£¡£¡£ ¡£¡£¡£

ÿ¸öhybrid blockÓÉ1²ãFull Attention+N²ãSparse Attention×é³É¡£¡£¡£ ¡£¡£¡£

Hybrid blockÄÚ²¿µÄSparse Attention²ã²¢²»ÔÙ×ÔÁ¦×ötokenÑ¡ÔñºÍά»¤È«Á¿KV£¬£¬£¬£¬£¬¶øÊÇÖ±½Ó¸´ÓÃǰÖÃFull Attention²ã±¬·¢µÄÖ÷ÒªtokenË÷ÒýºÍ KV Cache¡£¡£¡£ ¡£¡£¡£

Õâ±³ºóµÄÄîÍ·ÊÇFull AttentionÔÚÍê³É×ÔÉíÅÌËãµÄͬʱ£¬£¬£¬£¬£¬ÒѾ­ÌìÉúÁËKV Cache£¬£¬£¬£¬£¬²¢ÇÒÅÌËã³öÁË×î׼ȷµÄtokenÖ÷ÒªÐÔÐÅÏ¢£¬£¬£¬£¬£¬×ÔÈ»¿ÉÒÔ¹©ºóÐøN¸öSparse Attention²ãÖ±½Ó¸´Óᣡ£¡£ ¡£¡£¡£

ÕâÒ»Éè¼ÆÍâòÉϺÜÊǾ«Á·£¬£¬£¬£¬£¬È´ÇÉÃîµØÍ¬Ê±½â¾öÁËÉÏÊö Sparse Attention µÄÁ½´ó½¹µãÎÊÌ⣬£¬£¬£¬£¬

Ñ¡Ôñ²»ÔÙÒÀÀµproxy£»£»£»£» £» £»£»£»Sparse²ã²»ÒýÈëÌØÊâKV Cache¿ªÏú¡£¡£¡£ ¡£¡£¡£

ͬʱ£¬£¬£¬£¬£¬HySparseÏ£º±²ã²»ÊǼòµ¥Æð¾¶£¬£¬£¬£¬£¬Ï£º±²ãÄÚ²¿Ò²×öÁËÒ»´Î ¡°È«¾ÖÏ£º± + ¾Ö²¿´°¿Ú¡± µÄ»ìÏý½á¹¹¡£¡£¡£ ¡£¡£¡£

HySparse µÄÿһ²ã Sparse Attention °üÀ¨Á½Ìõ·ÖÖ§£º

¿é¼¶Ï£º±×¢ÖØÁ¦·ÖÖ§£¨È«¾Ö£©£ºÔÚTopKË÷Òý¶ÔÓ¦µÄ¹²ÏíKV CacheÉϾÙÐÐÈ«¾ÖSparse AttentionÅÌË㣻£»£»£» £» £»£»£»»¬¶¯´°¿Ú×¢ÖØÁ¦·ÖÖ§£¨¾Ö²¿£©£ºÎ¬»¤Ò»¸öºÜСµÄÍâµØ´°¿ÚKV Cache£¨Ä¬ÈÏ´°¿Ú¾ÞϸΪ128£©ÒÔ°ü¹Ü¾Ö²¿½¨Ä£ÄÜÁ¦¡£¡£¡£ ¡£¡£¡£

Á½·ÖÖ§Êä³öͨ¹ýÇáÁ¿Ãſأ¨sigmoid gate£©¾ÙÐÐÈںϡ£¡£¡£ ¡£¡£¡£

Ö±¹ÛµØ¿´£¬£¬£¬£¬£¬HySparse²¢²»ÊÇÓÃSparse AttentionÈ¡´úFull Attention £¬£¬£¬£¬£¬¶øÊǽ«È«¾ÖÐÅϢͨ·²ð½âΪ ¡°ÉÙÁ¿Ìڹ󵫿ɿ¿µÄÈ«×¢ÖØÁ¦¡±+¡°¶à´ÎÁ®¼Û¶ø¸ßЧµÄÈ«¾ÖÏ£º±¼ìË÷Óë¾Ö²¿½¨Ä£¡±¡£¡£¡£ ¡£¡£¡£

ʵÑéЧ¹û£ºÕûÌå¸üÓÅ

ΪÁËÑéÖ¤HySparseµÄÓÐÓÃÐÔ£¬£¬£¬£¬£¬Ñо¿ÍŶӽ«ÆäÓëÁ½ÀàÖ÷Á÷¼Ü¹¹¾ÙÐбÈÕÕ£º

Full-Attn£ºËùÓвã¾ùΪFull Attention£»£»£»£» £» £»£»£»Hybrid SWA£º°´±ÈÀý»ìÏýFull AttentionºÍSliding Window Attention£»£»£»£» £» £»£»£»HySparse£º½ÓÄÉÓëHybrid SWAÏàͬµÄFull Attention±ÈÀý£¬£¬£¬£¬£¬µ«½«»¬¶¯´°¿Ú²ãÉý¼¶Îª¡°È«¾ÖÏ£º± + ¾Ö²¿´°¿Ú¡±µÄSparse Attention¡£¡£¡£ ¡£¡£¡£

Ñо¿Ö°Ô±»®·ÖÔÚ7BµÄDenseÄ£×ÓºÍ80BµÄMoEÄ£×ÓÉϾÙÐÐÁËʵÑé¡£¡£¡£ ¡£¡£¡£

Ч¹ûÏÔʾ£¬£¬£¬£¬£¬7BÄ£×Ó¹²ÓÐ36²ã£¬£¬£¬£¬£¬ÆäÖÐ9²ãÊÇFull Attention£»£»£»£» £» £»£»£»80B MoEÄ£×Ó¹²ÓÐ49²ã£¬£¬£¬£¬£¬Ö»ÓÐ5²ãÊÇFull Attention£¬£¬£¬£¬£¬ÕâΪHySparse´øÀ´ÁË¿¿½ü10¡ÁµÄKV Cache´æ´¢½µµÍ¡£¡£¡£ ¡£¡£¡£

ÔÚ¶àÏîͨÓá¢Êýѧ¡¢´úÂëºÍÖÐÎÄÆÀ²âÖУ¬£¬£¬£¬£¬HySparseÔÚ7B DenseºÍ80B MoEÁ½ÖÖ¹æÄ£¾ù´øÀ´ÎȹÌÌáÉý¡£¡£¡£ ¡£¡£¡£

ÌØÊâÊÇÔÚ80B MoEµÄ¼¤½ø»ìÏý±ÈÀýÏ£¬£¬£¬£¬£¬HySparseͨ¹ýÈ«¾ÖÏ£º±¼ìË÷ͨ·ÓÐÓüá³Ö³¤¾àÀëÐÅÏ¢»á¼û£¬£¬£¬£¬£¬Î¬³ÖÁËÈ«¾ÖÍÆÀíÄÜÁ¦£¬£¬£¬£¬£¬»¹ÔÚ²¿·ÖʹÃüÉÏÓâÔ½ÁËÈ«×¢ÖØÁ¦»ùÏߣ¬£¬£¬£¬£¬³ä·ÖÌåÏÖÁËÈ«¾ÖÏ£º±Í¨Â·µÄÖ÷Òª×÷Óᣡ£¡£ ¡£¡£¡£

RULER³¤ÎIJâÊÔÅú×¢£¬£¬£¬£¬£¬HySparse¼´±ã½«Full Attention²ãѹµ½ÉÙÉÙ£¬£¬£¬£¬£¬Ò²ÄÜÎȹ̼á³Ö³¤¾àÀëÒªº¦ÐÅÏ¢»á¼û£¬£¬£¬£¬£¬³ä·ÖÕ¹ÏÖÁËÆä»ìÏýÏ£º±½á¹¹µÄÓÅÊÆ¡£¡£¡£ ¡£¡£¡£

СÃ×MiMoÌåÏÖ£¬£¬£¬£¬£¬ÍýÏëÔÚ¸ü´ó¹æÄ£Ä£×ÓÉϽøÒ»²½ÑéÖ¤HySparseµÄ¼«ÏÞºÍDZÁ¦£¬£¬£¬£¬£¬²¢Ò»Á¬Ì½Ë÷½µµÍFull Attention²ãÊýÄ¿µÄ¿ÉÄÜÐÔ£¬£¬£¬£¬£¬È󬳤ÉÏÏÂÎĸü¸ßЧ¡£¡£¡£ ¡£¡£¡£

arXivÁ´½Ó£ºhttps:ºã¿Æ½ðÊô¼Ó¹¤ÓÐÏÞ¹«Ë¾//arxiv.org/abs/2602.03560