PT视讯(中国区)官网

您目今位置:首页 > 新闻中心 > 新要闻

美团提出全新多模态统一大模子STAR，，，，，，，，破解“明确-天生”零和困局

2026-03-01 20:05:05

克日，，，，，，，，美团推出全新多模态统一大模子计划 STAR（STacked AutoRegressive Scheme for Unified Multimodal Learning），，，，，，，，依附立异的"堆叠自回归架构 + 使命递进训练" 双焦点设计，，，，，，，，实现了"明确能力不打折、天生能力达顶尖" 的双重突破。。。。。。。

在 GenEval（文本 - 图像对齐）、DPG-Bench（重大场景天生）、ImgEdit（图像编辑）等 benchmark 中，，，，，，，，STAR 实现了 SOTA 性能；；；；；用最简训练逻辑与紧凑模子设计让统一多模态大模子真正走向工业级落地。。。。。。。

论文问题：STAR: Stacked AutoRegressive Scheme for Unified Multimodal Learning论文链接：https://arxiv.org/pdf/2512.13752项目主页：https://star-mm-ai.github.io代码地点：https://github.com/MM-MVR/STAR要害词：统一多模态、堆叠自回归、使命渐进式训练

一、行业痛点：统一多模态大模子的 “能力诅咒”

在通向 AGI 的历程中，，，，，，，，将 “视觉明确” 与 “图像天生” 统一于简单参数空间被视为多模态大模子的圣杯，，，，，，，，然而实践层面却恒久受制于 “能力诅咒”，，，，，，，，详细体现为三重矛盾。。。。。。。

1. 优化目的互斥 —— 语义对齐与像素保真的零和博弈

明确使命的焦点是"语义对齐与逻辑推理"—— 好比识别图像中的物体、回覆图文相关问题，，，，，，，，需要模子精准捕获跨模态的语义关联；；；；；而天生使命的焦点是"像素保真与创意表达"—— 好比凭证文本形貌天生高清图像，，，，，，，，需要模子兼顾细节还原与内容连贯性。。。。。。。两者的优化目的、特征空间显著差别，，，，，，，，导致团结训练陷入零和博弈：强化天生能力，，，，，，，，明确准确率会下降；；；；；深耕明确使命，，，，，，，，天生图像的清晰度、语义一致性会打折。。。。。。。

2. 训练范式繁复 —— 从零训练与混淆架构的双重瓶颈

现有两条手艺蹊径均面临高昂训练本钱：

(1) 端到端从零训练需在亿级图文 - 天生配对数据上做多使命平衡，，，，，，，，优化空间维度高达千维，，，，，，，，超参敏感性呈指数级放大，，，，，，，，训练周期常以 “月” 为单位；；；；；

(2) 混淆架构通过扩散模子与自回归模子的组合实现功效笼罩，，，，，，，，但需要设计重大的特征转换桥（feature bridge）、特另外适配器（adapter）或复合损失（hybrid loss），，，，，，，，增添了整体调参难度。。。。。。。

3. 能力扩展退化 —— 灾难性遗忘与容量饱和

在预训练明确主干上增量引入天生使命时，，，，，，，，模子泛起典范的灾难性遗忘（catastrophic forgetting），，，，，，，，原本善于的图像问答、逻辑推理能力会显著下降。。。。。。。其泉源在于参数容量饱和与表征滋扰 —— 天生使命的像素级扰动在特征空间形成噪声，，，，，，，，改变了早期对齐的语义特征，，，，，，，，致使 “万能扩展” 成为 “轮换专精”。。。。。。。

面临这些行业痛点，，，，，，，，美团 MM 团队提出了一个直击焦点的问题：能否在完全保存多模态明确能力的条件下，，，，，，，，一连、高效地增强模子的天生与编辑能力？？？？？？？？STAR 计划的降生，，，，，，，，给出了一定且可扩展的解答。。。。。。。

二、焦点立异：重构多模态学习的"能力生长规则"

STAR 的要害不是简单手艺突破，，，，，，，，而是构建了一套 “能力叠加不冲突” 的多模态学习系统，，，，，，，，焦点围绕「冻结基础 + 堆叠扩展 + 分阶训练」范式，，，，，，，，通过三大焦点设计实现「明确、天生、编辑」三大能力的统一，，，，，，，，同时阻止相互滋扰。。。。。。。整个框架由 “堆叠同构 AR 模子 + 使命递进训练 + 辅助增强机制” 三大部分协同组成。。。。。。。

1、焦点架构：堆叠同构 AR 模子（Stacked-Isomorphic AR）

STAR 的焦点架构立异，，，，，，，，是其"堆叠同构 AR 模�？？？？？？？�" 的设计，，，，，，，，彻底简化了多模态能力扩展的重漂后，，，，，，，，就像给模子"搭积木" 一样无邪高效：

（1）同构设计，，，，，，，，零适配本钱：新增的堆叠模�？？？？？？？橛牖� AR 模子接纳完全相同的架构（自注重力机制 + 前馈神经网络），，，，，，，，参数初始化直接复用基础模子的顶层参数。。。。。。。这意味着新增模�？？？？？？？槲扌柚匦卵盎√卣鳎�，，，，，能快速适配现有模子的特征空间，，，，，，，，阻止了古板混淆架构中"特征转换桥" 的重大设计；；；；；

（2）单目的训练，，，，，，，，极简优化：无需设计特另外损失函数，，，，，，，，仅通过标准的"下一个 token 展望" 目的即可完成天生与编辑能力的训练。。。。。。。这一目的与基础模子的训练目的完全一致，，，，，，，，确保了训练历程的稳固性，，，，，，，，大幅降低调参难度；；；；；

（3）参数紧凑，，，，，，，，落地友好：STAR-3B 仅在 Qwen2.5-VL-3B 基础上新增 1.2B 参数（16 层堆叠模�？？？？？？？椋�，，，，，STAR-7B 新增 3B 参数（14 层堆叠模�？？？？？？？椋�，，，，，却实现了天生能力的跨越式提升。。。。。。。STAR 的紧凑设计很是适合工业化安排，，，，，，，，能有用降低推理本钱。。。。。。。

2、焦点范式：使命递进式训练（Task-Progressive Training）

STAR 突破了传一切一模子 “混在一起训练” 的模式，，，，，，，，把多模态学习拆成四阶段递进流程，，，，，，，，每一步都冻结已有焦点能力，，，，，，，，扩展新手艺：

（1）第一阶段（VQ 训练）：先训练 “图像分词” 能力，，，，，，，，训练 STAR-VQ 把图片拆成细粒度离散 token，，，，，，，，为后续天生 / 编辑打下基�。。。。。。。�；；；；

（2）第二阶段（文本生图预训练）：在冻结的明确模子上，，，，，，，，堆叠 AR 模�？？？？？？？樽叛纳际姑�，，，，，只更新新模�？？？？？？？椴问�，，，，，不碰原有明确能力；；；；；

（3）第三阶段（AR - 扩散对齐训练）：单独优化扩散解码器，，，，，，，，让天生的图片更清晰，，，，，，，，其他模�？？？？？？？榧岢侄辰幔�；；；；

（4）第四阶段（统一指令微调）：团结训练堆叠 AR 和扩散解码器，，，，，，，，同时掌握 “生图 + 编辑”，，，，，，，，用梯度阻止机制阻止新使命滋扰旧能力。。。。。。。

STAR 通过使命递进式训练，，，，，，，，让每一步新能力的学习都不破损已有成能力，，，，，，，，实现 “明确能力不退化，，，，，，，，天生 / 编辑能力逐步增强”。。。。。。。

3、辅助增强机制：两大概害优化

1. 高容量图像量化器（STAR-VQ）

古板 VQ 模子拆分图片粗、细节丧失多，，，，，，，，STAR-VQ 做了两大升级：

（1）规模扩容：代码本规模从 16384 提升到 65536，，，，，，，，向量维度从 8 维提升到 512 维，，，，，，，，能捕获更多图像细节；；；；；

（2）阻止瓦解：通过新增 codebook 映射层，，，，，，，，解决大 codebook 训练中常见的码本瓦解问题，，，，，，，，包管所有 token 都能被有用使用；；；；；

（3）焦点作用：天生更精准的视觉 token，，，，，，，，让后续天生 / 编辑使命能还原更细腻的图像细节。。。。。。。

2. 隐式推理机制（Implicit Reasoning）

面临重大提醒，，，，，，，，古板天生模子容易泛起语义错位、细节遗漏的问题。。。。。。。STAR 的隐式推理机制，，，，，，，，让模子学会"先推理，，，，，，，，再天生"：

（1）当吸收到重大提醒时，，，，，，，，冻结的基础 AR 模子先举行推理，，，，，，，，天生蕴含焦点知识的隐式 latent tokens；；；；；

（2）这些 latent tokens 作为条件输入，，，，，，，，指导堆叠模�？？？？？？？榫傩型枷裉焐�。。。。。。。这一设计实现了"语义推理" 与"像素天生" 的解耦，，，，，，，，让天生历程更有逻辑，，，，，，，，大幅提升了重大场景下的语义对齐度。。。。。。。

三、实验效果

STAR 的突破性体现，，，，，，，，获得了权威 benchmark 的周全验证，，，，，，，，在明确、天生、编辑三大使命中均展现出顶尖实力。。。。。。。

1. 天生使命：

在文本 - 图像天生的焦点 benchmark 中，，，，，，，，STAR 的体现惊艳：

（1）GenEval（语义对齐权威 benchmark）：STAR-7B 以 0.91 的综合得分刷新 SOTA。。。。。。。在物体计数、颜色属性、空间关系、实体属性等 6 个子使命中，，，，，，，，STAR 有 5 项排名第一；；；；；

（2）DPG-Bench（重大场景天生 benchmark）：STAR-7B 以 87.44 的得分领先，，，，，，，，在多物体组合、重大场景形貌等使命中体现突出，，，，，，，，天生的图像不但细节富厚，，，，，，，，还能精准还原文本中的逻辑关系；；；；；

（3）WISEBench（天下知识推理 benchmark）：STAR-7B 以 0.66 的综合得分，，，，，，，，逾越同类统一模子，，，，，，，，证实其隐式推理机制能有用使用天下知识，，，，，，，，提升重大提醒的天生质量。。。。。。。

2. 编辑使命：

在图像编辑 benchmark 中，，，，，，，，STAR 展现出强盛的无邪适配能力，，，，，，，，能精准响应"添加物体、替换配景、调解气概、删除元素" 等种种编辑指令：

（1）ImgEdit（笼罩 9 类编辑使命）：STAR-7B 以 4.34 的综合得分刷新 SOTA。。。。。。。在"物体提取"" 行动编辑" 等子使命中，，，，，，，，得分划分抵达 4.19、4.60，，，，，，，，领先同类模子；；；；；

（2）MagicBrush（语义编辑 benchmark）：STAR-7B 的 CLIP-I 得分达 0.934（语义一致性），，，，，，，，L1 误差低至 0.056（像素保真度）。。。。。。。这意味着 STAR 在完成编辑使命的同时，，，，，，，，能最洪流平保存原图的焦点内容，，，，，，，，阻止"太过编辑" 或"语义偏离"。。。。。。。

3. 明确使命：

即便专注于增强天生与编辑能力，，，，，，，，STAR 的明确能力依然坚持顶尖水平。。。。。。。在 9 大权威明确 benchmark 中，，，，，，，，STAR 的体现领先于同类多模态模子。。。。。。。

四、总结与展望

STAR 的实质是 “用最精练的结构实现最周全的能力统一”：通过 “使命递进” 解决训练冲突，，，，，，，，通过 “堆叠同构 AR” 降低扩展本钱，，，，，，，，通过 “STAR-VQ + 隐式推理” 提升能力上限，，，，，，，，最终实现 “明确、天生、编辑” 三大使命的顶尖性能，，，，，，，，为多模态模子的可一连扩展提供了全新思绪。。。。。。。

STAR 为多模态模子的无滋扰、可扩展扩展提供了全新手艺路径，，，，，，，，后续可从以下偏向进一步探索：

（1）能力界线扩展：在现有明确、天生、编辑基础上，，，，，，，，纳入视频天生、3D 重修等更重大的多模态使命，，，，，，，，验证框架的泛化性；；；；；

（2）效率优化：目今模子仍需多阶段训练，，，，，，，，未来可探索更高效的团结训练战略，，，，，，，，或轻量化堆叠模�？？？？？？？橐越档桶才疟厩�；；；；

（3）推理能力深化：进一步强化隐式推理机制，，，，，，，，团结外部知识库或强化学习，，，，，，，，提升模子在超重大逻辑、跨领域知识场景下的天生准确性；；；；；

（4）多模态融合升级：拓展文重庆渝海港航物流有限公司本、图像之外的模态（如语音、触觉），，，，，，，，构建更周全的通用多模态系统，，，，，，，，推感人工通用智能（AGI）的生长。。。。。。。

【网站地图】【sitemap】