浙江大学团队宣布UniVBench：首个统一视频基础模子评测基准

2026-03-01 00:31:33

这项由浙江大学、字节跳动和浙江实验室团结开展的研究揭晓于2026年2月25日的arXiv预印本平台，，，，，，论文编号为arXiv:2602.21835v1。。。。。。。。有兴趣深入相识的读者可以通过该编号盘问完整论文。。。。。。。。

当我们谈论人工智能的生长时，，，，，，视频明确和天外行艺可以说是当下最激感人心的领域之一。。。。。。。。就像一位万能艺术家既要能浏览影戏又要能拍摄影戏一样，，，，，，现在的AI系统也在朝着能够同时明确视频内容和天生视频内容的偏向生长。。。。。。。。不过，，，，，，要评判这样一位"万能艺术家"的真实水平，，，，，，我们需要一套周全而公正的考试系统。。。。。。。。

古板的视频AI评测就像是让一位全才艺术家划分加入绘画考试、音乐考试和舞蹈考试，，，，，，每个考试都有差别的评分标准，，，，，，最后我们很难知道这位艺术家的综合实力究竟怎样。。。。。。。。更贫困的是，，，，，，绘画考试可能用的是毕加索的作品做问题，，，，，，音乐考试用的是贝多芬的乐曲，，，，，，而舞蹈考试又用了芭蕾舞剧片断——这些素材可能在训练阶段就被AI"学"过了，，，，，，就像学生提前知道了考试谜底一样，，，，，，考试效果自然不敷准确。。。。。。。。

浙江大学的研究团队敏锐地发明了这个问题。。。。。。。。他们注重到，，，，，，现有的视频AI评测基准保存三个根天性的局限性。。。。。。。。首先是各自为政的评测方法，，，，，，明确视频的AI和天生视频的AI用的是完全差别的评测标准，，，，，，就像用丈量身高的尺子去称体重一样不对理。。。。。。。。其次是内容泉源的问题，，，，，，许多评测用的都是网上的视频片断，，，，，，这些内容很可能在AI训练历程中就见过，，，，，，评测效果的可信度大打折扣。。。。。。。。最后是评测维度的不完整，，，，，，现有的基准往往只关注某几个方面，，，，，，好比只看画面质量不看故事连贯性，，，，，，或者只看色彩搭配不看镜头运动，，，，，，无法周全权衡AI的真实能力。。。。。。。。

为相识决这些问题，，，，，，研究团队开发了一个名为UniVBench的全新评测基准。。。。。。。。这就像是为万能艺术家设计了一套完整的综合考试，，，，，，不但涵盖了绘画、音乐、舞蹈等各个艺术门类，，，，，，还确保了考试内容的原创性和评分标准的一致性。。。。。。。。

一、重新界说视频AI的能力界线

要明确UniVBench的立异之处，，，，，，我们首先需要明确现在的视频AI究竟在做什么。。。。。。。�；；；；；氐絇T视讯(中国区)官网艺术家比喻，，，，，，古板的AI更像是专业的单项选手：有些专门"看画"（视频明确），，，，，，能够准确形貌一幅画里有什么内容、用了什么技法、表达了什么情绪；；；；；有些专门"作画"（视频天生），，，，，，能够凭证形貌创作出响应的画作。。。。。。。。而新一代的统一视频基础模子则试图成为真正的万能艺术家，，，，，，既能看懂也能创作。。。。。。。。

可是，，，，，，怎样评判一位万能艺术家的水平呢？？？？？？？研究团队以为，，，，，，需要从六个焦点使命来考察：视频明确（就像艺术谈论）、文本天生视频、参考图像天生视频、文本指令视频编辑、参考图像视频编辑，，，，，，以及最具挑战性的视频重构使命。。。。。。。。

这里的视频重构使命特殊有意思，，，，，，它就像是让艺术家先浏览一幅画，，，，，，然后用自己的话形貌这幅画，，，，，，最后再凭证自己的形貌重新画一遍。。。。。。。。若是重新画出来的作品与原作高度相似，，，，，，说明这位艺术家不但明确能力强，，，，，，创作能力也很强。。。。。。。。这个使命巧妙地将明确和天生两个能力团结起来，，，，，，成为磨练AI综合实力的试金石。。。。。。。。

更主要的是，，，，，，研究团队为这套评测系统设定了八个主要维度和二十一个细分维度，，，，，，就像是制订了一套详细的艺术评判标准。。。。。。。。这些维度涵盖了视频的方方面面：从画面气概到主体工具，，，，，，从行动体现到配景场景，，，，，，从镜头运动到光影效果，，，，，，从色彩搭配到空间关系。。。。。。。。每一个维度都有详细的评判细则，，，，，，确保评测的周全性和公正性。。。。。。。。

二、构建无污染的评测情形

解决了评什么的问题，，，，，，接下来就是用什么来评的问题。。。。。。。。这就像是为艺术家准备考试问题，，，，，，既要有足够的难度和区分度，，，，，，又要确�？？？？？？？忌懊挥屑庑┪侍�。。。。。。。。

研究团队接纳了一个很是巧妙的要领：他们没有使用现成的网络视频，，，，，，而是专门制作了全新的原创内容。。。。。。。。整个制作历程就像是一部全心策划的纪录片拍摄。。。。。。。。首先，，，，，，十五位具有视频制作配景的专业职员接受了详细的培训，，，，，，学习怎样凭证研究团队制订的八个维度标准来创作视频剧本。。。。。。。。这些专家需要确保每个剧本都笼罩了所有评测维度，，，，，，同时坚持叙事的连贯性和逻辑性。。。。。。。。

剧本完成后，，，，，，团队使用顶级的商业视频天生接口（包括海螺、快影、Veo3等）来制作视频。。。。。。。。但制作历程并不是一次性完成的，，，，，，而是接纳了严酷的三重质量控制机制。。。。。。。。就像影戏制作中的多轮审核一样，，，，，，每个视频都要经由自动化预筛选、专家组评审和质量专员终检三个环节。。。。。。。。只有在所有环节都获得通过的视频才华进入最终的评测集。。。。。。。。平均下来，，，，，，每个视频需要经由2.3次天生实验才华抵达标准。。。。。。。。

最终，，，，，，研究团队构建了一个包括200个高质量视频的评测集，，，，，，其中100个是单镜头视频，，，，，，100个是多镜头视频（平均每个视频包括3.72个镜头）。。。。。。。。这些视频不但在手艺层面抵达了专业标准，，，，，，更主要的是完全阻止了版权问题和数据污染问题，，，，，，为公正评测涤讪了坚实基础。。。。。。。。

除了视频自己，，，，，，研究团队还为每个视频准备了详细的文字形貌、多名堂的编辑指令和参考图像。。。。。。。。其中，，，，，，参考图像库包括864张全心挑选的图片，，，，，，涵盖了人物主体、动物主体、非生物主体等种种类型，，，，，，以及现实主义、动画、艺术、科幻、衣饰、材质等六大气概种别。。。。。。。。这样的设置确保了评测使命的多样性和挑战性。。。。。。。。

三、智能化评测系统的手艺突破

有了好的考试内容，，，，，，还需要一位公正而专业的考官。。。。。。。。古板的视频评测往往依赖简单的数值指标，，，，，，就像只用一把尺子来权衡艺术作品的价值一样，，，，，，显然是不敷的。。。。。。。。研究团队开发了一个名为UniV-Eval的智能评测系统，，，，，，它就像是一位履历富厚的艺术谈论家，，，，，，能够从多个角度深入剖析作品的优劣。。。。。。。。

这个智能评测系统的事情流程很是巧妙。。。。。。。。当它拿到一个需要评测的视频时，，，，，，首先会举行使命妄想和内容剖析。。。。。。。。关于多镜头视频，，，，，，系统会自动识别镜头切换点，，，，，，将重大的长视频剖析为若干个自力的镜头单位。。。。。。。。然后，，，，，，它会凭证差别的评测使命，，，，，，将参考图像和编辑指令与响应的镜头举行匹配。。。。。。。。这就像是一位仔细的先生在修正作文时，，，，，，会逐段逐句地举行剖析，，，，，，确保不遗漏任何主要细节。。。。。。。。

接下来是最焦点的镜头级别细腻化评测。。。。。。。。系统会对每个镜头举行九个主要类别的详细剖析：主体工具、相对位置、行动体现、配景场景、色彩信息、光照信息、视频气概、气氛营造和镜头信息。。。。。。。。每个主要种别又进一步细分为详细的子项目，，，，，，总共形成21个细分维度的评测系统。。。。。。。。

这种评测方法的优势在于它的可诠释性和可追溯性。。。。。。。。古板的评测要领可能只给出一个总分，，，，，，好比"这个视频质量得分85分"，，，，，，但无法告诉你详细那里好那里欠好。。。。。。。。而UniV-Eval会天生一份详细的"诊断报告"，，，，，，明确指出视频在哪些方面体现精彩，，，，，，哪些方面需要刷新。。。。。。。。好比，，，，，，它可能会指出"镜头运动流通度优异，，，，，，但主体工具的一致性保存问题，，，，，，在第3秒到第9.8秒之间泛起了行动不协调的情形"。。。。。。。。

为了确保评测效果的可靠性，，，，，，研究团队还举行了大规模的人工验证实验。。。。。。。。他们随机选择了10%的评测数据，，，，，，约请专业的人类评审员举行自力评分，，，，，，然后与智能评测系统的效果举行比照。。。。。。。。效果显示，，，，，，系统的判断与人类专家的意见一致性抵达了85%，，，，，，这个数字充分证实晰评测系统的专业性和准确性。。。。。。。。

四、展现目今AI视频手艺的真实水平

当这套全新的评测基准应用到现有的主流视频AI模子时，，，，，，效果既在意料之中又令人深思。。。。。。。。研究团队测试了包括商业化产品（如GPT-5、Gemini 2.5 Pro、Seed 1.6等）和开源模子（如CogVideoX、CoDi-2、Omni-Video等）在内的多个主流系统。。。。。。。。

测试效果就像是一场万能运动会，，，，，，每个参赛选手都有自己的强项和弱项，，，，，，但没有一个能在所有项目上都体现突出。。。。。。。。在视频明确使命中，，，，，，Gemini 2.5 Pro体现最为精彩，，，，，，平均得分抵达54.1%，，，，，，就像是一位履历富厚的影戏谈论家，，，，，，能够准确明确视频的内容和意图。。。。。。。。相比之下，，，，，，统一模子Showo-2在这个使命上只获得了16.3%的分数，，，，，，显示呈现在的统一模子在明确能力上尚有很大的提升空间。。。。。。。。

在视频天生使命中，，，，，，情形有所差别。。。。。。。。Seedance-1.0-Pro依附77.9%的高分成为最强的天生模子，，，，，，就像是一位武艺精湛的导演，，，，，，能够凭证剧本创作出高质量的视频作品。。。。。。。。但有趣的是，，，，，，纵然是这样的优异模子，，，，，，在某些维度上仍然保存显着的短板。。。。。。。。

特殊值得注重的是行动维度，，，，，，这是所有模子的配合薄弱环节。。。。。。。。无论是明确类使命照旧天生类使命，，，，，，行动维度的得分普遍偏低。。。。。。。。这就像是让艺术家形貌或创作动态场景时总是显得力有未逮，，，，，，说明目今的AI在处置惩罚重大时序动态信息方面还面临着手艺挑战。。。。。。。。相比之下，，，，，，天生模子在色彩、光照和视频气概等静态属性上体现更为精彩，，，，，，这些维度的得明确显高于行动维度。。。。。。。。

最引人深思的是视频重构使命的效果。。。。。。。。这个使命最能体现统一模子的真实水平，，，，，，由于它需要模子首先准确明确视频内容，，，，，，然后基于明确天生新的视频。。。。。。。。测试效果显示，，，，，，纵然是体现最好的Wan2.1-VACE-14B模子也只抵达了62.7%的得分。。。。。。。。更主要的是，，，，，，通过比照原始视频、文本天生视频和重构视频三者之间的差别，，，，，，研究团队发明重构视频与原始视频的纷歧致性最为显着，，，，，，这批注在明确到天生的信息转达历程中保存显著的损失。。。。。。。。

五、手艺挑战与未来生长偏向

通过深入的案例剖析，，，，，，研究团队进一步展现了目今视频AI手艺面临的详细挑战。。。。。。。。以一个典范的测试案例为例，，，，，，原始视频展示的是两只动物走向镜头前方并向观众挥手的场景。。。。。。。。当使用文本形貌天生视频时，，，，，，由于有准确的文字形貌作为指导，，，，，，大大都模子都能天生相对合理的效果。。。。。。。。但在重构使命中，，，，，，模子需要先自己明确视频内容，，，，，，再基于自己的明确重新天生，，，，，，效果显示险些所有模子都无法准确捕获到"两只动物走向镜头前方并挥手"这个要害行动序列。。。。。。。。

另一个案例越发有趣。。。。。。。。原始视频显示一只猫进入恐龙造型的宠物窝，，，，，，而宠物窝的嘴巴在猫进入时会张开。。。。。。。。这个细节看似简朴，，，，，，但对AI来说却是极大的挑战，，，，，，由于它涉及到物体间的交互逻辑和因果关系。。。。。。。。测试效果显示，，，，，，大大都模子天生的视频都缺失了这个要害的交互细节，，，，，，说明目今AI在明确和天生重大时空关系方面尚有很长的路要走。。。。。。。。

研究团队还发明了一个有趣的征象：在参考图像天生视频的使命中，，，，，，当视频涉及多个镜头切换时，，，，，，模子往往难以坚持参考工具的一致性。。。。。。。。好比，，，，，，第一个镜头中的人物形象可能与后续镜头中的统一人物泛起显着差别，，，，，，就像演员在影戏中途突然换了脸一样。。。。。。。。这个问题反应了目今手艺在处置惩罚长时序一致性方面的局限性。。。。。。。。

通过与古板评测指标的比照，，，，，，研究团队还展示了新评测系统的优势。。。。。。。。古板的BLEU分数主要关注文本层面的词汇重叠，，，，，，在面临长度差别较大的视频形貌时往往失去准确性。。。。。。。。而基于大语言模子的评判要领虽然能提供一定的语义剖析，，，，，，但往往只给出整体性的评价，，，，，，缺乏细粒度的诊断信息。。。。。。。。相比之下，，，，，，UniV-Eval能够提供可追溯的多维度剖析，，，，，，明确指出详细问题所在，，，，，，为模子刷新提供了清晰的指导偏向。。。。。。。。

六、对未来AI生长的深远影响

UniVBench的宣布不但仅是一个评测工具的降生，，，，，，更像是为整个AI视频手艺领域树立了一座新的里程碑。。。。。。。。它的意义就像是在一个没有统一怀抱衡的市场里引入了标准的尺子和秤，，，，，，让差别的产品可以在统一个标准下举行公正较量。。。。。。。。

从手艺生长的角度来看，，，，，，这套评测基准为研究职员提供了明确的起劲偏向。。。。。。。。就像运发动有了明确的训练目的和评判标准，，，，，，AI研究者现在也能更有针对性地刷新自己的算法。。。。。。。。特殊是那些试图开发统一视频基础模子的团队，，，，，，可以使用这套基准来诊断自己模子的详细问题，，，，，，然后有的放矢地举行优化。。。。。。。。

从工业应用的角度来看，，，，，，UniVBench为视频AI手艺的商业化提供了主要的质量包管工具。。。。。。。。就像汽车行业有碰撞测试标准、电器行业有清静认证标准一样，，，，，，视频AI行业现在也有了自己的"质检标准"。。。。。。。。这将资助用户更好地选择适合自己需求的AI产品，，，，，，同时也推动整个行业向更高质量的偏向生长。。。。。。。。

更主要的是，，，，，，这项研究展现了目今手艺生长的不平衡性。。。。。。。。研究效果批注，，，，，，只管AI在某些方面（如静态画面天生、色彩搭配等）已经抵达了相当高的水平，，，，，，但在动态明确、时序一致性、重大交互等方面尚有很大的提升空间。。。。。。。。这种不平衡性提醒我们，，，，，，真正的AI视频明确和天外行艺还需要更多的手艺突破。。。。。。。。

研究团队也坦诚地指出了目今事情的局限性。。。。。。。。虽然200个高质量视频足以举行周全的评测，，，，，，但关于训练大规模统一视频模子来说还远远不敷。。。。。。。。因此，，，，，，他们妄想在未来大幅扩展数据集的规模，，，，，，不但用于评测，，，，，，更要用于训练更强盛的统一模子。。。。。。。。这就像是从制作一个细腻的样品房生长到制作整个社区，，，，，，需要更多的资源投入和时间积累。。。。。。。。

别的，，，，，，目今的评测主要集中在手艺层面的指标，，，，，，未来还需要加入更多关于适用性、创意性、伦理性等方面的评判标准。。。。。。。。事实，，，，，，一个真正优异的视频AI不但要手艺过硬，，，，，，还要能够创立有价值、有意义的内容。。。。。。。。

说究竟，，，，，，UniVBench的泛起标记着视频AI手艺评测进入了一个新的时代。。。。。。。。它不但为目今手艺生长提供了一面镜子，，，，，，让我们看清现状，，，，，，更为未来的手艺突破指明晰偏向。。。。。。。。就像GPS为旅行者提供准确的位置信息和最优路径一样，，，，，，这套评测基准将资助AI研究者更好地导航在手艺生长的蹊径上。。。。。。。。

随着越来越多的研究团队最先使用这套标准，，，，，，我们有理由信托，，，，，，视频AI手艺将迎来越发快速和平衡的生长。。。。。。。。也许在不久的未来，，，，，，我们就能看到真正意义上的万能视频AI助手，，，，，，它们不但能够明确PT视讯(中国区)官网视频内容，，，，，，还能凭证PT视讯(中国区)官网需求创立出令人赞叹的视频作品。。。。。。。。而所有这一切的起点，，，，，，正是像UniVBench这样严谨而周全的评测基准的建设。。。。。。。。

有兴趣深入相识这项开创性研究的读者，，，，，，可以通过论文编号arXiv:2602.21835v1盘问完整的手艺细节，，，，，，相关代码和数据集也已在GitHub上开源，，，，，，为整个研究社区的生长孝顺了名贵的资源。。。。。。。。

Q&A

Q1：UniVBench与现有视频评测基准有什么差别？？？？？？？

A：UniVBench最大的差别在于它是首个统一评测基准，，，，，，能同时评估视频明确、天生、编辑和重构等六个焦点使命。。。。。。。。现有基准都是针对简单使命设计的，，，，，，就像划分考绘画、音乐、舞蹈，，，，，，而UniVBench是综合艺术考试。。。。。。。。更主要的是，，，，，，它使用完全原创的200个高质量视频，，，，，，阻止了数据污染问题，，，，，，确保评测效果越发公正准确。。。。。。。。

Q2：视频重构使命为什么这么主要？？？？？？？

A：视频重构使命是磨练AI综合能力的试金石。。。。。。。。它要求AI先明确视频内容，，，，，，用文字形貌出来，，，，，，再凭证自己的形貌重新天生视频。。。。。。。。若是重构视频与原视频高度相似，，，，，，说明AI的明确和天生能力都很强。。。。。。。。研究发明，，，，，，纵然是最好的模子在这个使命上也只能抵达62.7%的准确率，，，，，，批注现有AI在明确到天生的信息转达历程中保存显著损失。。。。。。。。

Q3：通俗用户怎样使用UniVBench的研究效果？？？？？？？

A：虽然UniVBench主天峰建材有限公司要是为AI研究者设计的专业工具，，，，，，但它的研究效果对通俗用户也有主要意义。。。。。。。。通过这套基准的测试效果，，，，，，用户可以更清晰地相识差别AI视频工具的真实能力和局限性，，，，，，从而做出更明智的选择。。。。。。。。好比，，，，，，若是你主要需要视频明确功效，，，，，，可以优先思量在明确使命上得分较高的模子；；；；；若是需要生乐成能，，，，，，则选择天生使命体现更好的工具。。。。。。。。