PT视讯(中国区)官网

您目今位置:首页 > 新闻中心 > 新要闻

CineTrans：首个转场可控多镜头视频天生模子，，，，，，，，突破闭源手艺壁垒

2026-02-27 20:18:50

本文一作吴晓雪现在是复旦-上海人工智能实验室的联培博士生，，，，，，，，现在的研究偏向是可控多镜头天生、长视频天生。。。。。。

随着视频天生模子的快速生长，，，，，，，，其在画面质量、条件控制、美学体现上都已体现出影视级效果。。。。。。然而，，，，，，，，影视级长视频往往并非为单个镜头的无限延续，，，，，，，，而是具有转场的多镜头序列（Multi-shot Sequence）。。。。。。闭源模子 Sora2、Veo3 中多镜头视频已经能够体现出惊艳的效果。。。。。。

怎样使天生的视频带有自然的转�。。。。。。�，，，，，，，怎样指定转场的位置，，，，，，，，怎样令多个镜头形成富厚的语义流信号，，，，，，，，是视频天生模子在未来所面临的新挑战。。。。。。

针对这些问题，，，，，，，，来自上海人工智能实验室的研究团队提出了一种基于掩码机制的全新要领 CineTrans。。。。。。

基于对注重力特征的视察，，，，，，，，CineTrans 提出块对角掩码的通用机制，，，，，，，，使视频天生模子能高效地自动化转场。。。。。。为了进一步提升转场模子的效果和准确性，，，，，，，，作者设计了详细的多镜头视频生产管线，，，，，，，，并网络了一个高质量、多镜头数据集 Cine250K，，，，，，，，大幅提升多镜头转场视频天生的效果。。。。。。作为首个时间级可控的自动化转场模子，，，，，，，，CineTrans 为这一领域的众多后续要领提供了要害手艺。。。。。。

本文将深入先容这篇被 ICLR 2026 吸收的事情。。。。。。

论文问题：CineTrans: Learning to Generate Videos with Cinematic Transitions via Masked Diffusion Models论文链接：https://arxiv.org/pdf/2508.11484项目链接：https://uknowsth.github.io/CineTrans/代码链接：https://github.com/Vchitect/CineTrans数据集链接：https://huggingface.co/datasets/NumlockUknowSth/Cine250K

来看看 CineTrans 的效果：

Multi-Shot Case 视察：

扩散模子是怎样明确多镜头的

首先思索：在镜头转场情境中，，，，，，，，相比于单镜头视频，，，，，，，，模子在处置惩罚多镜头序列时有何差别。。。。。。关于这点，，，，，，，，作者假设，，，，，，，，关于两个相邻帧之间的相关性，，，，，，，，过渡点与非过渡点之间保存显著差别，，，，，，，，前者需要在像素级（pixel-level）差别的条件下包管语义级（semantic-level）的一致性，，，，，，，，后者则需要实现视觉连贯性。。。。。。

而在 Attention Layer 中，，，，，，，，所有 visual token 的交互是一律的，，，，，，，，但 Q 关于差别 K、V 的关注度则会有所差别，，，，，，，，这批注晰使用 Attention Map 作为主要视察工具的可能性。。。。。。

作者对大规模预训练模子中概率泛起的 Multi-Shot Case 举行视察，，，，，，，，如预期地发明，，，，，，，，某些 Layer 体现出较强的镜头内关联（Intra-shot）和较弱的镜头间关联（Inter-shot）。。。。。。更详细地说，，，，，，，，Attention Map 矩阵泛起块对角结构。。。。。。经由量化（intra-shot vs. inter-shot probability 26.88, r=0.71），，，，，，，，这一点被进一步证实。。。。。。

别的，，，，，，，，作者还在某些 Layer 发明了所有 visual token 对第一帧信息的高度关注。。。。。。这启发了使用 Attention 内部隐式明确告竣外部条件显式转场控制的要领设计。。。。。。

CineTrans：

基于掩码的控制要领

基于前文的视察，，，，，，，，作者提出了块对角掩码架构（Block-Diagonal Mask Mechanism），，，，，，，，并将第一帧作为锚点（Anchor），，，，，，，，切合 Diffusion Model 自己的特征，，，，，，，，意图在不破损模子自己结构和先验知识的条件下实现预界说的转场时间控制。。。。。。

将该掩码应用在部分 Attention Layer 中，，，，，，，，作者发明，，，，，，，，纵然在未经训练（training-free）的情形下，，，，，，，，模子也能在坚持视觉质量的同时实现较强的时间级控制效果。。。。。。

包括逐镜头天生（Shot-by-Shot）与端到端天生（End-to-End）的以往事情都可视作从两个维度解决多镜头问题：

转场的爆发：确保视频中的两帧爆发显着的像素级跳变，，，，，，，，镜头界线不泛起局部崩坏、粘连的情形。。。。。。转场前后的一致性维持：确保爆发转场前后的画面内容在语义上泛起强关联，，，，，，，，令画面的切换不会打断寓目者的体验。。。。。。

逐镜头的天生通太过别合成每个镜头自然包管的转场的爆发，，，，，，，，但将一致性的依赖至于模子外部（external），，，，，，，，例如条件注入（conditioning）、要害帧天生（keyframe）；；；；；端到端的天生通过 visual token 在前向历程中完全交互来维持整体一致性，，，，，，，，但并不显式区分镜头间与镜头内，，，，，，，，从而需要大规模训练才华让模子学会 multi-shot 的看法，，，，，，，，且缺乏明确的时间级控制手段。。。。。。

相比之下，，，，，，，，CineTrans 通过选择性的掩码战略在这两个维度实现了一种平衡计划：

全局信息交互：通过第一帧的 anchor 与未经掩码的 full attention，，，，，，，，visual token 举行全局交互，，，，，，，，实现来自模子内部（internal）的一致性包管。。。。。。镜头内局部交互：在块对角掩码的作用下，，，，，，，，镜头间的交互被限制，，，，，，，，相邻镜头之间的像素信息自然形成跳变，，，，，，，，在坚持全局一致性的条件下形成稳固的转场。。。。。。

进一步地，，，，，，，，在通过多镜头视频数据集微调以后，，，，，，，，CineTrans 也具备了影戏级剪辑的先验知识，，，，，，，，将转场前后的镜头关联明确内化在模子参数中，，，，，，，，实现更具备影戏美学的转场效果。。。。。。别的，，，，，，，，为了更富厚的内容体现，，，，，，，，CineTrans 也在 video-text cross attention 结构中使用了 shot-level 的掩码机制，，，，，，，，实现内容上的细粒度控制。。。。。。

Cine250K：

富厚的多镜头数据集

文章还提出了 Cine250K，，，，，，，，这也是 CineTrans 微调所接纳的多镜头数据。。。。。。Cine250K 经由了细腻的设计，，，，，，，，捕获人类剪辑序列中的先验知识，，，，，，，，提供优异美学体现、准确镜头标签、层级细节标注的视频数据。。。。。。其构建历程主要由三个阶段组成：

支解缝合阶段（Split & Stitch）：经由镜头切换识别后，，，，，，，，基于镜头间相邻帧之间的语义相似性将视频缝合起来，，，，，，，，并删除软过渡的�。。。。。。�，，，，，，，明确镜头界线，，，，，，，，涤讪模子间镜头一致性的基调，，，，，，，，提供时间级镜头标注。。。。。。筛选阶段（Selection）：基于镜头数目、视频基本信息、美学体现等举行筛选。。。。。。多层级标注（Caption）：为了细粒度语义控制，，，，，，，，对逐个镜头举行内容、气概、气氛多个维度的标注，，，，，，，，同时获得总体信息，，，，，，，，为多粒度控制提供可能。。。。。。

经由处置惩罚，，，，，，，，最后获得了约 25 万个经由细腻处置惩罚的多镜头视频-文本对，，，，，，，，它提供了富厚的剪辑艺术先验信息，，，，，，，，对多镜头天生使命来说，，，，，，，，具有主要意义。。。。。。

实验效果评估与剖析

文中将 CineTrans 的转场效果与多种 Multi-shot 天生要领举行比照，，，，，，，，包括逐镜头天生要领（StoryDiffusion + CogVideoXI2V）、大规模预训练要领（HunyuanVideo）和定制化要领（Cinematron LoRA）。。。。。。效果体现出了大幅度凌驾基线的转场控制得分（Transition Control Score），，，，，，，，以及在 Unet 和 DiT 架构上的泛化性。。。。。。

别的，，，，，，，，为了更好地较量镜头间一致性，，，，，，，，作者还提出了基于 JS 散度的新指标，，，，，，，，以权衡真实剪辑的数据与天生数据的漫衍差别。。。。。。经由可视化，，，，，，，，CineTrans 天生的视频在一致性漫衍也最靠近人类剪辑的视频数据，，，，，，，，体现出了贴近人类剪辑习惯的多镜头天生能力。。。。。。

总结与展望

使用扩散模子自己对多镜头序列的明确构建掩码，，，，，，，，CineTrans 实现了切合模子先验的时间级转场控制，，，，，，，，同时坚持了镜头间一致性与视频质量。。。。。。作为从逐镜头天生转向端到端天生的主要事情，，，，，，，，它在转场与一致性之间的权衡问题上给出了一个行之有用的谜底，，，，，，，，为未来针对镜头设计、更多剪辑艺术先验的多镜头视频探索打下了坚实的基础。。。。。。

现在，，，，，，，，CineTrans 的湖北光谷新能源有限公司代码、模子权重、数据集已在 GitHub 开源，，，，，，，，接待社区进一步研究与使用。。。。。。

【网站地图】【sitemap】