编辑｜Panda、冷猫
1895 年，，，，，卢米埃尔兄弟的无声影戏《火车进站》曾让观众赞叹甚至手忙脚乱 ；；；；；而直到 1927 年，，，，，当影戏《爵士歌手》让演员的声音与嘴唇行动同步时，，，，，影戏这项艺术才算真正「活」了过来 。。。。。。。。
爵士歌手片断，，，，，1927 年
在人类的感知中，，，，，视觉提供空间结构与构图语境，，，，，听觉则转达着时间节奏、情绪纹理与叙事的连贯性。。。。。。。。现在的 AI 视频大模子领域，，，，，也正在履历一场从单模态视觉合成向音视频团结天生的决议性范式转变。。。。。。。。
2026 年 2 月 27 日，，，，，昆仑天工正式宣布多模态视频基础模子SkyReels-V4。。。。。。。。该模子支持最高 1080p 区分率、32 FPS 帧率、最长 15 秒的影戏级画质输出，，，，，实现了音频与画面精准同步，，，，，并可周全笼罩从创意构想到细腻修辑的一站式视频创作事情流。。。。。。。。
凭证自力剖析机构 Artificial Analysis 最新宣布的标准化测试效果，，，，，SkyReels-V4 在文本天生视频 T2V（含音频）的现役模子榜单中取得全球第 2的效果，，，，，并在全球历史所有 T2V 模子总榜中位列第 4。。。。。。。。效果凌驾了 Veo 3.1、Sora 2、Vidu Q3 以及 Wan 2.6 等目今主流模子。。。。。。。。
榜单地点：https://artificialanalysis.ai/video/leaderboard/text-to-video?audio-output=true&include-non-current=true
空口无凭，，，，，我们无妨直接看效果。。。。。。。。以冬奥会为契机的冰雪运动依然热度不减，，，，，下面这段由 SkyReels-V4 天生的滑雪视频，，，，，直观展示了其在重大场景下的天生实力：
文本天生视频（T2V），，，，，简版提醒词：影戏级质感开场！�。。。。。。褐性毒爸�，，，，，@Actor-1 身穿亮橙色滑雪服、玄色头盔与橙黄雪镜，，，，，在雪脊上腾跃，，，，，远处雪峰与蓝天铺陈配景。。。。。。。。镜头切至低角度跟拍：他在陡坡深雪中 carving，，，，，雪雾翻飞；；；；；中景展现压低姿态控板，，，，，远景铺开辽阔山谷。。。。。。。。浚�？？？焖偌艏┎逄匦从牍憬牵杭弊涫毖┝７山�，，，，，侧向横切雪坡掠过松林，，，，，腾空跳跃与层叠山脊形成戏剧构图。。。。。。。。最后侧后跟拍特写，，，，，毛皮饰边随风扬起，，，，，手套紧握雪杖，，，，，雪沫炸裂。。。。。。。。�；；；；娑ǜ裨谛毖粝�，，，，，@Actor-1 滑向坡底。。。。。。。。
这个视频是 SkyReels-V4 基于纯文本提醒词天生的，，，，，其中展现出了模子对高度重大的多镜头叙事指令的惊人明确力。。。。。。。。从低角度跟拍到远景横切，，，，，再到雪沫飞溅的动态特写，，，，，SkyReels-V4 完善扛住了极高频的镜头调理。。。。。。。。它不但坚持了人物主体和场景在多重机位切换下的高度一致性，，，，，更将提醒词中要求的「影戏级质感」与物理运动学特征泛起得淋漓尽致。。。。。。。。
若是说重大的镜头调理是对视觉能力的磨练，，，，，那么下面这个「关公战秦琼」视频，，，，，则直观展示了其原生音视频同步天生的硬实力：
图像天生视频（I2V），，，，，提醒词：史诗级影戏镜头，，，，，@Actor-0 与 @Actor-1 在一片雷鸣交加的荒芜之地中坚持。。。。。。。。@Actor-0 横刀向前，，，，，怒喝道：「来者何人，，，，，竟敢挡我去路？？？？？！」@Actor-1 高举双锏，，，，，厉声回吼：「大唐秦叔宝，，，，，看锏！」吼声在荒原中回荡。。。。。。。。瞬间两人冲锋，，，，，刀锏相撞，，，，，火星四溅。。。。。。。。动态行动，，，，，强烈的决战，，，，，周围烟尘旋绕，，，，，高比照度光线，，，，，慢行动，，，，，体积光，，，，，史诗气氛，，，，，特写他们嘴唇翕动和凶狠心情。。。。。。。。
这段视频的初始提醒包括两张人物图像和一段文本。。。。。。。。浚�？？？梢钥吹�，，，，，在这个充满张力的桥段里，，，，，模子做到了音画维度的深度咬合。。。。。。。。武器相撞的响亮音效与火星四溅的视觉反响严丝合缝；；；；；更难堪的是，，，，，在特写镜头下，，，，，人物高亢强烈的台词发音与嘴唇肌肉的翕动完善对齐。。。。。。。。这种原生的视听耦合能力，，，，，让数字天生的角色具备了真实的生命力。。。。。。。。
SkyReels-V4 也能天生高质量的竖屏短视频：
I2V，，，，，同样使用了两张人物图像和一段文本，，，，，简版提醒词：短剧气概，，，，，奢华室内场景。。。。。。。。#Role_1 近景，，，，，神情隐忧。。。。。。。。切至 #Role_2 接电话，，，，，语气坚定：「我说我现在回来。。。。。。。。好。。。。。。。。」大厅远景，，，，，两人对立而站。。。。。。。。#Role_2 放下手机，，，，，中近景说道：「那我让二妹过来，，，，，让她送你回去。。。。。。。。」反打 #Role_1，，，，，轻摇头回应：「不必，，，，，不必这么贫困。。。。。。。。」回到 #Role_2，，，，，伸手欲触她肩，，，，，语气坚决，，，，，配景响起降低主要气氛音乐：「不可。。。。。。。。」
在这段主打微心情与对白交互的文戏片断中，，，，，模子展现了对内敛情绪与视听同步的精准控制力。。。。。。。。从广角全景的空间调理到逆向机位的特写反打，，，，，镜头的连贯性获得了极好维持。。。。。。。。更值得探讨的是其在中文语境下的声画耦合体现，，，，，当角色讲出「那我让二妹过来，，，，，让她送你回去」与轻声婉拒的「不必，，，，，不必这么贫困」时，，，，，不但中文口型咬字准确无误，，，，，连同眉头微蹙、眼神惊惶等细微的面部肌肉调理，，，，，也与台词的重音及情绪升沉高度对齐。。。。。。。。陪同着底层富有律动感的低音悬疑配乐适时切入，，，，，系统将一段一样平常的对话拉扯，，，，，渲染出了极具陶醉感的戏剧张力。。。。。。。。浚�？？？雌鹄�，，，，，SkyReels-V4 有望成为短剧制作者们的得力工具。。。。。。。。虽然，，，，，看得出来，，，，，SkyReels-V4 在天生画面中的文字方面尚有待提升。。。。。。。。
不但云云，，，，，SkyReels-V4 甚至还能编辑视频，，，，，好比我们可以输入一张图像、一段视频和一段简朴指令，，，，，让北极狼跳起迈克尔?杰克逊标记性的捂裆行动。。。。。。。。
视频编辑，，，，，提醒词：Replace the dancer in the middle of the stage in @video_1 with the wolf from @image_1, ensuring consistent movements.
目测，，，，，要火。。。。。。。。
从上面几个 demo 可以看到，，，，，SkyReels-V4 支持文本、图像、视频等多种模态的输入。。。。。。。。要知道，，，，，在目今的视频天生生态中，，，，，主流系统普遍保存模态割裂与功效疏散的痛点。。。。。。。。SkyReels-V4 乐成实现了突围，，，，，成为了全球首个同时支持多模态输入、团结音视频天生以及统一天生与编辑使命的视频基础模子
该模子主打「全模态参考」的焦点优势，，，，，能够无缝吸收文本、图像、视频片断、掩码以及音频参考等富厚指令。。。。。。。。
这意味着，，，，，创作者无需在多个工具间繁琐切换，，，，，即可在简单网络内完成从创意构想到专业级音视频同步输出的端到端创作。。。。。。。。
手艺报告：SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model报告地点：https://arxiv.org/abs/2602.21818
三大焦点突破，，，，，让 AI 能画也能说
现阶段的 AI 视频大模子往往像是一个偏科的优等生。。。。。。。。它们大多善于画面天生，，，，，但若是在天生画面的同时还要配上同步的声音，，，，，往往就会显得力有未逮。。。。。。。。这种浅层的手艺缝合往往会导致画面里的生齿型对不上，，，，，或者音效比行动慢半拍。。。。。。。。
针对这个行业通病，，，，，昆仑天工团队在底层架构上举行了大刀阔斧的刷新。。。。。。。。
新提出的要领概览
让音视频成为「双胞胎」：双流 MMDiT 架构与混淆注重力
SkyReels-V4 接纳了一种对称的双流架构，，，，，如上图左侧所示。。。。。。。。
你可以把它想象成一对双胞胎，，，，，视频分支和音频分支拥有各自的自力通道，，，，，但共享着统一个基于 MMLM 的「大脑」来处置惩罚文本输入。。。。。。。。
为了平衡模态对齐与参数效率，，，，，这套架构包括了混淆的双流与单流处置惩罚模浚�？？？椤！�。。。。。。在前 M 层中，，，，，视频和音频保存各自自力的参数空间（如层归一化和 MLP 等），，，，，但通过团结自注重力机制举行交互 ；；；；；而在随后的 N 层里，，，，，模子会切换到单流架构，，，，，使用共享参数以提高盘算效率。。。。。。。。
在整个天生历程中，，，，，这两个分支还会通过双向跨注重力机制一直地「交流眼神」。。。。。。。。音频流会关注视频特征，，，，，视频流也会反向关注音频特征，，，，，从而在特征层面上实现了真正的咬合与同步。。。。。。。。
现在，，，，，虽然架构对称了，，，，，但尚有一个问题：音视频天生的时间流速也完全差别。。。。。。。。打个例如，，，，，同样天生 5 秒的内容，，，，，视频潜变量跨越 21 帧，，，，，但音频潜变量却包括着高达 218 个特征 token （相当于 44.1 kHz ）。。。。。。。。
为相识决这种时间标准的错位，，，，，昆仑天工团队引入了RoPE 旋转位置编码频率缩松手艺
他们将音频的 RoPE 频率凭证 21 与 218 的比值（约即是 0.09633 ）举行了专门调解，，，，，使其与视频较粗的时间区分率相匹配。。。。。。。。别的，，，，，为了区分输入条件和天生目的，，，，，模子还接纳了带偏移的 3D RoPE ，，，，，为条件潜变量付与负数的时间索引。。。。。。。。
这种底层的数学对齐可确保两个模态能够凭证相同的时间节奏去相互关注，，，，，彻底治好了 AI 视频恒久以来的音画差别步顽疾。。。。。。。。
把所有重大编辑酿成一道「填空题」：通道拼接统一框架
为了处置惩罚繁杂的编辑操作，，，，，系统将带有噪声的视频潜变量、VAE 编码的条件帧以及二进制掩码在通道维度上直接拼接起来。。。。。。。。
于是，，，，，一切都被简化为特定掩码设置下的修复问题。。。。。。。。
例如，，，，，若是掩码全为 0 ，，，，，意味着让模子重新天生视频，，，，，即文本到视频（T2V）使命 ；；；；；若是仅第一帧的掩码为 1 ，，，，，那就是让模子依据首帧向下续写，，，，，即图像到视频（I2V）使命。。。。。。。。虽然，，，，，也可以通过让前 k 帧的掩码为 1 来实现视频扩展，，，，，或让需要编辑的区域的掩码为 0 来实现视频编辑。。。。。。。。
据先容，，，，，通过调解时空掩码的参数，，，，，局部重绘、主体替换甚至是重大的元素消除都可以被无缝笼罩。。。。。。。。
好比在下面的例子中，，，，，一段简朴指令就移除了画面中两位指定的角色：
原视频
移除了其中两位角色后的视频，，，，，提醒词：Remove the young man with short blond hair holding a flashlight on the far right and the woman with long, wavy blonde hair in a dark purple top in @video_1.
凭此能力，，，，，SkyReels-V4 也可成为一个去水印或字幕的利器：
视频去字幕演示，，，，，左为原视频，，，，，右为处置惩罚后的视频，，，，，提醒词：Remove the subtitles in @video_1.
更巧妙的是，，，，，在处置惩罚这类视觉修复使命时，，，，，音频分支还可以凭证修改后的视频内容从零最先天生声音，，，，，确保修改后的视觉和听觉始终坚持逻辑一致。。。。。。。。
先起草再精修：引入 VSA 希罕注重力的超分降本战略
天生 1080p 区分率、 32 FPS 帧率以及 15 秒时长的视频对算力的消耗是惊人的。。。。。。。。
昆仑天工团队设计了团结天生低区分率全序列与高区分率要害帧的高效机制：系统先快速打好底稿，，，，，随后再交由专用的超区分率和帧插值模浚�？？？槔丛霾瓜附凇！�。。。。。。
视频超区分率与帧插值要领的流程。。。。。。。。F 体现基础模子的输出隐含体现，，，，，KF 体现基础模子的要害帧隐含体现。。。。。。。。
这中心最硬核的提效手段是引入了可训练的视频希罕注重力机制（VSA）
VSA 架构概览，，，，，来自 arXiv:2505.13389
VSA 通过两阶段分层处置惩罚，，，，，先简陋聚适时空块找到要害区域，，，，，然后再对这些 top-K 的要害块举行麋集的注重力盘算。。。。。。。。这套计划能在包管画质不降低的条件下，，，，，将注重力盘算本钱降低约 3 倍！
虽然，，，，，重大的视频基础模子需要一套严谨的学习路径，，，，，昆仑天工团队为此接纳了一种多阶段的渐进式训练范式
为了让模子稳步掌握空间看法与时间动态，，，，，整个训练历程被拆解为多个明确的阶段。。。。。。。。
在最初的阶段，，，，，模子先从基础的 256px 文本到图像预训练最先，，，，，这一阶段使用了 30 亿张图像，，，，，专门用于打好空间构图和语义明确的基础。。。。。。。。随后模子最先引入基础的视频片断，，，，，并在后续的训练中逐步扩展到 480px、720px 以及 1080px 的多区分率混淆训练。。。。。。。。在最后的有监视微调阶段，，，，，该团队使用了 500 万条多模态视频数据，，，，，并叠加了 100 万条经由人工精选的高质量视频举行最终打磨。。。。。。。。
所有阶段的完整训练妄想。。。。。。。。这种渐进战略会逐步提高区分率、时间长度和使命重漂后。。。。。。。。
正是这种细腻的战略，，，，，最终促成了模子在视觉质量、运动流通度以及声音自然度上的周全奔腾。。。。。。。。
全场景?全流程?全模态
已往的视频模子更偏向「单点天生」。。。。。。。。
这是较量好明确的。。。。。。。。输入一句提醒词，，，，，输出一段画面。。。。。。。。�；；；；蛘呋谝徽磐季湍芄谎诱钩黾该胧悠怠！�。。。。。。天生、编辑、修复、配音往往疏散在差别工具中，，，，，音频多为后期叠加，，，，，创作流程也被拆分成多个阶段。。。。。。。。
虽然说模子能力在一直提升，，，，，也能天生一些让人眼前一亮的效果，，，，，但这距离 AI 视频天生向真正能用好用的内容创作工具的转变仍然有一段距离。。。。。。。。
真正让人震撼的是「整合」，，，，，是把文本、图像、视频片断、音频参考整合进统一天生系统的能力。。。。。。。。也就是 SkyReels-V4 所强调的「全模态参考」，，，，，是多模态信息在底层架构中的协同。。。。。。。。
柴可夫斯基和《魔兽天下》吉安娜共跳爱乐之城，，，，，基于两张图像和一段视频的视频编辑，，，，，提醒词：Replace the skirt-wearing woman on the left in @video_1 with the man from @image_1, and replace the white-shirt-wearing man on the right in @video_1 with the woman from @image_2, ensuring consistent movements.
音频与视频在扩散历程中同步天生，，，，，多种参考条件在统一时空框架内配相助用，，，，，种种天生使命被统一进一套盘算逻辑中
创作者因此拥有更高的控制精度。。。。。。。。人物形象可以坚持，，，，，行动可以迁徙，，，，，音色能够复刻，，，，，局部区域可定向修改，，，，，整体气概可以调解，，，，，这些控制条件可以在一次天生历程中同时施展作用。。。。。。。。视频生产从一次性输出，，，，，转向可控、可迭代的创作流程。。。。。。。。
这种架构带来的直接效果，，，，，是创作历程的一连性提升。。。。。。。。创作者可以基于参考图像锁定人物外观，，，，，使用参考视频迁徙行动，，，，，通过音频样本坚持音色与情绪表达，，，，，同时对局部区域举行细腻修改。。。。。。。。1080p、32FPS、15 秒输出规格，，，，，使这些控制能力具备现实生产价值。。。。。。。。音视频在天生阶段深度协同，，，，，镌汰后期赔偿环节，，，，，提升整体一致性。。。。。。。。
SkyReels-V4 就像一把瑞士军刀，，，，，真正打造了一个能够笼罩全场景，，，，，全流程，，，，，全模态的天生工具。。。。。。。。
还记得 Seedance 2.0 宣布，，，，，起源让创作者感受到了全模态「整合」的意义。。。。。。。。影视飓风 Tim 在视频里对全模态整合的天生模子这样评价：
「这不是一个小的手艺刷新，，，，，这是一个会推走行业所有已往流程和沉淀的一个海啸，，，，，我就会这么形容它。。。。。。。。」
而 SkyReels-V4 的宣布，，，，，标记着 AI 视频天外行艺从 「简单功效合成」 进入 「全流程一体化创作」 的新阶段
开启创作「全栈时代」
以 Tim 为代表的创作者们很焦虑，，，，，似乎「越起劲做越比不过 AI 的前进速率，，，，，以前学的工具越没有价值」。。。。。。。。
这种焦虑着实并不须要。。。。。。。。已往我们围绕「素材」举行剪辑，，，，，现在最先围绕「语义」和「意图」举行调理与天生。。。。。。。。模子不再只是执行指令的工具，，，，，而逐渐成为明确创作结构、加入创作决议的系统。。。。。。。。
AI 天生模子愈发整合，，，，，正是行业扩展的强盛工具箱，，，，，形成笼罩创意输入到成片输出的完整链路，，，，，而创作者永远是挪用工具的海员。。。。。。。。
在 Seedance 2.0 给行业展示了多模态整合天生的潜力后，，，，，产品进入了一个风控收紧的阶段。。。。。。。。SkyReels-V4 正是在这个时间节点推出，，，，，依附多模态明确和视听同步天生的底层突破，，，，，深刻重塑了内容生产的事情流，，，，，为追求替换计划的专业用户提供了极具竞争力的选择。。。。。。。。
放眼整个昆仑天工 AI 生态，，，，，底层大模子与前端产品正在形成细密的双向驱动，，，，，构建起一个相辅相成的昌盛生态。。。。。。。。现在，，，，，昆仑天工已确立了四大模子家族：Skywork 系列大模子、Mureka 音乐音频模子、SkyReels 视频大模子和 Matrix Game 游戏天下模子。。。。。。。。
在这个矩阵之中，，，，，手艺基座与应用场景已经实现了深度融合。。。。。。。。一方面，，，，，Skywork 系列文本大模子与多模态 Skywork R1V 系列等、音乐天生模子 Mureka V8 等前沿基座，，，，，为天工超等智能体（Skywork Super Agents）、AI 音乐创作平台 Mureka、AI 社交 Linky 和 AI 游戏「猫森学园」等营业提供了强盛的底层引擎；；；；；另一方面，，，，，这些高频活跃的前端产品也在一直拓展手艺的落地界线，，，，，以真实的交互需求反哺大模子的一连进化。。。。。。。。
新宣布的 SkyReels-V4 填补了这一生态在全模态视听内容生产上的要害拼图。。。。。。。。这种模子赋能产品、产品滋养模子的生态闭环，，，，，将实质性地买通广告与影视等工业的商业链路，，，，，把内容创作的辽阔想象落到实处。。。。。。。。
未来，，，，，SkyReels-V4 将支持 60 秒以上的视频天生、实时交互编辑，，，，，并开放 API 与全系产品协同。。。。。。。。随着这一模子工具的迭代进化，，，，，内容生产也将进入一个全新的工业化的「全栈时代」
文中视频链接:https:/海南天涯旅馆治理有限公司/mp.weixin.qq.com/s/bEi9bIHN0z8ebB89Pei5eQ