编辑｜杨文
AI 网红们在社交平台上混得风生水起。。。。。 。。
他们手握品牌相助，，，，，，，还坐拥百万粉丝，，，，，，，但许多人至今不知这些都是 AI 天生的，，，，，，，依然像追真人明星一样互动、点赞、被种草。。。。。 。。
视频泉源：X 博主 @thetripathi58
这也难怪有博主直呼：虚拟网红时代已经到来。。。。。 。。
现在，，，，，，，昆仑万维也来添了把火，，，，，，，直接把背后的手艺开源了。。。。。 。。
1 月 29 日，，，，，，，Skywork AI 团队宣布开源 SkyReels-V3 多模态视频天生模子系列。。。。。 。。该系列涵盖参考图像转视频、视频延伸和音频驱动虚拟形象三大焦点能力，，，，，，，在简单建模架构中实现高保真多模态视频天生，，，，，，，抵达业界领先水平。。。。。 。。
好比，，，，，，，只需一张虚拟主播照片配上音频，，，，，，，就能天生口型精准、心情生动的主播视频：
上传几张素材图，，，，，，，输入文字形貌，，，，，，，AI 就能自动编倾轧一条完整的带货短片：
还能像专业导演一样，，，，，，，为视频设计切入、切出、正反打等影戏级转场效果：
更要害的是，，，，，，，这次是完全开源。。。。。 。。任何有想法的创作者，，，，，，，都能用这套工具快速搭建自己的虚拟 IP，，，，，，，甚至批量生产内容矩阵。。。。。 。。
GitHub 链接： https://github.com/SkyworkAI/SkyReels-V3API 链接（限时免费）：https://www.apifree.ai/model/skywork-ai/skyreels-v3/standard/single-avatar
一手实测
SkyReels-V3 的现实体现究竟怎样？？？ ？？？？我们第一时间针对三大焦点功效举行了周全测试。。。。。 。。
参考图像转视频
这个功效允许用户上传 1-4 张参考图像，，，，，，，配合文本提醒词，，，，，，，天生时间连贯、语义一致的视频。。。。。 。。参考图像可以是人物、物体或场景，，，，，，，模子会精准保立足份特征、空间构图，，，，，，，并凭证提醒词编排叙事逻辑。。。。。 。。
我们首先测试了电商应用场景。。。。。 。。
上传马斯克的照片和小象玩偶图，，，，，，，输入提醒词：在温馨的客厅里，，，，，，，马斯克坐在沙发上，，，，，，，微笑着拿起身旁的小象玩偶，，，，，，，然后将玩偶举到镜头前展示，，，，，，，阳光从窗户洒进来，，，，，，，气氛温暖。。。。。 。。
天生视频中，，，，，，，纵然替换了配景，，，，，，，马斯克面部特征也坚持高度一致，，，，，，，未泛起扭曲或者「换脸」，，，，，，，行动自然流通，，，，，，，商品展示角度恰到利益。。。。。 。。
我们又上传了手袋商品图和素颜模特照，，，，，，，输入提醒词：时尚的都会陌头，，，，，，，这个模特拿着 LV 包，，，，，，，展示包的细节和质感。。。。。 。。
SkyReels-V3 立马把模特置于熙熙攘攘的都会夜景中，，，，，，，边走边展示产品细节，，，，，，，人物行动优雅，，，，，，，构图也很专业。。。。。 。。
我们还实验上传多张参考图像，，，，，，，让差别人物或物体在指定场景下爆发互动。。。。。 。。
好比把奥特曼的照片丢给它，，，，，，，再来张酷炫智能眼镜和公园图片，，，，，，，然后下指令：男子戴着智能眼镜在公园里散步。。。。。 。。
模子准确识别人物、物体和配景，，，，，，，并凭证提醒词编倾轧合理的交互行动。。。。。 。。
最近《怪奇物语》热度蹿升，，，，，，，我们上传三名小演员的剧照，，，，，，，外加一张上外洋滩图片，，，，，，，输入提醒词：这三小我私家在上外洋滩自拍。。。。。 。。
SkyReels-V3 能同时处置惩罚好几张完全差别的参考图，，，，，，，精准还原人物特征，，，，，，，包管整体气概统一，，，，，，，连衣饰发型都完善迁徙。。。。。 。。
天生视频里三小我私家一起自拍的互动看起来绝不违和，，，，，，，心情特殊自然，，，，，，，行动也流通得很。。。。。 。。
视频延伸
视频延伸功效则可以将输入的视频片断延伸为更长内容，，，，，，，同时坚持运动动态、场景结构和视觉气概的一致性。。。。。 。。它支持单镜头延伸和镜头切换延伸两种模式。。。。。 。。
镜头延伸模式下，，，，，，，我们提供了一段女生开心面临镜头的视频，，，，，，，输入提醒词：女孩笑着笑着突然严肃起来，，，，，，，延伸 5 秒钟。。。。。 。。
这种从开心到严肃的心情过渡需要模子掌握好微心情的转背叛奏，，，，，，，不可太突兀。。。。。 。。SkyReels-V3 对人脸心情动态和情绪演变的明确相当到位，，，，，，，延伸历程中女生的面部特征、光影效果和整体视觉气概都没走样。。。。。 。。
镜头切换延伸模式则更具创意空间。。。。。 。。它支持切入、切出、多角度、正反镜头、切离五种专业转场。。。。。 。。
详细而言，，，，，，，切入镜头从广角过渡到特写，，，，，，，切出镜头则相反；；；；；；正反打镜头指的是在对话场景中，，，，，，，从面向一人的镜头切换到面向另一人的镜头；；；；；；多角度镜头是切换到差别角度来展示目今场景；；；；；；切离镜头则是过渡到目今场景中的新区域。。。。。 。。
就以切入镜头为例。。。。。 。。我们上传女杀手偷袭的时势，，，，，，，输入提醒词「Close-up on the girl's face as she aims, sweating」。。。。。 。。
SkyReels-V3 能够明确 Close-up 这种专业摄影术语，，，，，，，从瞄准行动到面部特写的过渡坚持了叙事的连贯性，，，，，，，又通过景别转变增强了画面张力。。。。。 。。
虚拟形象模子
虚拟形象模子则可以从单张肖像图和音频片断天生音视频同步的视频，，，，，，，支持分钟级长度和多角色交互。。。。。 。。
我们先测试了最基础的单角色虚拟形象 。。。。。 。。上传肖像照，，，，，，，配上音乐片断，，，，，，，SkyReels-V3 快速天生一段唱歌 MV，，，，，，，人物唇形与音频完全同步，，，，，，，并能坚持画面稳固。。。。。 。。
泛化能力同样精彩。。。。。 。。我们测试了真实人物、卡通角色等差别气概，，，，，，，模子都能稳固天生高质量效果。。。。。 。。
别的，，，，，，，它还支持多人物互动场景。。。。。 。。我们上传了朱迪和尼克在咖啡店喝咖啡的参考图，，，，，，，为每个对话片断设置音频。。。。。 。。
模子自动识别出图片形象，，，，，，，精准控制每个角色的启齿时机，，，，，，，未泛起两个角色同时张嘴或者对不上口型的尴尬情形。。。。。 。。
手艺解读
Skywork AI 团队此次开源，，，，，，，为视频天生领域带来了新的手艺选择。。。。。 。。
该系列模子在简单建模架构中集成了参考图像转视频、视频延伸和音频驱动虚拟形象三大焦点模�？？ ？？？？椋�，，，，，在坚持高保真度的同时实现了多模态的无邪应用。。。。。 。。
先说参考图像转视频功效。。。。。 。。这一能力的实现建设在三层手艺立异之上。。。。。 。。在数据构建层面，，，，，，，团队从海量高质量视频数据中筛选具有显著动态运动的素材，，，，，，，随后通过跨帧配对战略一连视频序列中选择参考�。。。。。 。。�，，，，，以确保时间多样性。。。。。 。。
团队还使用图像编辑模子举行主体提取、配景补全和语义重写，，，，，，，有用阻止了古板要领中常见的「复制粘贴」伪影问题，，，，，，，并通过多层过滤机制包管参考图像质量。。。。。 。。
SkyReels-V3 实现了统一的多参考条件战略，，，，，，，能够团结编码视觉和文本信息，，，，，，，支持最多 4 张参考图像的无邪组合。。。。。 。。这意味着开发者无需举行显式的手动组合，，，，，，，即可实现重大的多主体、多元素视频天生。。。。。 。。
训练战略方面，，，，，，，模子接纳了图像 - 视频混淆训练计划，，，，，，，团结使用大规模图像和视频数据集，，，，，，，并通过多区分率团结优化提升了对差别空间标准和宽高比的鲁棒性，，，，，，，原生支持多种输出设置。。。。。 。。
在涵盖影戏电视、电商、广告等场景的 200 对混淆测试集上，，，，，，，SkyReels-V3 在参考一致性和视觉质量方面均处于海内领先位置，，，，，，，验证了其手艺计划的有用性。。。。。 。。
视频延伸模�？？ ？？？？槭� SkyReels-V3 手艺实力的另一体现。。。。。 。。
其焦点立异在于双模式延伸机制的设计。。。。。 。。单镜头延伸模式实现平滑的镜头继续，，，，，，，坚持视角和叙事连贯；；；；；；镜头切换延伸模式则支持切入、切出、多角度、正反镜头、切离等五种专业转场类型，，，，，，，为视频创作提供了影戏级的叙事工具。。。。。 。。
为支持这一能力，，，，，，，团队开发了专门的镜头切换检测器，，，，，，，能够自动剖析长视频中的镜头转�。。。。。 。。�，，，，，识别并分类转场类型，，，，，，，同时支持手动选择，，，，，，，有用构建了高质量的训练数据。。。。。 。。
手艺实现上，，，，，，，SkyReels-V3 接纳了统一的多分段位置编码计划，，，，，，，支持重大多分段视频延伸的准确运动建模，，，，，，，并通太过层混淆训练实现平滑的镜头切换。。。。。 。。鲁棒时空建模使其能够有用处置惩罚快速运动、多主体交互和场景剧变等重大情形，，，，，，，确保天生内容的物理可信度和时间连贯性。。。。。 。。
该模�？？ ？？？？橹С� 480p 和 720p 区分率，，，，，，，单镜头延伸可调理 5 至 30 秒长度，，，，，，，并支持 1:1、3:4、4:3、16:9、9:16 等多种宽高比，，，，，，，为差别应用场景提供了无邪的输出选项。。。。。 。。
虚拟形象模子的手艺计划则聚焦于音视频精准对齐和要害帧约束天生气制
研究团队开发了专用的音视频对齐训练战略，，，，，，，通过区域掩码建模显式的语音单位与面部运动的对应关系，，，，，，，实现了对多语言、多气概、快速语速的鲁棒性能。。。。。 。。
要害帧约束天生则通过建设结构主要的要害�。。。。。 。。�，，，，，天生帧间平滑过渡，，，，，，，确保长视频中的角色一致性和自然运动流。。。。。 。。
从整体架构来看，，，，，，，SkyReels-V3 的焦点优势在于其模�？？ ？？？？榛杓评砟�。。。。。 。。三大功效模�？？ ？？？？楦髯跃缮疃扔呕�，，，，，既可以自力使用，，，，，，，也能凭证现实需求无邪组合，，，，，，，为差别应用场景提供了充分的适配空间。。。。。 。。
企业级的数据处置惩罚管线确保了天生质量的稳固性，，，，，，，而在推理端，，，，，，，团队融合了蒸馏、量化及算子优化等多项手艺，，，，，，，打造出低延迟、高吞吐的推理引擎，，，，，，，使得模子在现实安排中具备更强的可用性。。。。。 。。
在训练效率方面，，，，，，，SkyReels-V3 接纳了极致的显存与盘算优化计划，，，，，，，支持起高区分率长视频的千卡级稳固高效训练。。。。。 。。
结语
SkyReels-V3 选择完全开源，，，，，，，某种水平上反应了 AI 视频天生领域的竞争态势。。。。。 。。
在 Runway、Pika 等外洋产品依附先发优势占有市场时，，，，，，，海内团队通过开源战略快速建设生态、获取反响、迭代优化，，，，，，，不失为一种智慧的打法。。。。。 。。
而这背后的底气，，，，，，，自然源于昆仑万维在视频天生领域的恒久手艺积累。。。。。 。。
早在 2025 年 2 月，，，，，，，昆仑万维就开源了中国首个面向 AI 短剧创作的视频天生模子SkyReels-V1，，，，，，，以及中国首个 SOTA 级别基于视频基座模子的心情行动可控算法SkyReels-A1
4 月，，，，，，，SkyReels-V2作为全球首个使用扩散强迫（Diffusion-forcing）框架的无限时长影戏天生模子正式宣布。。。。。 。。随后，，，，，，，SkyReels-A2带来了可控视频天生框架，，，，，，，SkyReels-A3则实现了恣意时长的全模态音频驱动数字人创作。。。。。 。。
昆仑万维在视频天生领域的迭代速率和手艺深度可见一斑。。。。。 。。
除此之外，，，，，，，昆仑天工还自研了包括语言大模子、多模态大模子、SWE 代码大模子、Agent 大模子、视频大模子、3D 大模子、音乐大模子、音频大模子在内的 8 大模子矩阵，，，，，，，并一连开源几十个模子，，，，，，，在多个国际评测中取得开源最优效果。。。。。 。。
视频模子只是这个 AI 矩阵中的一环，，，，，，，却是毗连文本、图像、音频等多模态能力的要害节点。。。。。 。。
此次 SkyReels-V3 的开源，，，，，，，预示着 AI 视频天生的竞争正在进入更强烈的阶段。。。。。 。。手艺壁垒逐渐被突破，，，，，，，真正的较量也才刚刚最先。。。。。 。。
文中视频链接：https:/优品连锁超市有限公司/mp.weixin.qq.com/s/KU61dqc-Ka8i9hRWF5enBg