鹭羽 发自 凹非寺量子位 |盛源衣饰制造有限公司 公众号 QbitAI
好家伙，，，，，，AGI真的「Open」了我的生涯。。。。。。。（doge）
想买件海淀风穿搭，，，，，，模特上身库库种草，，，，，，效果扒出来是AI。。。。。。。
视频链接：https://mp.weixin.qq.com/s/W8-pcKLrzlYn6vJZ8VTakw
听播客听上头了，，，，，，效果你猜咋滴，，，，，，照旧AI……
视频链接：https://mp.weixin.qq.com/s/W8-pcKLrzlYn6vJZ8VTakw
不开顽笑，，，，，，AI视频现在是真的卷，，，，，，网友们的脑洞也是一个比一个大～
只要不标AI tag、不仔细看，，，，，，压根分不清是AI照旧坚持手搓的先生傅。。。。。。。
不卖关子了，，，，，，这款引起全网疯玩的AI模子，，，，，，就是昆仑天工最新宣布的SkyReels-V3。。。。。。。
而刚刚，，，，，，它正式宣布开源。。。。。。。
u1s1，，，，，，每次昆仑天工的开源都照旧很值得期待滴～开源即王者，，，，，，这次也不破例。。。。。。。
作为一款多模态视频天生模子，，，，，，SkyReels-V3可谓十八般武艺样样醒目：
不但会文生视频、图生视频，，，，，，还能把视频延伸再延伸，，，，，，从短视频到长视频无缝切换，，，，，，更有专门的虚拟形象模子，，，，，，让音频更贴脸。。。。。。。
All in all，，，，，，用一个词形貌，，，，，，就是——倍儿真实！
拒绝已往AI天生视频的僵硬感、割裂感，，，，，，SkyReels-V3将AI创作推向“既周全又专精”的新高度。。。。。。。
并且这么强还开源，，，，，，妥妥的手艺福音。。。。。。。
那么话未几说，，，，，，我们立马实测走起。。。。。。。
AI天生效果真假难辨
先来一波图像转视频试试水，，，，，，喂给模子这样两张参考图片：
康康这位外国小姐姐能不可乐成带货咱最近爆火网络的安徽霉豆腐：
在下雪的室外，，，，，，这位女士正在热情地切着霉豆腐，，，，，，并招呼围观的路人前来购置。。。。。。。
视频链接：https://mp.weixin.qq.com/s/W8-pcKLrzlYn6vJZ8VTakw
霉豆腐这下也是走出国门了。。。。。。。
主体特征还原得相当到位，，，，，，人物手部行动也很流通自然。。。。。。。再仔细看细节，，，，，，配景中飘落的雪花以及行人身影都被1:1复刻，，，，，，画面动态十足，，，，，，每一帧都经得起推敲，，，，，，满昏！
除了带货场景，，，，，，咱再来解锁名时势——萝卜纸巾猫！
在房间里，，，，，，猫咪眼前摆放着萝卜和纸巾，，，，，，当人类手指指向纸巾时，，，，，，猫咪随即伸出爪子指向纸巾。。。。。。。
蒸蚌，，，，，，这是什么智慧的绝世大好猫！昆仑天工快送孩子去高考（doge）
不过这AI也太懂我了，，，，，，不但圆满完成和纸巾盒的互动使命，，，，，，还知心地附赠了撸猫环节。。。。。。。
视频链接：https://mp.weixin.qq.com/s/W8-pcKLrzlYn6vJZ8VTakw
最近看到LeCun、哈萨比斯尚有马斯克关于智能实质的争论，，，，，，感受蛮有意思，，，，，，那无妨让三位来场线下battle吧。。。。。。。
在舞台上，，，，，，三小我私家在强烈争吵。。。。。。。
效果是酱紫的：
视频链接：https://mp.weixin.qq.com/s/W8-pcKLrzlYn6vJZ8VTakw
哈萨比斯不语，，，，，，哈萨比斯只是一味叹气：
5s视频还没看够的话，，，，，，还可以举行语义连贯的视频延伸，，，，，，这里有两种延伸模式可选�。。。。。。�
单镜头延伸：坚持镜头平滑一连。。。。。。。镜头切换延伸：支持专业转场，，，，，，包括切入、切出、多角度、正反镜头、切离。。。。。。。
也可无邪选择区分率（480P或720P）、调理长度（5-30秒）和画幅（1:1、3:4、4:3、16:9、9:16）。。。。。。。
先看一个单镜头延伸6s的官方示例：
视频链接：https://mp.weixin.qq.com/s/W8-pcKLrzlYn6vJZ8VTakw
可见整体效果是连贯一致的，，，，，，画面色彩过渡协调，，，，，，也没有显着的卡顿感，，，，，，说是一镜究竟也不为过。。。。。。。
镜头切换延伸上，，，，，，同样来看个官方切离效果。。。。。。。
视频链接：https://mp.weixin.qq.com/s/W8-pcKLrzlYn6vJZ8VTakw
是不是有《西部天下》那味儿了？？？？？？？
从主要场景切换到次要场景，，，，，，显然模子想象力十足，，，，，，但又不脱离原有剧情，，，，，，情形光影、人物形态通通拿捏。。。。。。。
这下再也不必担心影视剧创作时灵感枯竭了，，，，，，可以直接来抄AI作业（bushi）
另外尚有个王炸功效——虚拟形象天生，，，，，，简朴来说就是数字人。。。。。。。
不过，，，，，，这可不但仅局限于常见的单人虚拟主播，，，，，，多人物对话OK，，，，，，动物塑漫画风OK，，，，，，绕口令唱歌也OK。。。。。。。
好比先上才艺：
视频链接：https://mp.weixin.qq.com/s/W8-pcKLrzlYn6vJZ8VTakw
未几说了，，，，，，如听仙乐耳暂明，，，，，，开巡演我是会买票支持的那种。。。。。。。
再好比经典重现：“衬衫的价钱为九磅十五便士”，，，，，，一些死去的影象在攻击我……
视频链接：https://mp.weixin.qq.com/s/W8-pcKLrzlYn6vJZ8VTakw
模子轻松驾驭多角色互动的木偶气概，，，，，，唇形转变也始终与音频同步，，，，，，次元壁一下子破了。。。。。。。
最厥后个分钟级长视频收尾，，，，，，AI记者全程不卡壳，，，，，，职业素质一流。。。。。。。
视频链接：https://mp.weixin.qq.com/s/W8-pcKLrzlYn6vJZ8VTakw
全方位体验完这套模子后，，，，，，我最强烈的感受是，，，，，，AI终于进化成我看不懂的容貌了。。。。。。。
啥都能做，，，，，，并且样样拔尖，，，，，，无论是像我这样的通俗玩家头脑风暴，，，，，，照旧专业人士用来商业成片，，，，，，都细节度拉满。。。。。。。
那么是怎样做到的呢？？？？？？？
开源的行业领先手艺
首先在回覆这个问题前，，，，，，我们可以先试图追念一下最近刷到的AI视频们，，，，，，它们之间是否有什么共性能够让人一眼识别出是AI天生的。。。。。。。
（321）
谜底揭晓，，，，，，AI视频普遍“不真”的缘故原由，，，，，，归根结底有三点：
1、高质量视频数据稀缺：
现有的训练数据大多建设在粗糙的影视画面或监控视频上，，，，，，缺乏高质量3D维度的真实天下标注数据，，，，，，并且这些数据集中在高频场景，，，，，，以是关于一些不熟悉的行动，，，，，，AI只能瞎猜。。。。。。。
2、时空注重力的算力瓶颈：
受限于盘算重漂后，，，，，，目今主流的视频天生模子难以在长序列中生涯影象，，，，，，从而导致帧与帧之间缺少连贯性，，，，，，极易泛起空间上的变形和时间上的卡顿。。。。。。。
3、缺乏对底层物理纪律的明确：
AI并没有真正明确现实天下的运行纪律，，，，，，只是在概率展望下一帧的画面，，，，，，一旦场景变得重大，，，，，，就极易泛起违反物理纪律的诡异形变。。。。。。。
为此，，，，，，SkyReels-V3针对上述问题，，，，，，团结细腻化数据处置惩罚和高效训练架构，，，，，，实现了模子在主体一致性、指令遵照度、视频时长、音频对齐等多方面的手艺突破。。。。。。。
首先在模子架构上，，，，，，接纳“一核多支”的方法。。。。。。。
将Multi-modal In Context Learning（多模态上下文学习）预训练框架作为统一的基座模子，，，，，，再针对三大子使命举行差别化精调。。。。。。。
下面我们逐一拆解：
参考图像使命
SkyReels-V3在图生视频上，，，，，，为维持角色与场景的一致性，，，，，，主要依赖三个办法：
（1）数据构建
这一步的焦点是为模子提供高质量训练数据，，，，，，为此团队专门构建了一套完整的数据处置惩罚流程。。。。。。。
先是去掉那些偏静态的视频片断，，，，，，只保存行动幅度大、视觉信息富厚的内容。。。。。。。然后接纳跨帧配对（cross-pair）战略，，，，，，通过从一连视频中跨时间选取参考帧，，，，，，让模子学会明确长距离的转变逻辑。。。。。。。
再借助图像编辑模子，，，，，，对主体区域举行精准提取，，，，，，并同步举行配景补全与语义级重构，，，，，，从而消除直接拷贝带来的视觉伪影。。。。。。。
最后通过多层质量筛选流程，，，，，，确保最终图像可用。。。。。。。
（2）多参考条件融合
简朴来说，，，，，，就是通过信息统一编码，，，，，，将文本和图像输入转换成模子能明确的内容。。。。。。。
其中参考图像最多可支持4张，，，，，，这就意味着可以同时给模子多个参考工具，，，，，，好比一张人物图、一张场景图、一张打扮图、一张细节图，，，，，，就能实现精准的细节控制，，，，，，而无需再艰辛地写重大指令。。。。。。。
模子会自动将其缝合在一个视频里，，，，，，天生结构重大、主体富厚的视频内容。。。。。。。
（3）混淆训练战略
这一步是为了提高模子的泛化能力。。。。。。。
引入图像-视频混淆训练机制，，，，，，能够让模子既拥有图像的高区分率，，，，，，又拥有视频的动态逻辑。。。。。。。
再团结多区分率团结优化，，，，，，增强模子对差别空间尺寸和宽高比的鲁棒性。。。。。。。以后无论是16:9的影戏感照旧9:16的短视频感，，，，，，模子都能原生支持，，，，，，不会由于拉伸导致画面扭曲。。。。。。。
最终从评测效果看，，，，，，SkyReels-V3在200对混淆测试集上，，，，，，既包管了视觉质量，，，，，，又显著提升了对参考图和指令的遵照能力。。。。。。。
视频延伸使命
古板的视频延伸只是在原有视频最后增添几秒相似的行动，，，，，，而SkyReels-V3则在此基础上进阶到了智能语义明确阶段。。。。。。。
不但仅是补帧，，，，，，而是在读懂前一个镜头剧情后，，，，，，凭证用户提醒词逻辑，，，，，，自动创立下一个镜头，，，，，，并且学会使用专业导演的剪辑手法。。。。。。。
这主要归功于两大手艺突破：
（1）统一多分段位置编码
在多段差别视角的视频中，，，，，，借助统一的编码系统，，，，，，确保物体在差别镜头间的运动是切合逻辑的； ；；；；；；；分层混淆训练让模子学习切镜时机和切镜要领，，，，，，以实现转场时的镜头平滑切换。。。。。。。
（2）鲁棒时空建模
该办法让模子在面临快速运动（如赛车）、多主体交互（如多人格斗）、场景剧变（如从光线差的室内转向室外）等极端情形时，，，，，，依旧能维持物体形状和位置，，，，，，同时确保视频始终遵照现实天下的物理纪律和视觉连贯性。。。。。。。
总的来说，，，，，，就是付与SkyReels-V3导演头脑，，，，，，让画面调理更细腻，，，，，，故事内容更具叙事张力。。。。。。。
音频参考使命
SkyReels-V3虚拟形象模子能够基于单张参考图和音频，，，，，，天生音视频同步的高清视频，，，，，，不但支持人物嘴部和音频对齐、多角色交互，，，，，，尚有分钟级长视频天生。。。。。。。
这也是业内首个支持单镜头多人多轮对话的数字人模子，，，，，，详细手艺依赖于：
（1）精准音视频对齐
SkyReels-V3改变了以往“全图对口型”的方法，，，，，，通过区域路由机制实现了精准控制。。。。。。。用户可以指定画面中的某个特定角色语言，，，，，，然后将差别角色的音频按顺序排列，，，，，，就能天生自然的对话历程。。。。。。。
其次，，，，，，借助专用音视频对齐训练战略、语音单位与面部区域的显式建模，，，，，，确保嘴型在差别语速、语言、气概下的鲁棒性。。。。。。。
（2）要害帧约束天生
由于直接生生长视频会导致显存爆炸或逻辑崩坏，，，，，，SkyReels-V3接纳了先骨架后填充的战略。。。。。。。
先通过构建等距离的要害帧，，，，，，确定下视频的大致行动框架； ；；；；；；；再以要害帧和实时音频作为约束，，，，，，分段填充中心帧，，，，，，实现平滑过渡； ；；；；；；；最后调理给定参考图的位置编码，，，，，，即它与要害帧的距离，，，，，，来无邪控制行动的巨细。。。。。。。
这种方法体现在评测指标时，，，，，，同区分率场景，，，，，，SkyReels-V3在画面质量和一致性上均靠近主流闭源SOTA模子，，，，，，具备显著优势。。。。。。。
值得注重的是，，，，，，以上所有手艺均已开源，，，，，，且三大使命�？？？？？？？橹湎嗷プ粤�，，，，，，用户可凭证自己需求自由组合。。。。。。。
为什么是昆仑天工？？？？？？？
至此，，，，，，让我们将眼光重新放回AI视频天生领域。。。。。。。
不难看出，，，，，，AI视频天生已经从纯粹的手艺展示周全转向商业增量的白热化博弈阶段。。。。。。。若是说去年是相关国产模子整体爆发的一年，，，，，，那么今年则是行业进入深度洗牌的要害时期。。。。。。。
而SkyReels-V3无疑是其中尤为亮眼的一款产品，，，，，，以优异的多模态能力、角色一致性和可控精度脱颖而出。。。。。。。
这就引出了一个问题：为什么是昆仑天工先发制人？？？？？？？
纵观昆仑天工的AGI结构，，，，，，只能说，，，，，，SkyReels-V3的泛起绝非无意。。。。。。。
从模子层面讲，，，，，，昆仑天工始终坚持自研手艺，，，，，，围绕MoE架构与多模态手艺，，，，，，逐步迭代形成笼罩通用+笔直场景的模子矩阵。。。。。。。
现在主要包括八大模子：文本、多模态、代码、Agent、视频、天下模子/3D、音乐、音频。。。。。。。
好比说：
业界首款中文逻辑推理大模子：Skywork 4.0 o1能实现低延迟拟人语音对话：Skywork 4.0 4o在一律规模下比肩DeepSeek-R1：Skywork-OR1海内首个面向AI短剧创作的视频天生模子：SkyReels-V1周全领跑主流评测，，，，，，收获Kaggle官方推荐：Skywork R1V2
足以证实，，，，，，昆仑天工在手艺侧的发力之猛，，，，，，一方面使用模子架构立异降低推理本钱，，，，，，另一方面通过在笔直领域追求行业顶尖水准，，，，，，建设起差别化生态优势。。。。。。。
从产品层面讲，，，，，，依托坚实的大模子手艺，，，，，，昆仑天工兼顾C端普惠与B端定制，，，，，，打造了天工超等智能体、AI音乐创作平台Mureka、AI社交Linky等代表性应用。。。。。。。
其中，，，，，，天工超等智能体的定位是AI办公赋能，，，，，，依赖5个专家智能体（文档、PPT、表格、网页、播客）和1个通用智能体，，，，，，可以在5分钟内天生30页PPT，，，，，，大幅度提升事情效率，，，，，，带来“所见即所得”的高效智能体验。。。。。。。
继5月份宣布之后，，，，，，天工超等智能体在去年下半年更是紧锣密鼓地开展了一系列迭代历程，，，，，，一直追加种种智能体、升级各项功效，，，，，，成为了Office Agent里不可忽视的一抹新兴实力。。。。。。。
而AI音乐Mureka、AI社交Linky也都在外洋回声热烈。。。。。。。
Mureka自2025年3月起，，，，，，累计新增全球注册用户近700万，，，，，，效劳超100个国家和地区，，，，，，昨天刚刚宣布的Mureka V8更是一举逾越Suno V5，，，，，，登顶垂类天下第一。。。。。。。
Linky作为全球出海TOP3的社交陪同平台，，，，，，在2024年强势告竣单月最高收入突破100万美元的效果，，，，，，是外洋增添最快的中国AI社交应用之一。。。。。。。
依托深挚的手艺积累，，，，，，昆仑天工在近年陆续推出了面向差别消耗人群的针对性产品，，，，，，好比对上班族讲效率，，，，，，对Z世代讲娱乐，，，，，，险些所有人在昆仑天工都能找到最契合自身的AI应用。。。。。。。
而这恰恰是昆仑天工的优势所在，，，，，，它恒久敏锐洞察市场的同时，，，，，，也得益于开源积累了一批忠实的用户，，，，，，构建起“手艺-用户-社区”的正向可一连循环：只要用户起劲反响，，，，，，就能一连反哺产品立异。。。。。。。
以是昆仑天工的产品生命周期长、商业效果好、手艺变现快。。。。。。。
综合来讲，，，，，，就是买通了手艺到产品的转化链路，，，，，，强手艺驱动好产品，，，，，，好产品迅速盈利回馈手艺研发，，，，，，然后沿着这条主线逐步外扩，，，，，，形成由大模子、搜索、游戏、音乐、社交、短剧组成的多元AI营业矩阵。。。。。。。
而事实证实，，，，，，这条由点及面的扩张路径颇有效果，，，，，，昆仑天工已经争先交出了答卷。。。。。。。
GitHub链接： http盛源衣饰制造有限公司s://github.com/SkyworkAI/SkyReels-V3API链接（限时免费）：https://www.apifree.ai/model/skywork-ai/skyreels-v3/standard/single-avatar