梦瑶 发自 凹非寺
量子位 | 公众号 QbitAI
不是， ，，， ，，，谁也没跟我说今年的AI春节大战搞得这么猛猛猛啊�。。。。。。。。。。。。�？？？？ ？？？！
年还没到呢， ，，， ，，，可灵就超绝不经意甩出一个「过大年妄想」：推出可灵3.0多模态全家桶。。。。。。。
让每小我私家， ，，， ，，，都能上桌当——大导演
。。。。。。。
我主打一个先尝为快！先看我导的这出《拳王》（赛博版）行动大戏， ，，， ，，，10秒钟狂切6个分镜头：
好莱坞大片也是手拿把掐， ，，， ，，，10秒钟切换7个镜头， ，，， ，，，从引擎轰鸣火花飞溅， ，，， ，，，再到男女主强烈争执， ，，， ，，，让我这个导演有点汗如雨下了...
灾难片自然我也不在怕的， ，，， ，，，浓雾封城、街道放弃、广告牌猖獗摇晃……咋样， ，，， ，，，是不是有点《后天》内味儿了：
不但我一小我私家玩嗨了， ，，， ，，，列位脑洞大开的网友们也纷纷share自己的着述了， ，，， ，，，下面这小哥直接搓出来了个超燃篮球赛大片， ，，， ，，，并直言够逼真！�。。。。。。。。。。。。。�
![]()
尚有网友感伤， ，，， ，，，以后拍影戏怕是都不必找真人演员了， ，，， ，，，这不嘛， ，，， ，，，人家直接找AI演了波超笼统的家庭大戏， ，，， ，，，脑洞太大了…
![]()
横竖这波实测下来我最直观感受就是:
智能分镜能力确实夯， ，，， ，，，模子确实更能明确镜头语言了， ，，， ，，，像文字和人物的一致性上体现也蛮凌驾预期。。。。。。。
详细哪些功效最好用、适合啥样的使用场景， ，，， ，，，我也帮友友们整理好了（省流版）：
1）智能分镜｜音画同步｜主体一致性：特殊适合做多镜头多对话的AIGC视频， ，，， ，，，在AI短剧、影视这类场景很是适用。。。。。。。
2）文字一致性：贼适合处置惩罚AI电商广告等场景的文字信息， ，，， ，，，文本形态基本能做到1:1还原！
详细实测效果咱往下看， ，，， ，，，顺带也接待各人来评评我这几部春节档大片， ，，， ，，，导的水平究竟行不可？？？？ ？？？
先来测测：视频3.0跟手动拆分镜说byebye咱们一样平常天生视频时， ，，， ，，，一直一直重复抽卡的主要缘故原由之一即是——提醒词太长、镜头太多， ，，， ，，，视频模子接不住。。。。。。。
尤其是经常做AI短剧、AIGC自媒体的朋侪， ，，， ，，，对镜头切换的数目和质量要求都较量高， ，，， ，，，这类问题就更显着了……
好新闻是， ，，， ，，，在全新的可灵视频3.0天生页面中， ，，， ，，，直接给模子安排上了个「分镜」小版块， ，，， ，，，长下面zhei样：
![]()
平台一共给咱提供了两种形式：智能分镜和自界说分镜。。。。。。。
我在智能分镜中， ，，， ，，，我们可以直接把一整段包括多镜头、多行动、多角色的提醒词一股脑丢进去， ，，， ，，，AI会自动帮我们分成差别的镜头。。。。。。。
我最近正幸亏重温《甄嬛传》， ，，， ，，，但光看剧已经有点不过瘾了， ，，， ，，，索性直接让AI来一段后宫宫斗cut， ，，， ，，，于是我给它喂了一大段带双人对话、明确镜头切换的重大提醒词：
![]()
于是乎， ，，， ，，，一个阴雨夜贵妃猫娘娘和大臣小狗坚持的宫斗片断的画面就新鲜出炉了， ，，， ，，，别说还真有点主要刺激那味儿了？？？？ ？？？
我给出的提醒词中涉及了一个场景， ，，， ，，，四个镜头， ，，， ，，，两段角色对话和一个配景音乐。。。。。。。
先说优点， ，，， ，，，我只能说这智能分镜确实挺智能， ，，， ，，，涉及到的镜头、台词所有1:1地还原了， ，，， ，，，respect啊�。。。。。。�
在音频处置惩罚上， ，，， ，，，小猫和小狗的语气、情绪和台词匹配度很高， ，，， ，，，发音里的轻重缓急也处置惩罚得不错， ，，， ，，，角色的心情和眼神跟对白对得也很准。。。。。。。
唯一的大bug：配景音乐没给我天生要， ，，， ，，，是能再来一段BGM就更对味儿了……
咱再玩点有意思的， ，，， ，，，来点跨界融合看看效果， ，，， ，，，我给出的提醒词如下：
![]()
大明星猫猫一个眼神给出去， ，，， ，，，直接现场教学啥叫“身体成了一个X型”， ，，， ，，，别说这小身段搭配这小眼神整的还挺曼妙：
角色情绪和眼神行动都完全拿捏到位， ，，， ，，，并且猫猫的特写镜头给的特殊好， ，，， ，，，看来这AI是懂点镜头语言的。。。。。。。
唯一的小bug泛起在了台词上。。。。。。。
原本提醒词里明确是小狗说“先生”， ，，， ，，，但模子在天生时把这句台词顺带分给了小猫， ，，， ，，，导致角色语言的对应关系被打乱， ，，， ，，，整体台词逻辑泛起了点误差～
（我猜可能跟我提醒词的动词太多有关系……)
总的来说， ，，， ，，，智能分镜自己是靠谱的， ，，， ，，，多镜头结构基本不会出大问题， ，，， ，，，只是在台词和音频分派上无意会冒出一些小bug～
人物一致性更稳了咱通常里只要天生涉及「主体角色」的AI视频， ，，， ，，，有个险些90%都会遇到的问题——
角色显着只是换了个行动， ，，， ，，，效果上一秒和下一秒长得就已经不是统一小我私家了……
![]()
也不知道可灵这回受了啥启发， ，，， ，，，在视频3.0中直接搞了个多图或视频的主体参考功效。。。。。。。
我们可以直接绑定人物角色形象， ，，， ，，，并上传差别视角的参考图， ，，， ，，，这样一来模子在主体识别上就更稳稳稳了。。。。。。。
虽然， ，，， ，，，稳不稳还得——实测说了算！
为了更好考察模子的主体遵照能力， ，，， ，，，这次我喂给AI的是一段包括人物多视角、多行动的提醒词， ，，， ，，，并上传了两个差别视角的人物形象照：
![]()
一个迫切火燎、赶着打卡的上班牛马， ，，， ，，，在马路上横冲直撞的名时势视频， ，，， ，，，这不就到手了嘛（doge）：
![]()
为了让友友们更清晰地做比照， ，，， ，，，我把我输入和输出的角色形象截取比照了一下， ，，， ，，，各人以为主体一致性体现怎样？？？？ ？？？？？？？ ？？？？？？？ ？？？
![]()
emm…我是以为镜头1和3和我给的原参考形象是近乎1:1还原的， ，，， ，，，可是镜头2就显着泛起了问题。。。。。。。
人物的肤色显着变深了， ，，， ，，，发型也从原本的斜偏， ，，， ，，，直接酿成了寸头……
我嫌疑这里头的缘故原由可能是由于我喂给AI的自己没有严酷意义上的正面形象， ，，， ，，，以是AI自己脑补了一下？？？？ ？？？
整体来说可以给个80分内样。。。。。。。
![]()
字形稳得住， ，，， ，，，方言还得再练
这次， ，，， ，，，可灵视频3.0打的第三个招牌就是——字形保存高保真。。。。。。。（翻译：俺们AI生出来的字儿稳固形
好大的口吻， ，，， ，，，各人都要知道， ，，， ，，，相比角色一致性， ，，， ，，，文字一致性着实更难。。。。。。。
那我就不客套了， ，，， ，，，这次我给出AI的需求指令中， ，，， ，，，明确提到了光影转变、镜头切换以及旁白配合的多镜头场景， ，，， ，，，这就要求AI在一直运动和切换的历程中， ，，， ，，，依然能坚持较高的文字一致性：
![]()
各人伙快来看看， ，，， ，，，AI给我搓出来了个近乎抵达「商用水平」的香水广告宣传片demo：
即便镜头处在一连旋转运动中， ，，， ，，，香水瓶身的logo文字依旧坚持清晰、稳固形。。。。。。。
这着实也说明晰模子在文字结构明确、空间变换下的稳固渲染以及跨镜头一致性坚持上的能力已经相当扎实了。。。。。。。
![]()
最后， ，，， ，，，咱再来试一个可灵3.0视频模子中我自以为很是有意思的一个能力——说方言。。。。。。。
凭证官方的说法， ，，， ，，，模子支持中、英、日、韩、西多语种天生， ，，， ，，，四川话、粤语等隧道方言与各地口音。。。。。。。
要是这样的话， ，，， ，，，我有个大胆的想法， ，，， ，，，咱让奥特曼和马斯克跑天津来吃煎饼果子， ，，， ，，，顺便来一段地隧道道的“贯口”：
![]()
俩人大裤衩子大背心一穿， ，，， ，，，吃大饼吃的那叫一个香啊， ，，， ，，，你别说， ，，， ，，，还挺入乡随俗？？？？ ？？？？？？？ ？？？？？？？ ？？？
画面这块基本没啥可挑的， ，，， ，，，直接给满分， ，，， ，，，人物主体一致性也确实还原得很到位， ，，， ，，，马斯克和奥特曼自己看了预计都得一愣！�。。。。。。。。。。。。。�
但问题也很显着， ，，， ，，，咱这一题考的着实是方言能力， ，，， ，，，事实上， ，，， ，，，两位一个天津话没说对， ，，， ，，，一个北京话也没对上， ，，， ，，，反倒通俗话说得相当标准……
我一度嫌疑是不是AI对北京话、天津话不太熟， ，，， ，，，于是我索性再加一道题， ，，， ，，，让AI再天生了一个戎马俑说四川方言的视频：
这回对味儿了， ，，， ，，，虽然戎马俑长相有点惊悚， ，，， ，，，可是这四川话说的倒是蛮厉害的。。。。。。。
（有没有四川的朋侪点评一下， ，，， ，，，这口音说的正宗不？？？？ ？？？？？？？ ？？？）
再来测测：视频O3 OMNI除了O3视频模子， ，，， ，，，可灵这次还随手上新了另一位万能视频选手——O3 OMNI， ，，， ，，，那这OMNI详细醒目点啥呢：
主体相似度上了一个level， ，，， ，，，模子对重大提醒词的明确更到位了， ，，， ，，，用在多镜头、多行动场景里更稳。。。。。。。上传一段3–8秒的角色视频就能提取外观和声音， ，，， ，，，多图主体模式下再补一段3秒以上人声就能绑定牢靠声线。。。。。。。支持原生自界说分镜， ，，， ，，，视频时长也升级到15秒， ，，， ，，，很适合需要讲清晰一段故事、或者做中长视频内容的友友。。。。。。。![]()
咱先来看对重大文本指令的遵照能力怎样～
这次我喂给AI一段同时考察主体一致性、一连加减速的运动明确， ，，， ，，，以及多区域切换时的镜头追随与时序控制的提醒词：
![]()
10秒内， ，，， ，，，万圣节的小兔子完成了跳跃行动， ，，， ，，，并依次穿过落叶地面、南瓜灯和墓碑三个区域， ，，， ，，，自动补全了参考图中未给出的萌萌视频， ，，， ，，，不戳不戳！�。。。。。。�
接下来玩玩分镜头叙事功效。。。。。。。
在全新的「O3 OMNI」模子里， ，，， ，，，我们可以直接自界说分镜， ，，， ，，，这次我上传了两张参考图（香蕉猫+优雅企鹅）， ，，， ，，，然后把分镜剧本也一并塞了进去：
![]()
然后我就会获得一个香蕉猫和优雅企鹅在纽约陌头盘算着吃豆腐脑的「笼统抓马」大戏：袒露出来的问题也不少：第一帧配景白底直接蜕化， ，，， ，，，后半段香蕉猫的嘴形没对上， ，，， ，，，角色和配景的融合度也偏低， ，，， ，，，整体看下来， ，，， ，，，这是这轮里天生效果最差的一个……
(我是以为不如智能分镜的效果好）
并且说真话， ，，， ，，，对我来说这种需要自界说镜头的方法也略微贫困。。。。。。。
既要上传参考图， ，，， ，，，又要自己拆分镜头、逐一标注每个镜头的主体， ，，， ，，，若是折腾这么一圈， ，，， ，，，最后天生效果还不睬想， ，，， ，，，u1s1， ，，， ，，，几多会有点难受……
感受「自界说分镜」功效照旧更适合对提醒词和分镜剧本较量熟的朋侪去用。。。。。。。
若是需求没那么高、又像我一样对提醒词不算醒目的话， ，，， ，，，照旧更推荐各人直接用「智能分镜」。。。。。。。
![]()
突然想起来， ，，， ，，，我上一次用可灵照旧在测试O1模子， ，，， ，，，这次实测下来， ，，， ，，，能显着感受到3.0相比O1好用、也好玩了不少。。。。。。。
bug确实也有， ，，， ，，，但大部分也是现在多模态模子的通病， ，，， ，，，模子关于咱一样平常事情娱乐来说足够用了。。。。。。。
可灵的黑金会员可以先在Web端体验一波， ，，， ，，，非黑金用户也不必急， ，，， ，，，感受周全开放应该很快就会来～
（期待一下叭）
— 完 —
量子位 QbitAI · 头条
关注我们， ，，， ，，，第一时间获知前沿科蓝海物联科技有限公司技动态号