作者 ｜ 董道力邮箱 ｜ dongdaoli@pingwest.com
今天破晓， ，， ，， ，，Google DeepMind 向外部开放了 Project Genie， ，， ，， ，，可以算是天下模子 Genie 3 的实验性研究原型， ，， ，， ，，也是这套天下模子第一次以可交互形态对公众开放。 。。。。。。
现在， ，， ，， ，，该原型率先向年满 18 岁的美国 Google AI Ultra（3个月125刀） 订阅用户开放。 。。。。。。
1
实测 Project Genie
与视频天生模子差别， ，， ，， ，，Project Genie有两个promtps填写位置， ，， ，， ，，左边填写情形的 prompt， ，， ，， ，，右边写主角的 prompt， ，， ，， ，，还能上传参考图片。 。。。。。。选择用第一人称照旧第三人称。 。。。。。。
在输入提醒词后， ，， ，， ，，短短一分钟内， ，， ，， ，，Project Genie 显示天下模子视频的“第一帧”， ，， ，， ，，给用户一个预览， ，， ，， ，，看看是否要举行调解。 。。。。。。
我实验了两次同样的提醒词， ，， ，， ，，差别照旧有的。 。。。。。。
若是对预览效果知足， ，， ，， ，，就可以直接最先创立天下。 。。。。。。
当天下天生完成后， ，， ，， ，，用户即可接受角色， ，， ，， ，，在天下中举行自由探索。 。。。。。。
现在 Project Genie 支持约 1 分钟的可交互探索时长， ，， ，， ，，区分率为 720p。 。。。。。。虽然时间和区分率不是很前沿， ，， ，， ，，但天下模子在这个时间点， ，， ，， ，，最主要的是“控制”。 。。。。。。
Project Genie 的人物控制方法靠近古板游戏逻辑， ，， ，， ，，用户可以使用 WASD 控制角色前后左右移动， ，， ，， ，，同时用偏向键可自力控制视角举行前后左右的镜头转动， ，， ，， ，，最惊喜的是人物可以跳。 。。。。。。
相比人物位移， ，， ，， ，，视角移动显着越发流通， ，， ，， ，，响应延迟很低， ，， ，， ，，整体操作手感更靠近实时渲染而非视频回放。 。。。。。。同时， ，， ，， ，，系统内置了基础的物理约束， ，， ，， ，，例如角色行进到园地边沿时会自然停下， ，， ，， ，，而不是穿模唬�；；；；；；蚣绦�。 。。。。。。
从天生质量来看， ，， ，， ，，Project Genie 与古板视频天生仍保存显着差别， ，， ，， ，，但在“天下还原”层面已经相当完整。 。。。。。。prompts中提到的球场、草地、黄昏光照、电子大屏、观众挥舞旌旗都被还原。 。。。。。。别的， ，， ，， ，，人物的初始位置同样切合语境， ，， ，， ，，从中圈周围出发， ，， ，， ，，身着精练的训练服， ，， ，， ，，与整体天下设定坚持一致。 。。。。。。
我们再来试试用图片天生天下。 。。。。。。
这一次我们上传的是《艾尔登法环》的游戏画面。 。。。。。。Project Genie 基本复现了原图的情形特点， ，， ，， ，，详细效果直接看天生视频即可。 。。。。。。
Project Genie 天生的天下是可以重复进入的。 。。。。。。在这次测试中， ，， ，， ，，我们选择了与之前足球场案例差别的路径， ，， ，， ，，不再是平面移动， ，， ，， ，，而是实验纵向位移。 。。。。。。
这个天下中人物初始位置就在悬崖边沿。 。。。。。。于是我们让人物直接跳下悬崖。 。。。。。。
从效果来看， ，， ，， ，，体现相当完善。 。。。。。。人物起跳、着落、落点的空间关系在视觉上是合理的， ，， ，， ，，并且角色顺遂落到下方路径， ，， ，， ，，没有泛起显着的空间错位。 。。。。。。
第二次跳崖时， ，， ，， ，，角色在着落历程中甚至由于蹭到岩壁而短暂“卡”了一下， ，， ，， ，，这个细节很要害， ，， ，， ，，说明Project Genie是真的在盘算角色与情形之间的物理碰撞， ，， ，， ，，而不是简朴把物体笼统成一个个立体图像， ，， ，， ，，细节用视频补足。 。。。。。。
细节层面也有加分项。 。。。。。。起跳时， ，， ，， ，，脚下会扬起灰尘， ，， ，， ，，落地瞬间， ，， ，， ，，人物会有稍微屈膝的缓激行动。 。。。。。。这些都增强了行动的可信度。 。。。。。。虽然， ，， ，， ，，照旧有点瑕疵， ，， ，， ，，在最后一个画面中， ，， ，， ，，角色现实应该落在水面上， ，， ，， ，，但并没有泛起水花效果， ，， ，， ，，人物短暂悬浮在水面之上。 。。。。。。
另外， ，， ，， ，，更值得注重的是天下气概的稳固性。 。。。。。。在人物举行了大幅度、一连的空间移动之后， ，， ，， ，，整个天下并没有随之“变形”或气概漂移。 。。。。。。金色树叶的色调、末日感的整体气氛、悬崖与断壁的结构关系， ，， ，， ，，都被完整地保存下来， ，， ，， ，，没有由于视角和位置转变而崩坏。 。。。。。。
这一次纵向移动的测试， ，， ，， ，，比纯粹的平面行走更能体现， ，， ，， ，，Project Genie 不但是“看起来像一个天下”， ，， ，， ，，而是在实验维持一个在运动中依然自洽的3D空间结构。 。。。。。。
我们再来实验一个第一视角， ，， ，， ，，并且实验给天生的天下换一个截然相反画风， ，， ，， ，，视察 Project Genie 对整体气概切换的处置惩罚能力。 。。。。。。
在初始状态下， ，， ，， ，，天下细节依然坚持在一个不错的水准。 。。。。。。但真正的测试从这里最先， ，， ，， ，，我们在已有天下的基础上， ，， ，， ，，特殊输入了一段整体改变天下气概的 prompt， ，， ，， ，，试图将原本偏写实的情形， ，， ，， ，，整体转化为像素画风。 。。。。。。
效果并没有延续前几个案例中的惊艳体现。 。。。。。。气概转变卦多集中在角色层面， ，， ，， ，，人物被显着像素化， ，， ，， ，，队友也趋向于贴图式泛起， ，， ，， ，，但作为主体的情形险些没有爆发基础转变， ，， ，， ，，地形、光影和空间结构依然坚持着偏写实的渲染方法。 。。。。。。唬�；；；；；；痪浠八担� ，， ，， ，，气概切换并未真正作用于“天下”， ，， ，， ，，而更像是叠加在角色之上的一层外观修改。 。。。。。。
与此同时， ，， ，， ，，气概修改还带来了一定的细节损失， ，， ，， ，，好比信号烟雾弹消逝， ，， ，， ，，酿成了灭火器， ，， ，， ，，场景语义泛起了显着的偏移。 。。。。。。
Project Genie 可以在统一天下内维持结构稳固， ，， ，， ，，但对已天生天下举行整体气概重写， ，， ，， ，，仍然显着弱于从零天生时的体现。 。。。。。。虽然， ，， ，， ，，用AI天生内容是一个重复抽卡的历程， ，， ，， ，，也许多实验一再， ，， ，， ，，Project Genie 就可以给一个越发合理的天下。 。。。。。。
1
Project Genie最大的意义是证实其可行性
若是把 Project Genie 放进更大的天生模子谱系中来看， ，， ，， ，，它现在所处的位置着实很是清晰：天下模子， ，， ，， ，，正在履历自己的「视频天生 1.0 时期」。 。。。。。。
今天的视频天生模子， ，， ，， ，，已经卷到了区分率、运镜语言和叙事连贯性， ，， ，， ，，许多作品看起来已经靠近“可以直接作为内容使用”。 。。。。。。但回到最早阶段， ，， ，， ，，视频天生真正令人震撼的， ，， ，， ，，并不是画面质量， ，， ，， ，，而是那一刻人们意识到， ，， ，， ，，画面， ，， ，， ，，真的能一连地动起来。 。。。。。。
Project Genie 所代表的天下模子阶段， ，， ，， ，，与之高度相似。 。。。。。。它并不是在和游戏或影视内容比“画得多好”， ，， ，， ，，而是在回覆一个更基础的问题：一个由模子天生的天下， ，， ，， ，，能不可在被一连操作时不迅速瓦解。 。。。。。。
因此， ，， ，， ，，Project Genie 在设计上做出了很是明确的取舍。 。。。。。。它自动牺牲了区分率、画面精度和天生时长， ，， ，， ，，把算力优先用在维持一个可被重复进入、一连探索的情形。 。。。。。。你能不可站在悬崖边沿停下， ，， ，， ，，能不可跳下去， ，， ，， ，，会不会撞上岩壁， ，， ，， ，，移动之后天下气概是否还能坚持一致， ，， ，， ，，这些问题， ，， ，， ，，远比“画面像不像某款游戏”更主要。 。。。。。。
从手艺层面看， ，， ，， ，，Project Genie 能建设， ，， ，， ，，并不是由于某一个单点突破， ，， ，， ，，而是由于它同时知足了三件此前并禁止易同时做到的事情：状态可一连、空间一致、行为可约束。 。。。。。。
Project Genie（Genie3）的手艺难点在于维护一个隐式的天下状态。 。。。。。。用户的输入不再只是触发一次新的画面补全， ，， ，， ，，而是被看成对天下状态的真实干预。 。。。。。。角色是否能前进， ，， ，， ，，取决于地形是否允许， ，， ，， ，，是否会坠落， ，， ，， ，，取决于重力和界线， ，， ，， ，，天下气概是否延续， ，， ，， ，，取决于状态是否被一连继续。 。。。。。。
这意味着模子做的已经不但是“展望下一帧”， ，， ，， ，，而是在给定历史、规则和行动条件的条件下， ，， ，， ，，推演天下接下来应该怎样演化。 。。。。。。
也正由于云云， ，， ，， ，，Project Genie 看起来既不像一个完整的游戏， ，， ，， ，，也不像一个视频工具。 。。。。。。它更像一个尚不可熟、但已经能够自洽运转的系统原型。 。。。。。。
以是， ，， ，， ，，Project Genie 现在最主要的意义， ，， ，， ，，它第一次让通俗用户直观地意识到：天下模子不但是论文里的看法， ，， ，， ，，它真的可以被构建、被进入、被操作， ，， ，， ，，并且在一定规模内一连建设。 。。。。。。
点个“爱心”， ，， ，， ，，再走黑龙江冰城文旅投资有限公司吧