北大、高德团结出品 | 仅凭几张卫星图,,,,,,即可重修出逼真3D都会
2026-03-01 17:19:52

本研究由北京大学、高德地图研究团队团结完成。。 。。 。。通讯作者包括北京大学博雅特聘教授,,,,,,智能学院副院长陈宝权,,,,,,北京大学助理教授陈文拯及高德地图徐牧。。 。。 。。

试想一下,,,,,,无论是为下一代 3A 着述(如《GTA 6》)构建一个 1:1 的纽约城,,,,,,照旧为都会级无人机送货系统计齐整条在摩天大楼间穿梭的低空物流航线,,,,,,甚至是为特大都会的应急响应系统构建一个毫厘毕现的数字底座,,,,,,高精度的逼真 3D 都会模子都是要害。。 。。 。。

通常,,,,,,构建一座这样的 3D 都会模子需要数千人的美术团队耗时数年手工建模,,,,,,或者动用腾贵的专业装备举行扫描。。 。。 。。怎样低本钱、高效率地将重大的 “实体都会” 复刻进数字空间,,,,,,一直是盘算机图形学与 3D 视觉领域试图攻克的最终难题。。 。。 。。

相比之下,,,,,,卫星图像笼罩全球、易于获取,,,,,,似乎是理想的数据源。。 。。 。。但现实上,,,,,,用卫星图重修都会却一直很是难题。。 。。 。。基础缘故原由在于视角问题:卫星是从正上方俯拍,,,,,,而我们需要的是带有清晰立面的地面视角。。 。。 。。

这种从 “顶视图” 推理 “侧视图” 的视角极端外推,,,,,,让现有先进要领如 NeRF 和 3DGS 都难以应对,,,,,,重修出的修建侧立面经常几何扭曲、纹理模糊。。 。。 。。

SOTA 都会重修要领(CityGS-X)在卫星场景下,,,,,,可以重修出优异的都会屋顶几何和自顶向下视角,,,,,,但难以重修都会修建侧立面,,,,,,在近地视角爆发严重的伪影。。 。。 。。

为相识决这一难题,,,,,,北大与高德团队提出了一种全新的天生式摄影丈量计划Orbit2Ground。。 。。 。。它巧妙地团结都会几何先验与天生式 AI,,,,,,仅凭希罕的卫星图像,,,,,,就构建出了细腻雅观的逼真 3D 都会。。 。。 。。

论文问题:From Orbit to Ground: Generative City Photogrammetry from Extreme Off-Nadir Satellite Images项目主页:https://pku-vcl-geometry.github.io/Orbit2Ground论文地点:https://arxiv.org/pdf/2512.07527

SDF 枯燥性约束

强制从屋顶 “长” 出墙壁

卫星图可以为屋顶提供优异的多视角立体视觉(Multi-View Stereo, MVS),,,,,,但很难捕获到修建侧面的视差信息,,,,,,这导致古板算法虽然能恢复出清晰的屋顶,,,,,,但一处置惩罚侧面就会遭遇严重的几何崩塌,,,,,,回复的墙面支离破碎,,,,,,充满悬浮的碎片。。 。。 。。

与通例的街景重修差别,,,,,,卫星图像希罕且视角严重地自顶向下,,,,,,险些无法捕获笔直结构的视差。。 。。 。。如图所示,,,,,,多视角重修(黄色点)仅能恢复地面和屋顶,,,,,,无法重修修建物外立面。。 。。 。。

为了补足缺失的侧面几何,,,,,,团队使用了一个要害征象:绝大大都都会修建的墙壁都是平整外凸的,,,,,,少少泛起向内凹陷的结构。。 。。 。。

基于此,,,,,,团队提出了Z-Monotonic SDF (Z 轴枯燥符号距离场)。。 。。 。。其焦点逻辑在于:约束 SDF 场在 Z 轴偏向上枯燥递增。。 。。 。。

若将通例的都会修建形成 SDF 场,,,,,,则在其中恣意选取平面一条竖线,,,,,,其上所有点的 SDF 值,,,,,,均沿高度向上枯燥递增。。 。。 。。

这一数学约束直接决议了最终的几何形态 —— 由于SDF 场的枯燥性强制要求其天生的等值面(即几何外貌)必需是一连且非凹陷的,,,,,,以是这意味着,,,,,,几何体不允许在中中止开、破碎或是向内塌陷。。 。。 。。

这种 “SDF 枯燥 → 几何非凹” 的强力约束,,,,,,使得算法即便在仅有顶部视察数据的情形下,,,,,,也能自动从屋顶向下 “拉伸” 出一连、闭合的完整墙壁。。 。。 。。正是这一约束,,,,,,从基础上阻止了 “空心楼” 和墙面破碎的问题,,,,,,从希罕的卫星数据中天生了却构完整的修建几何。。 。。 。。

AI “精装修”,,,,,,变模糊为高清

有了几何 “毛坯房”,,,,,,下一步是解决纹理模糊的问题。。 。。 。。

由于大气滋扰和区分率限制,,,,,,卫星拍摄的侧面纹理往往不敷清晰。。 。。 。。为相识决这个问题,,,,,,团队基于 FLUX 模子,,,,,,训练了一个专门简直定性纹理修复网络。。 。。 。。他们并没有让 AI 凭空捏造,,,,,,而是让它基于卫星图提供的基础色协调结构,,,,,,使用学习到的海量都会外观知识,,,,,,对模糊的立面举行确定性修复。。 。。 。。

通过将扩散模子微调为 “确定性” 模式,,,,,,确保了在差别视角下天生的纹理是连贯统一的,,,,,,阻止了天生式 AI 常见的由随机性导致的鬼影、模糊等问题。。 。。 。。

整体流程

Orbit2Ground 将重修使命解耦为几何与外观两个阶段:

第一阶段(几何重修):基于希罕的 MVS 点云优化 Z-Monotonic SDF (Z 轴枯燥符号距离场),,,,,,从而提取出具有清洁笔直立面的高保真 Mesh 几何。。 。。 。。第二阶段(外观精修):以初始纹理(由卫星图像反向投影获得)为起点,,,,,,我们使用修复网络增强近距离新视角的渲染效果,,,,,,进而将其作为清晰、高保真的监视信号,,,,,,用于最终的纹理优化。。 。。 。。

要领效果

在多个数据集上的测试批注,,,,,,Orbit2Ground 在几何完整性和视觉保真度上均逾越了目今的 SOTA 要领。。 。。 。。

更主要的是,,,,,,Orbit2Ground 展现了碾压级的视觉效果:

当其他要领在缺乏数据的区域爆发云雾状的伪影时,,,,,,Orbit2Ground 天生的是坚实、连贯的物理外貌。。 。。 。。在近距离的地面视角下,,,,,,修确立面的纹理清晰可辨,,,,,,极大地提升了画面的真实感与陶醉感。。 。。 。。

别的,,,,,,与现在盛行的 NeRF 或 3DGS 等 “云雾状” 表达差别,,,,,,Orbit2Ground 最终输出的是标准的 Mesh (网格) 模子。。 。。 。。

这意味着这套资产不是只能看、不可碰的 “全息影像”,,,,,,而是可以直接导入 Unity、Unreal Engine 5 等主流引擎的实体资产。。 。。 。。

Orbit2Ground 形成的都会 Mesh 模子,,,,,,可以完成普遍的下游应用,,,,,,例如降雪模拟。。 。。 。。

开发者可以直接在这些模子上添加刚体碰撞、举行物理模拟(如积雪群集、洪水淹没),,,,,,或者举行光照渲染。。 。。 。。这意味着我们拥有了一种低本钱计划,,,,,,能够天生不但 “看得清”,,,,,,并且真正 “用得上” 的都会级数字资产。。 。。 。。

或许在不远的未来,,,,,,

我们真的只需要几颗卫星,,,,,,

就能在数字天下中复刻一个鲜活海南椰风康健科技有限公司的地球。。 。。 。。