henry 发自 凹非寺量子中泰财税咨询有限公司位 | 公众号 QbitAI
静态3D资产缺少动力学信息，，，，， ，真实物理标签又极其腾贵——
物理仿真究竟该怎样scaling？ ？？？？？
何恺明团队最新的论文GeoPT提供了新思绪——
GeoPT提出了一种全新的动力学提升预训练范式，，，，， ，通过合成动力学（Synthetic Dynamics）将静态几何“提升”到动态空间，，，，， ，让模子在无标签数据上通过学习粒子轨迹演化来获取物理直觉。。。。。。。。
在相同的精度条件下，，，，， ，GeoPT最高可以节约60%的物理仿真数据。。。。。。。。
接下来，，，，， ，我们一起来看。。。。。。。。
将静态几何“提升”到动态空间
一样平常来说，，，，， ，物理系统的解场�。。。。。。。⊿olution Fields）是由几何G（界说空间界线）和系统条件S（动力学驱动，，，，， ，如速率、力）配合决议的。。。。。。。。
以空气动力学为例，，，，， ，汽车的形状（几何）界说了空间的界线，，，，， ，而风速和风向（动力学条件）则决议了流场的演化与详细的阻力漫衍。。。。。。。。
目今，，，，， ，为了实现对物理系统的展望与控制，，，，， ，研究已经从古板的物理仿真，，，，， ，转向基于数据驱动的神经网络仿真器。。。。。。。。
然而，，，，， ，这一起径面临着两个焦点瓶颈：
一方面是标注本钱极高
训练仿真器依赖由古板数值求解器（如CFD/FEA）天生的监视数据，，，，， ，天生一个工业级精度样本往往泯灭数万CPU小时，，，，， ，高昂的“标签天生”本钱严重限制了仿真器的规模�；；；； ；⊿caling）。。。。。。。。
另一方面是静态预训练的局限
只管互联网上有海量的3D几何数据，，，，， ，但若是仅对静态几何举行自监视预训练（如常见的掩码重修使命），，，，， ，会因完全缺失“动力学”维度，，，，， ，导致模子无法捕获物理仿真的焦点特征，，，，， ，甚至在下游使命中泛起“负迁徙”征象。。。。。。。。
基于此，，，，， ，恺明团队提出了一种全新的预训练范式——动力学提升的几何预训练（Dynamics-lifted Geometric Pre-training）
其焦点在于，，，，， ，虽然真实的物理标签难求，，，，， ，但“动力学”自己是可以被参数化的。。。。。。。。
研究通过在预训练阶段引入合成动力学（Synthetic Dynamics），，，，， ，让GeoPT不但学习到几何特征，，，，， ，还通过引入随机速率场v，，，，， ，将表征从纯粹的几何空间提升到“几何+动力学”的团结空间。。。。。。。。
在这里，，，，， ，研究不依赖由物理决议、且需要腾贵仿真才华获取的v，，，，， ，而是通过随机采样每个粒子的速率来构建合成速率（Synthetic Velocities）
由此，，，，， ，自监视目的酿成了几何特征在这种合成动力学下的轨迹：
于是，，，，， ，通过追踪几何特征沿这些合成轨迹的演化历程，，，，， ，研究获得了一个完全由几何构建的、感知动力学的监视信号。。。。。。。。
这使得模子在接触真实的物理标签之前，，，，， ，就能够通过海量无标签几何数据，，，，， ，预先学习到物理演化中通用的空间约束与耦合纪律。。。。。。。。
与此同时，，，，， ，上述动力学提升框架不但提供了预训练目的，，，，， ，还为下游使命提供了一个统一的接口：在预训练和微调阶段，，，，， ，模子均吸收几何和速率作为输入。。。。。。。。
预训练后，，，，， ，GeoPT捕获到了以速率为条件的物理对齐相关性，，，，， ，通过将动力学条件特化为响应的仿真设置并学习求解器天生的标签，，，，， ，进而可以被微调至特定的物理使命。。。。。。。。
训练流程
在预训练阶段，，，，， ，模子被训练用于展望合成动力学下的几何特征轨迹，，，，， ，其损失函数界说为：
该目的函数涵盖了三个焦点变量的组合：
几何：从包括车、机、船等万余个几何体的数据集中举行种别平衡采样。。。。。。。。追踪点x：从物体周围的体积空间和几何界线上采样初始位置。。。。。。。。速率v：从有界球体中为每个点匀称采样随机速率。。。。。。。。
给定上述 (G, V) 信息后，，，，， ，轨迹通过公式确定性盘算得出，，，，， ，其监视目的即为沿此路径的几何特征序列。。。。。。。。
由于预训练使GeoPT捕获到了以速率为条件的物理对齐相关性，，，，， ，在微调阶段，，，，， ，只需将预训练时的随机速率替换为编码了特定仿真设置的使命特定速率。。。。。。。。
详细的适配战略如下：
空气动力学：将入射流条件（速率、攻角等）编码为Vs，，，，， ，其偏向与流向一致。。。。。。。。水动力学：划分为水、气两相设置差别的Vs，，，，， ，反应船舶阻力仿真中的两相流。。。。。。。。碰撞仿真：将攻击偏向编码为Vs，，，，， ，其巨细从碰撞点最先随空间衰减，，，，， ，以反应力的撒播。。。。。。。。
这种统一接口的设计，，，，， ，使得单个预训练模子只需通过重设置速率输入，，，，， ，即可适配多样化的物理仿真使命。。。。。。。。
在详细的细节方面，，，，， ，研究接纳Transolver作为主干网络，，，，， ，并设置了从3M到15M参数的三种模子尺寸。。。。。。。。
在数据效率方面，，，，， ，轨迹被离散化为 3 个办法，，，，， ，使用向量距离（Vector Distance）编码几何信息。。。。。。。。每个几何体采样约3.6万个点，，，，， ，并天生100个随无邪力学场。。。。。。。。
在盘算优势上，，，，， ，监视信号通过优化的射线-三角形求交算法盘算。。。。。。。。处置惩罚一个样本仅需约0.2秒，，，，， ，比工业级 CFD 仿真快10^7倍。。。。。。。。在80核CPU上，，，，， ，仅需3天即可天生5TB的预训练数据集。。。。。。。。
现在，，，，， ，该框架已开源，，，，， ，感兴趣的同砚可以参考文末链接。。。。。。。。
实验验证
在预训练中，，，，， ，研究使用ShapeNet-V1数据集，，，，， ，包括汽车、飞机、船舶等三类工业相关几何，，，，， ，通过采样天生了凌驾100万个样本（约5TB数据） 。。。。。。。。
使命笼罩流体力学： 汽车空气动力学 (DrivAerML)、飞机受力剖析 (NASA-CRM)、船舶水动力学 (DTCHull) ；；；；； ；固体力学： 汽车碰撞最大应力仿真 (Car-Crash) 以及 辐射度仿真 (Radiosity) 等 。。。。。。。。
实验效果批注，，，，， ，GeoPT显著降低了对标注数据的依赖，，，，， ，在抵达相同精度时可节约20-60%的物理仿真数据。。。。。。。。
与此同时，，，，， ，GeoPT还使微调阶段的收敛速率比重新训练快2倍
并且，，，，， ，随着模子层数增添（从8层增添到32层）和预训练数据量的增大，，，，， ，性能一连稳步提升，，，，， ，展现了“物理大模子”的潜力 。。。。。。。。
总的来说，，，，， ，论文证实晰通过“合成动力学轨迹”举行预训练，，，，， ，可以有用弥合静态几何与重大动态物理使命之间的鸿沟 。。。。。。。。
GeoPT 为构建通用的物理仿真基础模子开发了一条可扩展的路径，，，，， ，即：
大规模无标签几何+简朴的合成动力学自监视=强盛的跨领域物理仿真能力
论文作者
这篇论文的第一作者是来自MIT（CSAIL）的博士后研究员吴海旭
他现在师从Wojciech Matusik教授。。。。。。。。此前，，，，， ，吴海旭在清华大学获得博士和学士学位，，，，， ，导师为龙明盛教授。。。。。。。。
值得一提的是，，，，， ，龙明盛教授现为清华大学软件学院副教授，，，，， ，也是本文作者之一。。。。。。。。
论文的配合第一作者是Minghao Guo，，，，， ，他现在为MIT（CSAIL）博士生，，，，， ，同样师从Wojciech Matusik教授。。。。。。。。
他本科就读于清华大学，，，，， ，硕士结业于香港中文大学。。。。。。。。
别的，，，，， ，论文的其他作者还包括Zongyi Li（何恺明教授的博士后）、MIT博士生Zhiyang (Frank) Dou，，，，， ，以及何恺明教授和Wojciech Matusik教授。。。。。。。。
[1]https://arxiv.org/abs/2602.20399v1
[2]https://git中泰财税咨询有限公司hub.com/Physics-Scaling/GeoPT