新智元报道
编辑：LRST
【新智元导读】清华大学李升波教授团队提出RACS算法， ，，，，，通过引入「探险者」战略自动探索违规界线， ，，，，，破解清静强化学习的「清静性悖论」。。。。。该要领在不增添采样本钱的条件下， ，，，，，显著提升违规样实质量与系统清静认知， ，，，，，实现清静与性能的双赢， ，，，，，刷新多项基准的SOTA效果。。。。。
随着强化学习（RL）在虚拟天下的统治级体现， ，，，，，将其迁徙至自动驾驶、机械人控制等真实物理系统已成为行业共识。。。。。然而， ，，，，，物理天下的高危害特征画出了一道不可逾越的红线——「零约束违反」。。。。。
为了守住这道红线， ，，，，，学界提出了多种计划：OpenAI团结拉格朗日乘子法动态权衡清静与性能， ，，，，，UC Berkeley提出的CPO算法使用信托域将战略限制在可行空间内。。。。。
然而， ，，，，，现有要领始终面临一个焦点痛点：战略难以做到严酷的「零违反」。。。。。大大都算法只能将违规控制在极低水平， ，，，，，一旦试图追求绝对的零违规， ，，，，，就会遭遇重大阻力。。。。。
清华大学李升波教授课题组于清静强化学习领域获得突破性希望， ，，，，，首次在理论层面展现并证实晰清静强化学习（Safe RL）中的一个反直觉征象——「清静性悖论」（Safety Paradox）：战略越追求清静， ，，，，，反而可能越不清静。。。。。
论文链接：https://openreview.net/forum?id=BHSSV1nHvU
代码客栈：https://github.com/yangyujie-jack/Feasible-Dual-Policy-Iteration
在清静强化学习中， ，，，，，智能体通常依赖交互数据学习一个可行性函数（Feasibility Function）， ，，，，，以此判断目今状态是否恒久清静， ，，，，，从而规避危险区域。。。。。
然而， ，，，，，研究通过严酷的理论证实展现了一个严肃事实：
随着战略变得越来越清静， ，，，，，其爆发的违规样本会变得极端希罕。。。。。这直接导致可行性函数的预计误差急剧增大， ，，，，，进而使指导战略优化的约束函数泛起误差， ，，，，，最终导致战略清静性崩塌。。。。。
这就像一个从未见过悬崖的人， ，，，，，在行走时即便再战战兢兢， ，，，，，也会由于缺乏对「悬崖边沿」简直切认知， ，，，，，而无法精准判断危险界线事实在那里。。。。。越是刻意追求清静， ，，，，，对危险界线的认知就越模糊， ，，，，，最终反而导致清静防地失效。。。。。 这就是所谓的「清静性悖论」——战略陷入了一个自我挫败的死循环。。。。。
针对这一逆境， ，，，，，团队提出了Region-wise Actor-Critic-Scenery（RACS）算法， ，，，，，通过引入专门网络违规样本的「探险者」战略， ，，，，，乐成突破悖论， ，，，，，在权威基准Safety-Gymnasium上刷新了SOTA效果， ，，，，，该事情揭晓于人工智能顶会ICLR 2026。。。。。
破局之道RACS算法
既然「不敢越雷池一步」会导致认知盲区， ，，，，，那么破解之道即是自动探险、直面危险。。。。。
研究团队提出了Region-wise Actor-Critic-Scenery（RACS）算法， ，，，，，创立性地引入了双战略架构：
（1）原始战略（Primal Policy）：饰演「守规则的执行者」。。。。。它认真在知足清静约束的条件下， ，，，，，尽可能最大化使命奖励。。。。。
（2）对偶战略（Dual Policy）：饰演「无畏的探险者」。。。。。它的目的与前者相反， ，，，，，旨在战略性地最大化约束违反， ，，，，，自动触探原始战略不敢涉足的危险界线。。。。。
通过这种「左右互搏」的机制， ，，，，，RACS在不增添总采样本钱的条件下， ，，，，，显著提升了要害违规样本的比例， ，，，，，从而让系统对「清静界线」有了清晰、精准的认知。。。。。
为相识决双战略数据混淆带来的漫衍偏移（Distributional Shift）问题， ，，，，，RACS接纳了主要性采样（Importance Sampling）手艺举行数学修正， ，，，，，并约束对偶战略与原始战略间的KL散度， ，，，，，确保训练历程的平稳收敛。。。。。
实验效果：刷新SOTA
研究团队在清静强化学习权威基准Safety-Gymnasium上举行了普遍验证。。。。。效果批注， ，，，，，RACS在14项使命中的综合性能抵达了State-of-the-art（SOTA）水平：
（1）清静性显著提升：RACS实现了最低的平均约束违反次数（Cost）， ，，，，，显著优于现有的拉格朗日乘子法或信托域要领。。。。。特殊是在HalfCheetahVelocity、Walker2dVelocity等使命中， ，，，，，实现了严酷的零约束违反。。。。。
（2）控制性能无退化：在包管清静性的同时， ，，，，，RACS的平均累积回报（Return）依然位居榜首， ，，，，，实现了清静与性能的双赢。。。。。在高维的HumanoidVelocity、重大的PointPush（推箱子导航避障）等多项高难度使命中， ，，，，，清静指标与使命性能均压倒一切。。。。。
为探讨性能提升的基础缘故原由， ，，，，，研究团队统计了增添对偶战略后的要害指标转变：
（1）违规样本显著增添：在所有 14 项使命中， ，，，，，对偶战略乐成收罗了大宗高价值的违规样本， ，，，，，大部分使命中的样本量提升了一个数目级。。。。。
（2）预计误差大幅降低：统计显示， ，，，，，可行性函数的拟合误差显著减小！�。。。� ，，，，，尤其是「低估危害」（误差小于零）的频率大幅降低。。。。。这意味着系统不再将危险状态误判为清静， ，，，，，从而从基础上提升了战略的清静性。。。。。
总结与展望
该研究从理论上展现了强化学习中的「清静性悖论」， ，，，，，剖析了违规样本希罕性与可行性函数预计误差之间的内在因果。。。。。
RACS算法通过对偶战略的「对抗式」探索突破了「清静性悖论」， ，，，，，证实晰一个深刻的原理：为了真正的清静， ，，，，，必需充分地了抒难险。。。。。
该研究为自动驾驶、机械人等高危害场景下的强化学习落地提供了坚实的理论基础与有用的解决计划。。。。。
参考资料：
https://openre河南中原制造集团有限公司view.net/forum?id=BHSSV1nHvU