1. 物理先验与机器人学习的融合逻辑1.1 为什么纯数据驱动在机器人领域会碰壁做机器人学习的人都有一个共同的痛仿真里跑得飞起的策略搬到真机上直接崩盘。你以为是仿真到现实的域随机化没做到位调了又调结果发现根本问题在于模型压根没理解物理规律。纯数据驱动的方案不管是模仿学习还是强化学习本质上是在拟合一个从观测到动作的映射函数这个函数在训练分布内表现尚可一旦遇到训练集中没见过的接触状态、摩擦变化或者负载扰动输出就完全不可控。我见过太多团队在这上面栽跟头。一个典型的场景是机械臂抓取训练时用的物体表面摩擦系数比较单一模型学到的策略是“捏住就行”。换一个表面稍微光滑一点的物体同样的抓取力直接滑脱。模型不知道什么叫摩擦力它只知道“这个视觉特征对应这个抓取力”。这就是纯数据驱动的天花板——它没有物理常识。物理先验的嵌入说白了就是给模型“补课”把人类已经总结好的物理规律以某种形式注入到学习框架里。这些规律可能是牛顿-欧拉方程、拉格朗日力学、接触约束、能量守恒也可能只是简单的刚体运动假设。注入的方式五花八门但目标一致让模型在数据稀疏的区域也能做出符合物理直觉的决策。1.2 物理先验的四种嵌入层次从工程落地的角度我把物理先验的嵌入分为四个层次由浅入深。第一层是观测层面的先验。最典型的就是状态估计中加入物理约束。比如用卡尔曼滤波做状态估计时状态转移矩阵本身就是物理模型。再比如在视觉观测中引入光流约束、刚体运动约束让特征提取网络输出的中间表示满足物理一致性。这一层改动最小通常不需要重新设计网络架构适合快速验证。第二层是网络结构层面的先验。把物理方程的结构嵌入到网络拓扑中。Hamiltonian神经网络、Lagrangian神经网络就是典型代表。它们不是直接学习状态到动作的映射而是学习系统的能量函数然后通过物理方程推导出动力学。这样做的好处是学到的动力学天然满足能量守恒长期预测不会发散。缺点是网络设计复杂训练难度大对系统建模的准确性要求高。第三层是损失函数层面的先验。在训练目标中加入物理约束项。比如惩罚违反动量守恒的预测惩罚穿透约束的违反惩罚能量不守恒。这一层比较灵活可以针对具体任务定制约束项。但权重调节是个玄学约束太强会限制模型表达能力太弱又起不到作用。第四层是策略层面的先验。在强化学习的奖励函数中嵌入物理知识或者用物理模型生成先验策略来引导探索。比如用模型预测控制生成示范轨迹再用强化学习微调。这一层直接作用于决策过程对最终性能影响最大但也最难调。1.3 一个具体的选型案例假设你要做一个四足机器人在复杂地形上的行走策略。纯强化学习方案需要大量仿真交互训练时间长而且策略往往学出一些“非自然”的步态比如关节抖动、足端拖地。这些步态在仿真里能拿高分但真机上电机根本执行不了。我的做法是先用一个简化的刚体动力学模型做模型预测控制生成一批还算合理的参考轨迹。这些轨迹不一定最优但至少满足物理约束关节力矩在合理范围内。然后把这些轨迹作为示范数据用模仿学习预训练一个策略网络。最后用强化学习在仿真中微调奖励函数里加入关节平滑度惩罚和能量消耗惩罚。这个流程里物理先验体现在三个地方模型预测控制提供了物理可行的参考轨迹模仿学习阶段网络学到了合理的步态模式强化学习阶段的奖励函数约束了策略的物理合理性。实测下来训练时间比纯强化学习缩短了约百分之四十真机迁移成功率从不到三成提升到七成以上。注意物理先验不是万能的。如果先验本身有偏差比如模型预测控制用的简化模型和真实系统差距太大那注入的先验反而会误导学习。先验的准确性比先验的复杂度更重要。2. 核心方法拆解与实操要点2.1 基于Hamiltonian和Lagrangian的动力学习Hamiltonian神经网络和Lagrangian神经网络是物理先验嵌入的经典方案。它们的核心思想是不直接学习状态导数而是学习系统的能量函数然后通过物理方程推导出动力学。以Hamiltonian神经网络为例。对于一个机械系统状态可以表示为广义坐标q和广义动量p。Hamiltonian H(q,p)表示系统的总能量。动力学方程为dq/dt ∂H/∂pdp/dt -∂H/∂q。网络的学习目标是拟合H函数而不是直接拟合dq/dt和dp/dt。这样做的好处非常明显。首先能量守恒是自动满足的因为Hamiltonian动力学本身就保证dH/dt 0。其次长期预测稳定性好不会像普通神经网络那样误差累积导致发散。第三学到的模型具有可解释性你可以直接读出系统的能量分布。但实操中有几个坑。第一广义动量的获取。对于真实系统你通常只能观测到位置和速度动量需要估计。如果质量矩阵不准确动量估计就有偏差学到的Hamiltonian就不准。我的经验是先用系统辨识方法估计质量矩阵再计算动量。如果质量矩阵难以估计可以考虑用广义坐标和速度作为输入学习一个广义的Lagrangian函数。第二网络结构设计。Hamiltonian网络通常需要保证输出对输入的对称性。比如对于旋转系统Hamiltonian应该对角度是周期函数。这需要在网络设计时加入周期性编码比如用傅里叶特征或者周期激活函数。我试过直接用普通全连接网络学出来的Hamiltonian在角度边界处不连续导致动力学预测跳变。第三训练数据的覆盖范围。Hamiltonian网络在训练数据覆盖的状态空间内表现很好但外推能力有限。如果测试状态超出了训练分布预测的能量可能偏离真实值。解决办法是在训练时加入物理约束的正则项比如惩罚能量偏离先验估计的样本。2.2 接触动力学中的物理先验嵌入接触是机器人学习中最难处理的部分。接触状态是离散的接触力是突变的摩擦锥约束是非光滑的。纯数据驱动的方法在接触任务上表现尤其糟糕。物理先验在接触任务中的嵌入最常用的是互补性约束。简单说接触力和接触距离满足要么接触力为零且距离大于零未接触要么接触力大于零且距离等于零接触。这个约束可以用互补性条件表示0 ≤ λ ⊥ φ(q) ≥ 0其中λ是接触力φ(q)是接触距离。在神经网络中嵌入互补性约束有两种主流做法。一种是把互补性条件作为损失函数的一部分惩罚违反约束的预测。另一种是用互补性层在网络输出层强制满足约束。前者实现简单但约束满足程度依赖权重调节。后者约束满足好但网络设计复杂反向传播需要处理非光滑点。我个人的经验是对于简单的接触任务比如平面推物用损失函数惩罚就够了。对于复杂的多接触任务比如多指抓取最好用互补性层。但互补性层的实现要注意数值稳定性接触力的求解通常需要迭代迭代次数和收敛容差需要仔细调。还有一个容易被忽略的点接触参数的辨识。摩擦系数、恢复系数、接触刚度这些参数在仿真中通常是手动调的但真机上这些参数往往未知。我的做法是先用少量真实交互数据做参数辨识把辨识结果作为先验嵌入到学习框架中。这样比直接用仿真参数效果好很多。2.3 模型预测控制与学习的结合模型预测控制本身就是基于物理模型的把它和学习结合是物理先验嵌入的另一种思路。常见的架构是模型预测控制生成参考轨迹学习模块负责补偿模型预测控制的不足。具体来说模型预测控制用一个简化的物理模型做滚动优化输出控制序列。由于模型简化模型预测控制的输出和最优控制有偏差。学习模块的任务是学习这个偏差然后对模型预测控制的输出进行修正。这种架构的好处是模型预测控制保证了基本的物理可行性学习模块只需要处理残差学习难度大大降低。而且模型预测控制可以在线运行学习模块可以离线训练两者解耦工程实现清晰。实操中的关键点第一模型预测控制的预测时域和控制时域需要仔细选。时域太短滚动优化效果差时域太长计算量大实时性保证不了。我的经验是预测时域取系统主要时间常数的三到五倍控制时域取预测时域的三分之一到二分之一。第二学习模块的输入设计。除了状态和模型预测控制的输出最好把模型预测控制的内部信息也作为输入比如预测的轨迹、优化的代价、约束的活跃情况。这些信息能帮助学习模块判断模型预测控制在哪些地方可能不准。第三训练数据的采集。模型预测控制在线运行时可以记录状态、模型预测控制输出、实际执行效果。这些数据天然就是学习模块的训练数据。但要注意模型预测控制本身有反馈校正实际执行效果包含了反馈的作用学习模块学到的偏差可能被反馈掩盖。解决办法是在训练时用开环预测的偏差作为标签而不是闭环执行的偏差。2.4 仿真到现实的物理先验迁移仿真到现实的差距本质上是物理参数的差距。仿真中的质量、摩擦、阻尼、延迟和真机都有偏差。域随机化是一种粗暴的解决办法把参数在一个范围内随机化让策略对这个范围都鲁棒。但域随机化的问题是随机范围太窄覆盖不了真实差距随机范围太宽策略过于保守性能下降。物理先验的嵌入提供了一种更优雅的方案在线辨识物理参数然后自适应调整策略。具体做法是策略网络输入中除了状态还包含物理参数的估计值。物理参数通过在线辨识模块实时更新。这样策略在不同物理参数下都能做出合理决策。在线辨识的方法有很多。最简单的是递推最小二乘适用于线性参数化模型。对于非线性模型可以用扩展卡尔曼滤波或者粒子滤波。近年来也有用神经网络做在线辨识的但神经网络的收敛性和稳定性需要仔细处理。我做过一个机械臂抓取的项目用在线辨识估计物体的质量和摩擦系数。辨识模块用递推最小二乘输入是关节力矩和运动状态输出是质量和摩擦系数的估计。策略网络用强化学习训练输入包含辨识结果。实测下来对于质量在零点五到三千克、摩擦系数在零点二到零点八范围内的物体抓取成功率超过九成。相比之下固定参数的策略在同样范围内成功率只有六成左右。提示在线辨识的收敛速度很关键。如果辨识太慢策略还没来得及适应任务已经失败了。我的经验是辨识模块的初始估计用先验值更新速率根据任务时间尺度调。对于快速任务更新速率要快但噪声抑制要强对于慢速任务可以慢一点估计更准。3. 完整实操流程与核心环节实现3.1 问题定义与物理先验选择拿到一个机器人学习任务第一步不是急着搭网络而是想清楚这个任务涉及哪些物理规律哪些规律是数据驱动难以学到的哪些规律可以用先验嵌入来补以机械臂装配任务为例。任务是把一个轴插入孔中。涉及的物理规律包括刚体运动学、接触力学、摩擦、间隙配合。数据驱动难以学到的部分主要是接触状态判断和接触力控制。接触状态是离散的接触力是突变的纯数据驱动很难从视觉观测中准确推断接触状态。物理先验的选择接触约束用互补性条件摩擦用库仑摩擦模型间隙配合用几何约束。这些先验可以嵌入到状态估计、动力学预测和策略学习中。我的做法是先用一个基于物理的仿真环境搭建任务场景。仿真环境不需要很精确但接触模型要合理。然后在仿真中采集数据训练一个接触状态分类器。分类器的输入是视觉观测和本体感受输出是接触状态的概率分布。这个分类器作为状态估计的一部分为后续策略提供接触信息。3.2 网络架构设计与物理约束嵌入网络架构的设计要围绕物理先验的嵌入方式展开。对于装配任务我用的架构是视觉编码器加状态编码器加物理约束层加策略网络。视觉编码器用卷积网络提取图像特征。状态编码器用全连接网络处理关节角度、力矩等本体感受。物理约束层是核心它把接触约束和摩擦约束嵌入到特征表示中。具体来说物理约束层接收编码后的特征输出接触力估计和接触状态概率。接触力估计满足互补性约束接触状态概率满足归一化约束。策略网络接收物理约束层的输出输出动作。动作包括关节位置增量或者关节力矩。策略网络的训练用强化学习奖励函数包含任务完成度、接触力平滑度、能量消耗。物理约束层的实现细节互补性约束用软惩罚损失函数中加入违反互补性的惩罚项。惩罚权重从大到小退火初期强约束保证物理可行性后期弱约束允许策略微调。接触状态概率用softmax输出保证归一化。接触力估计用softplus激活保证非负。训练流程先在仿真中预训练视觉编码器和状态编码器用监督学习。然后固定编码器训练物理约束层和策略网络用强化学习。最后联合微调所有模块用较小的学习率。3.3 训练数据采集与课程学习数据采集是机器人学习的瓶颈。真机采集成本高仿真采集虽然便宜但存在域差距。我的策略是仿真为主真机为辅课程学习逐步过渡。仿真阶段在仿真环境中随机化初始状态、目标位置、物体参数。采集成功和失败的轨迹失败轨迹也要保留用于训练接触状态分类器和物理约束层。仿真数据的规模大概在十万条轨迹量级。真机阶段在真机上采集少量数据主要用于微调。真机数据采集用遥操作或者示范学习操作者手动完成任务记录状态和动作。真机数据规模大概在几百条轨迹量级。课程学习的设计从简单场景开始逐渐增加难度。简单场景包括大间隙配合、低速运动、无摩擦变化。困难场景包括小间隙配合、高速运动、摩擦变化。每个难度级别训练到收敛后再进入下一级。这样策略逐步适应不会一开始就被困难场景带偏。我踩过的一个坑一开始就在困难场景上训练策略学出来的行为很保守动作缓慢接触力很小任务完成率很低。后来改成课程学习从简单场景开始策略先学会快速完成再逐步适应困难场景最终性能好很多。3.4 真机部署与在线自适应真机部署时仿真训练的策略直接迁移往往效果打折。我的做法是加入在线自适应模块。自适应模块包括物理参数辨识和策略微调。物理参数辨识用递推最小二乘估计接触刚度和摩擦系数。辨识的输入是关节力矩和运动状态输出是参数估计。辨识的初始值用仿真参数更新速率根据任务调整。策略微调在真机运行时用少量在线数据微调策略网络的最后一层。微调用小学习率避免破坏预训练的知识。微调的损失函数包括任务完成度和物理约束违反惩罚。实测效果在一个轴孔装配任务上仿真训练的策略直接迁移成功率约六成。加入在线自适应后成功率提升到八成五以上。自适应模块的收敛时间大约在十到二十个装配周期。注意在线自适应的安全性很重要。微调过程中策略可能输出危险动作需要有安全层兜底。安全层监控关节力矩和接触力超过阈值时切换到保守策略或者紧急停止。4. 常见问题与排查技巧实录4.1 物理约束不收敛怎么办物理约束不收敛是常见问题。表现是损失函数中约束项震荡或者发散策略性能不升反降。排查思路第一检查约束的尺度。物理约束的量纲和任务损失的量纲往往不同直接相加会导致某一项主导。解决办法是归一化把约束项除以一个参考值使其和任务损失在同一量级。第二检查约束的可行性。有些约束在特定状态下是不可行的比如接触力非负和接触距离非负同时满足时接触力必须为零。如果网络输出的接触距离为负约束就无法满足。解决办法是在网络输出层加硬约束比如接触距离用softplus保证非负。第三检查优化器的选择。物理约束往往是非光滑的Adam等一阶优化器在非光滑点附近容易震荡。可以尝试用二阶优化器或者对非光滑点做平滑处理。我的经验是约束项用退火权重初期权重小让策略先学任务后期权重逐渐增大强制满足约束。这样比一开始就强约束效果好。4.2 仿真到现实的差距怎么缩小仿真到现实的差距是机器人学习的永恒话题。物理先验的嵌入能缩小差距但不能完全消除。缩小差距的手段第一系统辨识。在真机上做系统辨识实验估计质量、摩擦、阻尼、延迟等参数。把辨识结果更新到仿真中让仿真更接近真机。第二域随机化加自适应。域随机化覆盖参数不确定性自适应在线调整策略。两者结合既保证鲁棒性又保证性能。第三残差学习。用仿真训练一个基础策略然后在真机上学习一个残差策略补偿仿真和现实的差距。残差策略的输入包括真机状态和仿真预测的偏差。我做过一个对比实验纯域随机化的策略真机成功率约五成域随机化加在线自适应的策略成功率约七成域随机化加残差学习的策略成功率约八成。三者结合成功率接近九成。4.3 物理先验和数据的平衡怎么把握物理先验太强模型表达能力受限学不到数据中的精细模式。物理先验太弱模型退化成纯数据驱动泛化能力差。平衡的把握是个艺术。我的原则是先验负责骨架数据负责血肉。先验保证基本的物理可行性数据填充具体的任务细节。具体来说网络架构中物理约束层负责硬约束策略网络负责软决策。损失函数中物理约束项负责全局一致性任务损失项负责局部性能。权重调节的经验物理约束项的权重从大到小退火任务损失项的权重从小到大退火。初期物理约束主导保证策略不跑偏后期任务损失主导让策略精细化。还有一个技巧用物理先验生成示范数据然后用这些数据预训练策略网络。预训练后的网络已经具备了物理常识后续用强化学习微调时只需要少量数据就能达到好性能。4.4 常见问题速查表问题现象可能原因排查方法解决方案物理约束损失震荡约束尺度不匹配检查各项损失量级归一化约束项退火权重策略在接触时抖动接触状态估计不准可视化接触状态概率增加接触状态分类器训练数据真机迁移成功率低仿真参数偏差大对比仿真和真机轨迹系统辨识更新仿真参数在线自适应收敛慢辨识更新速率不当调整递推最小二乘遗忘因子根据任务时间尺度调更新速率策略过于保守物理约束太强检查约束权重降低约束权重增加任务损失权重长期预测发散能量不守恒检查Hamiltonian网络输出加入能量守恒正则项4.5 独家避坑技巧第一个技巧物理先验的嵌入要从简到繁。不要一上来就搞Hamiltonian网络或者互补性层先用损失函数惩罚试试。如果损失函数惩罚就能解决问题没必要上复杂架构。我见过太多项目为了用前沿方法而用前沿方法结果工程复杂度爆炸效果还不如简单方案。第二个技巧物理参数不要手动调要做辨识。仿真中的摩擦系数、接触刚度这些参数手动调往往不准。用少量真机数据做辨识哪怕辨识精度不高也比手动调强。辨识的代码可以用现成的系统辨识工具箱不需要自己从头写。第三个技巧训练时的物理约束和部署时的物理约束要一致。我见过一个项目训练时用了接触力约束部署时忘了加结果策略输出的接触力超出电机能力直接触发保护。训练和部署的约束条件要严格对齐最好用同一套约束代码。第四个技巧物理先验不是越多越好。每加一个先验就多一个超参数多一份工程复杂度。先验的选择要针对任务的痛点。如果任务的主要难点是接触那就重点嵌入接触先验如果主要难点是动力学那就重点嵌入动力学先验。不要面面俱到面面俱到往往面面都不到位。第五个技巧保留纯数据驱动的基线。物理先验的方案要和纯数据驱动的方案对比才能知道先验到底有没有用。我习惯在项目开始时先跑一个纯数据驱动的基线记录性能。然后逐步加入物理先验观察性能变化。如果加入某个先验后性能没提升甚至下降那就果断去掉。我在实际项目中的体会是物理先验的价值在数据稀疏的场景下最明显。数据充足时纯数据驱动也能学好数据稀疏时物理先验就是救命稻草。所以如果你的任务数据采集成本高物理先验值得投入如果数据采集很容易先把数据量堆上去再考虑物理先验。最后分享一个小技巧物理先验的代码要模块化。把物理约束、物理模型、物理参数辨识都写成独立模块方便替换和组合。这样你可以快速尝试不同的先验组合找到最适合任务的方案。我自己的代码库里物理先验模块有十几种每次新任务都是从这些模块里挑几个组合效率很高。