当机器人团队遭遇隐蔽攻击能否在保持安全稳定的同时继续学习并优化协同性能——分布式安全学习控制DSLC框架目录01 为什么多机器人“被攻击”后很难保持协同02 把攻防写进预测控制一场在线微分博弈03 仿真验证与跨规模泛化多种攻击概率下的对比验证从 2 台到 1000 台策略可扩展04 真实机器人实验05 结语多机器人系统的抗攻击控制已有大量研究。通过鲁棒反馈、状态观测和攻击检测等方法研究者能够在一定攻击条件下维持系统稳定。然而当控制器需要在运行中持续学习、改进协同策略时问题变得更加复杂策略更新会改变机器人的闭环行为性能改善并不自然意味着安全稳定隐蔽攻击还可能干扰学习与控制过程使局部偏差通过机器人之间的交互影响整个团队。如何让策略“学得更好”的同时确保机器人团队“运行得稳”是安全学习控制需要解决的关键问题。实际部署还提出了进一步要求机器人团队既要完成一般编队、仿射编队、包含控制等不同协同任务也要适应团队规模的变化。如果每换一种任务都需要重新设计控制架构、每增加一批机器人都需要重新训练策略学习控制的应用效率将受到明显限制。能否用统一架构支持多类协同任务并让小规模系统中学到的安全策略快速泛化到大规模团队围绕上述问题国防科技大学张兴龙、马清文、李聪、徐昕等联合湖南大学尹辉、同济大学王曰英、英国纽卡斯尔大学潘为智身科技CTO等开展研究相关成果以《Distributed Secure Learning Control for Large-scale Multirobots under Stealthy Actuator Attacks》为题发表于 IEEE Transactions on Robotics。徐昕、马清文为共同通讯作者。▲图1分布式安全学习控制 DSLC原理图。研究提出了一种统一的分布式安全学习控制框架Distributed Secure Learning ControlDSLC。在每个滚动预测区间内攻击者试图恶化协同性能防御者则通过学习控制策略抵御攻击、优化团队行为。简单说它不是等攻击被检测出来再补救而是把攻击者和防御者放进同一个微分博弈里在线学习双方的策略让机器人团队在“最坏攻击”下继续完成任务。框架联合学习双方的闭环策略并结合终端稳定性设计与滚动时域机制在相应条件下保障闭环稳定实现隐蔽攻击下的协同性能持续优化。这一架构统一支持一般编队、仿射编队和包含控制等任务还能将小规模系统中学到的安全策略直接推广至更大规模的机器人团队为兼顾安全性、控制性能与可扩展性的多机器人学习控制提供了新的方法。01 为什么多机器人“被攻击”后很难保持协同多机器人系统的优势很明显它们可以通过分布式协作完成单台机器人难以完成的任务比如编队、包围、区域覆盖、协同运输。但代价也很明显每个局部控制器都要依赖邻居信息局部机器人受到攻击后其影响可能通过邻居交互传播至整个团队。攻击通常分两类DoS 攻击会阻断通信流量特征明显相对容易检测而欺骗攻击、执行器攻击则隐蔽得多。尤其是执行器攻击攻击者可以平滑地、动态一致地篡改控制输入使被篡改的控制输入难以与正常指令区分同时把系统推向不稳定。一般编队、仿射编队和包含控制等协同任务下多机器人编队误差动力学可通过空间变换统一表示为如下相互耦合的数学形式其中执行器攻击直接作用于控制输入。这种攻击控制信号可能与正常指令具有相似的变化特征使异常难以及时被发现却逐步通过网络传播造成多个节点的轨迹偏离和队形破坏。这给控制设计带来双重挑战既要在攻击下维持稳定并优化任务性能又要避免复杂在线优化带来的计算负担。过去的办法大多关注“稳定与鲁棒”事件触发控制、观测器鲁棒控制、检测—监控控制等。它们能提升安全性但有一个关键问题没有解决在恶意攻击下如何继续优化协同性能传统分布式模型预测控制DMPC依赖在线周期性数值优化求解在线计算量大难以扩展到大规模机器人强化学习能够优化控制策略但在恶意攻击下如何兼顾在线学习的计算效率与闭环稳定性仍面临挑战。所以真正的问题变成了能不能让多机器人系统在隐蔽攻击下不仅“稳住”还能继续优化队形、轨迹和任务性能02 把攻防写进预测控制一场在线微分博弈该研究的核心方法叫 DSLC。它的关键不是把攻击当成普通扰动而是把攻击者和防御者建模为微分博弈中的对抗双方。在预测时域内求解对应的零和微分博弈 min-max 优化问题局部代价函数定义为阶段代价在每个预测区间内攻击者试图最大化系统代价防御者试图最小化代价形成一个零和 min-max 优化问题。为了降低在线计算开销DSLC 则把有限时域优化问题分解成一系列更小的子问题以“前向时间”的方式迭代求解闭环控制策略。具体来说团队设计了一个滚动时域分布式attacker-actor-critic架构。每个机器人配备三组网络critic 网络估计值函数评估当前策略的好坏actor 网络生成防御策略即安全控制输入attacker 网络生成最坏情况下的攻击策略用于训练防御者。Attacker-Actor-Critic网络的更新律设计如下理论上论文在初始可行性和终端条件等假设下建立了最优闭环策略的稳定性结论并分析了神经网络学习误差的有界性。针对实际学习得到的近似策略还给出了可检验的稳定性条件。与数值优化方法输出开环控制序列不同DSLC 直接生成解析闭环攻防策略。防御策略仅依赖机器人自身及邻域状态通信开销主要取决于局部邻域规模。同时终端惩罚矩阵的设计保证了闭环稳定性使策略学习与滚动时域机制结合起来。更重要的是这个框架是统一的一般编队、仿射编队、包含控制都可以纳入同一套分布式安全学习控制中。03 仿真验证与跨规模泛化多种攻击概率下的对比验证研究首先在 2、4、6 台机器人仿真系统中将 DSLC 与分布式滚动时域强化学习DRHRL、分布式鲁棒模型预测控制DRMPC进行比较。攻击概率 β 间隔0.2从 0 变化到 1其中 β 0 表示无攻击β 1 表示每次均施加攻击。受攻击时对比方法出现不同程度的轨迹偏离和队形紊乱DSLC 仍能保持较好的跟踪与编队性能。定量结果显示DSLC 的累计误差指标 IAE、ITAE 更低综合代价也在多数测试中优于对比方法。▲图 2不同攻击概率下的六机器人编队仿真轨迹。从左至右依次为DSLC、RHRL 和 DRMPC。从 2 台到 1000 台策略可扩展为了证明这不是“只在小团队上好用”该工作进行了大量仿真。在仿真中团队对比了 DSLC、分布式滚动时域强化学习DRHRL和分布式鲁棒 MPCDRMPC。攻击概率从 0 到 1 变化机器人数量从 2 台、4 台到 6 台。结果显示DSLC 的 IAE、ITAE 和综合代价 Jc 明显更低轨迹跟踪更准队形保持更稳。更关键的是可扩展性。将仅从 2 台机器人上学习到的策略直接部署到 100 台甚至 1000 台机器人。在不同攻击概率下大规模团队仍能稳定运行。在计算效率方面在 1000 台机器人场景中每个局部控制策略平均只需 1.03 ms 完成策略学习部署阶段仅需 0.16 ms。上述测试数据来自单台主机上的计算测试反映了局部策略的计算效率为后续机载分布式实现提供了依据。▲图3策略部署到100台和 1000 台机器人 不同攻击概率下的性能代价曲线。04 真实机器人实验论文进一步把 DSLC 推向了真实轮式机器人平台。实验平台由多台轮式移动机器人、视觉定位系统和主机组成。机器人状态通过相机实时测量防御策略在主机上计算后经 WiFi 6 和 UDP 协议发送给各机器人 STM32 微控制器。攻击者则利用局部状态信息向单个机器人执行器注入隐蔽欺骗攻击。▲图4实验平台与攻防信息流。左图为机器人及视觉定位场景右图为状态测量、控制指令和攻击信号的传递关系。论文在不同规模机器人系统上验证了三类协同任务任务一一般编队控制。机器人团队分别跟踪直线和圆形参考轨迹攻击概率设为 0、0.5、1。DSLC 能让 4 台和 6 台机器人保持稳定矩形编队而 DRHRL 在攻击下偏离轨迹、队形破坏甚至碰撞。▲图5六机器人圆形轨迹跟踪实验β 1。上排为 DSLC下排为 DRHRL。快照与轨迹图共同展示了两种方法在持续受攻击条件下的队形保持效果。在六机器人直线编队实验中β 1 时DSLC 的 IAE 为 2.19DRHRL 为 7.30相对降低 70.0%体现了受攻击时的协同控制性能改善。任务二仿射编队控制。在狭窄通道和障碍物场景中DSLC 控制的机器人团队可以动态收缩、扩张编队安全通过障碍区域。DRHRL 则出现编队混乱、机器人碰撞和障碍物碰撞。▲图6仿射编队实物实验β 0.5。上半部分为 DSLC下半部分为 DRHRL每组左侧为实物快照右侧为运动轨迹。DSLC 在所测场景中完成了队形变换与避障。在 β 0.5 和 β 1 两种攻击条件下DSLC 均完成了相应任务累计误差低于 DRHRL。以 β 1 为例IAE 从 6.31 降至 4.06相对降低约 35.7%。这组实验检验了协同策略在队形变化过程中的抗攻击表现机器人需要同时保持相互配合、跟随参考轨迹并适应障碍区域的通行要求。任务三包含控制。在领导者—跟随者结构中跟随机器人需要进入领导者形成的凸包。实验中10 秒后新领导者加入DSLC 能让跟随机器人重新进入更新后的凸包并保持安全距离。在DRHRL控制 下跟随者机器人无法有效进入凸包导致碰撞。在 β 0.5 的包含控制实验中DSLC 的 IAE 为 21.44低于 DRHRL 的 31.66相对降低 32.3%说明它在攻击下确实实现了更优的控制性能。▲图7包含控制实物实验β 0.5。上半部分为 DSLC下半部分为 DRHRL。新领导者加入后DSLC 控制下的跟随机器人重新进入更新后的凸包并保持安全距离。05 结语DSLC 将安全防御与协同性能优化融入统一的学习预测控制框架在隐蔽执行器攻击下支持一般编队、仿射编队和包含控制等多类任务并通过显式闭环策略的复用实现了从小规模系统学习到大规模仿真系统的直接部署。现阶段理论分析建立在理想静态通信网络及相应模型、测量假设之上策略学习需给定攻击概率实物实验采用轮式机器人局部策略由主机统一计算。未来将进一步研究通信时延、复杂攻击、异构机器人及高维未知动力学条件下的安全学习控制推动机载分布式部署与更复杂场景验证。该研究为兼顾安全保证、协同性能优化与跨规模泛化的多机器人学习控制提供了统一的方法框架。RefXinglong Zhang, Qingwen Ma, Cong Li, et al. Distributed Secure Learning Control for Large-scale Multirobots under Stealthy Actuator Attacks. IEEE Transactions on RoboticsEarly Access2026.https://arxiv.org/pdf/2609.06896