基于数据驱动的无人机编队最优控制算法设计

董睿冲，徐 涛，王晓丽*

（哈尔滨工业大学（威海）信息科学与工程学院，山东 威海 264209）

0 引言

最近几年来，无人机技术的迅猛发展使得固定翼无人机和旋翼无人机在各个领域得到了广泛的应用[1]。无人机的海陆空协同作战在海洋作战中具有多个优势。首先，无人机能够在复杂的海洋环境中迅速响应和部署；其次，无人机能够通过高空俯瞰和远距离侦察，提供全面的情报支持，提升作战主体的感知能力和对战场情况的认知；此外，无人机在海洋作战中能够执行风险较高的任务，减少人员伤亡风险，提高作战效能和安全性。无人机编队的协同作战将在海洋作战中发挥重要作用，为作战指挥和决策提供更多的选择和灵活性。多无人机编队控制问题一直是无人机领域中备受关注的研究方向，国内外众多学者投入了大量的研究工作。南京信息工程大学自动化学院庄亚楠团队在有向拓扑结构下，针对无人机之间存在通信噪声干扰，研究了基于事件触发的多无人机群快速编队控制[2]。南京邮电大学的LEI JI教授团队研究了通信带宽有限情况下多无人机系统的编队控制问题，利用位置和速度的组合误差，协同设计了具有事件触发机制的一致性控制协议，以减少网络上的信息传输量[3]。在国外，俄罗斯科学院Pereslavl-Zalessky 程序系统研究所的学者论述并考虑了在不稳定环境下运行的一组无人机编队控制，提出了一种基于自适应Kohonen神经网络的方法，应用了智能几何控制的原理，为在复杂环境中实现无人机群的运动提供了理论支撑[4]。沙特阿卜杜勒阿齐兹国王大学航空航天工程系的学者提出了一种新的二阶非线性多智能体系统（MAS）的分布式共识算法用于解决多架无人机协同控制的问题[5]。

领航–跟随法是无人机编队控制领域的一个研究重点，具有广泛的应用前景。该研究方向旨在实现一个或多个无人机作为领航者，引导其他无人机进行协同飞行。国内外许多学者在这一领域开展了深入的研究，并提出了各类创新方法和技术。在文献[6]中，将旋翼无人机设定为跟随者，地面小车设定为领航者，并采用线性二次调节器（LQR）方法和滑模控制设计了控制器，成功实现了编队控制。另一方面，在文献[7]中，基于虚拟领航–跟随者模型，提出了一种创新的反步控制方法，能够快速实现编队状态的稳定。在文献[8]中，研究者在领航–跟随者结构下，通过设计适当的滑模面和滑模控制律，能够实现对群体系统的集中控制，使得每个个体能够按照预定的规则和策略行动。滑模控制方法的稳定性和鲁棒性使得群体控制可以在各种环境和条件下有效工作，具有一定的鲁棒性和适应性[9]。

虽然目前该领域成果丰硕，但现有研究仍存在一些问题。其一为对无人机进行建模时缺乏足够的精确性。目前大部分研究在建立模型或线性化运动学和动力学模型的过程中。由于简化程度较高，无法完全考虑许多不确定因素，实际控制过程中模型存在不确定性，这使得控制精度的进一步提高受到限制。

数据驱动控制（Data-driven Control）是一种在控制器设计中不依赖于受控系统的数学模型信息，而是仅使用系统的离线/在线数据和经过数据处理得到的信息的方法。通过严格的数学分析，其稳定性和收敛性可以保证其鲁棒性[10]。为了解决无人机编队模型建立不准确的问题[11-12]，使用数据驱动的方法来控制无人机和编队被证明是有效的，具有实际重要意义[13-14]。

本文提出了针对控制器设计过程中需要求解一个复杂的代数黎卡提方程的问题，提出一种基于数据驱动的算法，近似得到黎卡提方程（ARE）唯一解。同时，本文针对无人机编队中由于内部参数摄动导致的模型不精确问题并提出了数据驱动的方法。在适用于明确已知的线性系统模型的同时，只需要一段时间内的输入和状态信息，即可求解出最优的反馈控制策略。

1 无人机系统模型

本文研究多无人机编队系统在实际应用中的问题，例如无人机集群对抗和多无人机协同搜索。研究对象为十字形四旋翼无人机。基于虚拟领航-跟随者模型，考虑到存在系统参数摄动的情况下，论文探讨了由多个四旋翼无人机组成的编队最优控制问题。四旋翼无人机是强耦合和欠驱动系统，它有6 个自由度。

常见的四旋翼无人机非线性动力学模型被表示为

式中：(x,y,z）分别表示无人机对地的空间位置；α表示沿机体坐标系OEXE轴旋转的滚转角；β表示沿机体坐标系OEYE轴旋转的俯仰角；γ表示沿机体坐标系OEZE轴旋转的偏航角；m表示无人机的总质量；g表示重力加速度；l表示无人机结构轴的长度；Ji(i＝x,y,z)表示无人机的三轴转动惯量，Ui(i＝ 1, 2, 3, 4 ）的定义如下：

式中：U1为所有转子产生的推力之和；U2,U3,U4是同滚转、俯仰和偏航运动相关联的量；Fi(i＝1,2,3,4）表示4 个电机的推力；Ti(i＝ 1, 2, 3, 4 ）表示4 个电机的扭矩。

本文的控制目标：针对每个四旋翼无人机（1），设计最优编队控制器ui(i＝ 1, 2, …,N），使整个编队系统在指定队形下飞行。为达到这一目标，本文的设计方法在传统线性二次型调节的基础上，融合了数据驱动的思想。

2 基于数据驱动的编队控制算法设计

2.1 非线性系统解耦

为了简化控制器设计并更真实地模拟四旋翼无人机的飞行过程，我们将无人机的强耦合非线性模型进行解耦。这种解耦后的线性系统能够更好地描述无人机的飞行行为。

同时，我们重新定义了状态变量，以利于对无人机编队控制器的设计：

式中：

为了确保解唯一性，在小振荡模型下进行线性化。利用常用近似：

在无人机姿态角很小的情况下，这种简化方法是合理的。

定义平衡点：

平衡时固定的控制输入：

这个输入量所代表的为无人机的 4 个转子产生的用于抵消无人机自身重力的上升力，它使无人机平稳地悬停在规定的平衡点处。从而可以得知该无人机的线性动力学模型的状态空间表达式为

式中：

由式（10）可得，状态x和y仅与姿态角β,α相关，与控制输入U1无关。以此简化后的系统如下：

通过解耦简化的4 个线性子系统，我们可以观察到根据卡尔曼提出的系统能控能观性判据，这些线性子系统都具备能够被控制和被观察的性质。

2.2 编队线性模型

根据3.1 的内容，对于无人机的编队控制器，需要对4 个子系统单独设计。下面以位置子系统x为例，第i架无人机的数学模型为

式中：

这架无人机与理想状态间的误差表示为

式中：ρ0表示无人机的期望飞行状态；ρi0表示第i架无人机与期望飞行状态之间的差值，可将其假设成[xi0vi00 0]T。

对误差变量进行求导可得：

以无人机编队为整体来说：

式中：N表示编队中受控制无人机数量；n表示控制对象状态变量的维数；输入变量的维度为m，状态子系统位置x中，m＝ 1,n＝ 4。

在实际应用中，无人机的负荷与理想情况存在差异，有些时候无人机没法查清负荷的情况。所以模型中的质量和转动惯量不是已知的。基于这些情况，我们可以改写编队的误差状态空间如下：

ΔA, ΔΒ为摄动的动力学参数，定义范数有界的不确定参数：

式中：Gi,Ei(i＝1,2)是由常数组成的矩阵，Mi(i= 1， 2）是一个有界未知的矩阵且满足：

2.3 线性二次型最优控制器设计

在这一节中，我们着重解决多无人机系统自适应最优控制问题，其主要内容为“领航者–跟随者”网络拓扑结构。我们通过数据驱动策略，对无人机的输入信号、扰动信号及状态信息进行采样，并进行一些处理操作即可解决在无人机模型未知的情况下，多无人机编队的控制问题。这意味着我们能够实现高效的编队控制，无论无人机内部参数的变动或模型信息的不确定性如何。

设计编队模型状态反馈分布式控制器：

式中：c为一个常系数；K*为状态反馈矩阵；dij表示系统矩阵A对应的入度矩阵D中的元素，将式（19）代入式(21)，可以得到：

将式（26）改写为编队整体：

式中：L为编队的拉普拉斯矩阵；为对角矩阵，维数与L相等；此外对于i＝ 1,2…N，∃i＞0，使得ai≠ 0。

L⊗cK*使各无人机的运动和位置状态尽量一致；使各无人机和期望状态之间的误差尽可能小，这样能够使各个无人机都尽量跟踪领航者。

本文结合编队控制器的设计，考虑了具体的线性二次型问题。对于此类受控系统被假设为线性系统的问题，用控制输入状态变量和组成的二次型函数表示系统的性能指标。通过将自适应动态规划融入线性二次型设计方法，利用无人机的输入数据和状态数据进行迭代学习，以近似求解最优控制器的问题。这样，我们能够得到一个能够有效解决线性二次型最优控制问题的控制器设计方法。

对于系统来说，线性状态反馈ui＝-K*ζi被期待用来使下面的性能指标函数成立：

式中：Q＝QT≥0,R＝RT≥0，Q,R均为已知的定常矩阵，且是可观测的。

将ui＝-K*ζi代入式（28）有：

为了求取K*，不妨假设存在一个常量矩阵P，使得：

将上式代入：

将式（30）中的等式左侧微分形式展开：

式中：Ac＝A-BK*。 若上式等号恒成立， 则的值为0。

令K*＝R-1BTP*，有：

式中，P*＝P*T＞0（矩阵正定）对于上述黎卡提方程来说是唯一存在的解。

公式（34）是一个非线性方程，其解为矩阵P，通过解析方法求得方程的解非常困难。

针对式（34）中P*的求解问题，本文提出一种基于数据驱动的算法，若初始状态反馈矩阵给定，通过求解对应tk(k＝ 0,1,..,)时刻的Pk矩阵，迭代更新线性反馈矩阵Kk＋1，最终近似得到黎卡提方程（ARE）唯一解P*。

引理1：在任意给定一个稳定的状态反馈矩阵后，我们将在k＝ 0,1,2... 的情况下重复以下步骤：

1）实对称正定矩阵Pk由下述方程求解：

式中：Ak＝A-BKk。

2）反馈矩阵可以通过式（36）进行代换：

有以下3 个性质成立：

1）A-BKk是赫尔维茨稳定的。

以上使用了策略迭代方法，可以对策线性连续系统。最开始提供初始输入策略K0，该策略可以使系统稳定。然后通过式（35）求取Pk实现策略评估，在式（31）中不难发现Pk和初始状态是与性能指标J相关联的。为了更新策略，通过式（36）代换得到下一个循环中的Kk＋1。不过必须有较为精准的线性系统A,B的信息来实现引理 1 中的迭代循环过程，本文已给出2 个与其相关的矩阵。若无人机系统存在参数摄动，则精确的矩阵信息将无法获得，所以引理1 所提出的策略迭代方法实用性较差。

在这篇论文中，结合了引理1 和自适应动态规划的思想，基于数据驱动，我们提出一种自适应最优控制算法。这种方法在适用于明确已知的线性系统模型的同时，只需要一段时间内的输入和状态信息，即可求解出最优的反馈控制策略。这意味着我们可以通过数据驱动的方法来实现无人机的最优控制，无需依赖于准确的系统模型。

将第i架无人机与期望位置之间的误差变量的数学模型改写如下：

将上式中的系统参数代入可转移性能指标函数，以克朗克积的形式表示内部多项式如下：

式中：0 ≤ti,0＜ti,1＜…＜ti,s＜ti＋1,0＜ti＋1,1＜… ,s表示在ti与ti＋1之间的采样次数。

将式（39）扩展成如下形式：

式中：

在利用最小二乘法求解式（40）Kk＋1时，解的唯一性是非常关键的因素，而满秩是确定解唯一性的充分条件，即Θk必须做到满秩。使Θk满秩的充分条件如下。

引理2：对于每次迭代k＝ 0,1…，存在一个充分大的lk＞ 0，如果有下面的秩条件成立：

那么式（40）中Θk满秩。为了节省空间，此处省略证明。

式（41）成立时，式（40）有唯一解，应用最小二乘法求解，式（40）进一步写成：

假设每个区间 [ti, 0,ti,s]为一个采样周期，在解决上述方程时，必须有充足的样本数据，即迭代过程中，都应该存在充分大的s进行预处理以确保数据的可靠。首先，考虑到零输入时本文解耦得到的子系统具有发散性，为使系统保持稳定，我们可以使用初始控制策略K0；其次，选择探测噪声也是非常重要的。一般而言，计算秩条件可以检查最小二乘法中的秩问题，但无法通过分析进行确认。

为了满足秩条件，应确保每个迭代步骤至少有10 个相对应的采样周期的数据，即s≥10。当探测噪声有周期性时，其周期应远小于采样时间间隔。

由控制器设计ui＝-K*ζi、式（40）以及式（50）构成基于数据驱动的自适应最优控制算法，流程图如图1 所示。其中c为常数，表示Pk需要达到的误差精度，ω表示控制输入的参数摄动。

图1 基于数据驱动的自适应最优控制算法流程图Fig. 1 Flowchart of data-driven adaptive optimal control algorithm

对于具有 “领航者–跟随者” 有向通信拓扑结构的多无人机系统，上述基于数据驱动的自适应最优控制器能够有效地解决在系统内部参数摄动情况下的编队控制器设计问题。接下来，我们将提供该控制算法的可行性证明，以验证该算法的有效性和可行性。

定理1：若有初始控制策略使系统稳定的同时满足引理2 中的秩条件，那么方程式的解迭代序列可以收敛到相应的P*,K*。

首先证明该策略迭代方法的收敛性。

由式（30）可得：

可以推出：

或者：

当k＝0时，K1＝R-1BP0，代入上式：

根据式（45）有：

因此，P*≤P1≤P0。又因为P*是黎卡提方程的解，必为正定矩阵，P0正定且有界，所以A-BK1是符合Hurwitz 稳定性判据的。令k＝ 0,1…，通过上式反复进行验证，可得P*≤Pk+1≤Pk。由于Pk为递减的矩阵序列且有下界P*，故存在，P∞满足式（34）且是该方程的唯一解。因此有，该迭代策略是收敛的。

当给定一个使系统稳定的状态反馈矩阵Kk，如果Pk是式（ 33 ） 的解， 并且Kk+1通过唯一决定。由式（38）可得，Kk、Pk满足引理1 中提到的3 个性质。另一方面，如果令Pk＝P，且K使下式成立：

3 稳定性分析

定理2：对于公式（21），当P*,K*为3.3 节中求出的线性二次型最优反馈矩阵时，线性反馈控制器u＝-K*ζ可以使编队稳定，且使无人机编队系统性能指标能够达到最小。

针对公式（21）选取李雅普诺夫函数：

对等式两边进行求导，并代入式（21）可得：

得到：

由此可得，所选的Lyapunov 函数V(t) ＞ 0且。本文提出的编队控制器可以使编队状态稳定，即

在上述控制策略下的无人机编队系统性能指标为

又因为P*是黎卡提方程（ARE）的唯一解，K*＝R-1BTP*，由LQR 的原理可知，u＝-K*ζ为最优控制器，可使上述系统性能指标达到最小。

4 仿真分析

为了验证本文提出的控制方法的有效性，在本节中，我们进行了基于数据驱动的自适应最优控制编队的仿真实验。实验假设无人机可以对状态数据进行交换，并确保编队网络中至少存在一个有向连通图。

在本实验中，我们验证了一个由4 架四旋翼无人机构成的编队。该系统的通信拓扑图如图2 所示。

图2 编队通信拓扑图Fig. 2 Formation communication topology diagram

图中：UAV0 表示虚拟领航者，UAV1～UAV4表示跟随者无人机。假定只有UAV2 与UAV0 有信息交换。

图2 所对应的入度矩阵与邻接矩阵为

由此得到该编队系统的拉普拉斯矩阵为

由信息交换能够进行与否， 可以判断ai＝ 0(i＝ 1,3,4),a2＝ 2。其中a2的数值决定了编队状态趋近于期望状态的速度，故应在允许范围内选择尽量大的值。

假设编队队形是一个平面正方形，其中领航者位于正方形的几何中心。

在上述假设下队形矩阵如下描述：

跟随者与领航者的距离矩阵为

各个跟随者相对于虚拟领航者的的初始状态信息。

表1 各无人机初始状态Table 1 Initial state of each UAV

首先，求解位置子系统x方向，假设在求解时Q＝I4,R＝1。无人机的初始状态数据为xi＝ [5,2,2,1]T。采样周期设定为T＝ 0.01 s，采样时间设定为5 s，初始的状态反馈矩阵为K0＝ [1,3,4,3]，探测噪声由周期信号叠加：

仿真结果如下：

从图3 可以观察到，在给定初始状态的条件下，无人机最终趋于稳定。因此，整个过程收集到的数据均有效，并满足引理 2 对数据矩阵秩的要求。图5 具体表现了反馈增益矩阵的迭代过程，即每次迭代得到的反馈增益矩阵与期望的差值。三次迭代后算法基本收敛，这成功地验证了定理1。得出最优反馈增益矩阵如下：

图3 位置x 数据采集时的状态响应曲线Fig. 3 Status response curve for data acquisition of position x

图4 位置x 子系统最优反馈增益迭代过程Fig. 4 Optimal feedback gain iteration process of position x subsystem

图5 编队位置状态x 的误差变量响应曲线Fig. 5 Error variable response curve for formation position state x

图6 位置z 数据采集时的状态响应曲线Fig. 6 Status response curve for data acquisition of position z

下面给出编队的状态响应曲线：

从图5 可以看出，编队能在15 s 内收敛到期望状态。

由对称性可知，状态子系统x与y是一致的，受篇幅所限，不在此给出位置状态y的仿真结果。

对于位置状态z的控制器，其简化后是一个二阶系统，与x，y均不同，所以必要获得的未知参数变少。

假设该最优状态控制器的Q＝I2,R＝ 1。在线数据采集时无人机的初始状态数据为zi＝ [3, -2]T。数据采集的步骤中，采样周期和采样时间分别设置为0.01 s、2 s，迭代开始的状态反馈矩阵为K0＝ [1,1.5]，探测噪声同样选择周期信号的叠加：

图7 展示的是状态z控制器的迭代过程。因为系统的阶数相对较低，所以状态的收敛速度更快，第二次迭代后，得到了最优状态增益矩阵：

图7 位置z 子系统最优反馈增益迭代过程Fig. 7 Optimal feedback gain iteration process of position z subsystem

观察图8 后发现，在z方向只需8 s 的调整即可使状态达到稳定。

图8 状态z 的误差变量响应曲线Fig. 8 Error variable response curve for state z

当虚拟领航者的期望状态如下：

图9 显示了编队运动的仿真结果，图像化了编队实现悬停的调节过程。因为简化后偏航角子系统的模型与状态z子系统相似，受篇幅所限，不在此给出编队姿态角的误差仿真结果。

图9 编队悬停三维飞行轨迹Fig. 9 Formation hovers over a three-dimensional flight trajectory

5 结束语

本文研究了在存在系统参数摄动情况下的四旋翼无人机编队问题，考虑到无人机编队在实际应用中的广阔前景以及对复杂任务需求的完成。通过结合分布式一致性和线性二次型理论，为了解决无人机参数摄动导致的模型参数未知问题，利用数据驱动构造了自适应动态规划的最优编队控制器的方法。该方法对每个子系统进行编队控制设计，从而采用了虚拟领航–跟随者模型，并简化了四旋翼无人机动力学的非线性系统，将其简化为4 个线性子系统，随后提供了详细的设计步骤和证明。最后，通过Lyapunov 方法分析论证了算法的稳定性，并给出了仿真验证的结果。这为以后在真实环境中实现四旋翼无人机编队飞行提供了坚实的理论支持。