考虑量化的多智能体系统数据驱动双向一致性控制

赵华荣 彭 力 于洪年 沈奕宏

(1.江南大学物联网应用技术教育部工程中心,江苏无锡 214122;2.无锡太湖学院江苏省物联网应用技术重点建设实验室,江苏无锡 214064;3.爱丁堡龙比亚大学工程与建筑环境学院,英国爱丁堡EH10 5DT)

1 引言

自从20世纪80年代以来,多智能体系统技术一直备受研究者们的青睐,并广泛地运用在智能交通,卫星编队,无人机编队等等,目前也是人工智能领域中的一个重点研究课题[1-3].多智能体系统一般包含多个简单的智能体,它们如同一个联邦,依靠通讯网络进行相互协调,以实现协同控制.其中,一致性控制是协同控制领域中的核心问题[4],主要是针对不同的被控对象和运行环境设计相应的控制协议,以使联邦中所有智能体最终实现相同的目标.

目前学者们对于一致性控制,已经提出了许多优异的控制算法[1-4],然而众多的研究成果,均是假设智能体之间仅存在合作关系,而忽视了竞争或者敌对关系.其实,万物之间的合作关系和竞争关系是相伴相随的.从而智能体之间,若只考虑合作,而否定竞争,那是一种非充分的考虑,这两种关系首次在文献[5]中进行了研究,并提出了一种双向一致性概念.此成果迅速地受到了学者们的关注,并开始了相关的探究.文献[6]研究了高阶多智能体系统中匹配不确定性和智能体之间的拮抗作用,设计了一种鲁棒性双向一致性控制策略.文献[7]研究了智能体之间的有限通讯带宽,以及能耗问题,提出了一种事件触发预定时间双向一致性控制方法.文献[8]研究了混杂脉冲信号下二阶非线性多智能体系统的双向编队控制问题,并结合了状态反馈控制器与脉冲控制器的特性,提出了一种预定性能双向编队控制算法.

在实际应用中,多智能体系统的通讯主要通过电缆、无线收发装置等有限带宽网络进行连接,以数字化的形式进行信号的传输,但由于工业使用的处理器,其计算精度有限,以及大规模智能体系统通讯存在巨大的通讯负担等问题.信息量化是一种解决该类问题的有效方法,该方法主要分为静态量化和动态量化.动态量化虽然可以有效的增加吸引域,且具有较强的灵活性,但目前该类研究方法缺乏严谨的规范,且其控制器的控制性能弱[9].文献[9]针对一类有界丢包网络控制系统的保成本控制问题,提出了一种包含了量化反馈的动力学模型和相应的保成本控制器.文献[10]研究了一种自适应回环控制方法来解决多智能体系统中的模型不确定性和输入信号量化等问题.文献[11]研究了一种适应于随机非线性非仿射多智能体系统的事件触发模糊自适应量化控制算法.文献[12]针对网络机器人系统中存在量化问题提出了一种双向一致性控制算法.

另一方面,上述众多的一致性或双向一致性研究成果都是立足于可以获得多智能体系统精确的动力学模型,而鲜有成果是针对于无法获得动力学模型的多智能体系统进行研究.众所周知,对于非线性多智能体系统建立精确的数学模型,存在着巨大挑战,而且成本高,从而有许多学者开始寻求,以数据驱动的方法来实现多智能体系统的协同控制.其中,有学者提出了一种无模型自适应控制(model-free adaptive control,MFAC)方法,该控制方法对于动力学模型无法获得的非线性系统有着良好的控制性能,已在工业过程控制、电机调速、风力发电、自动泊车等领域得到了广泛应用[13-15].MFAC方法是一种在线学习策略,其核心思想是通过被控对象的输入输出数据在线地获得一系列的输入输出关系,利用所有的输入输出关系来对未知动力学模型的被控对象,进行无模型自适应控制[16].文献[17]在MFAC的基本框架下,进行了算法扩展和相应的稳定性分析,使得该框架可以较好地适用于未知模型多智能体系统的一致性控制.文献[18]进一步在文献[17]的基础上引入了一个新的维度,系统可以在这个维度上进行迭代学习,以实现初始误差为零的周期性控制.受文献[17-18]的启发,文献[19-20]中,分别提出了一种针对多智能体系统在不同运行环境中的数据驱动双向一致性控制算法.

本文针对未知动力学模型非线性离散时间多智能体系统中通讯负担大,工业生产过程中处理器的处理精度低,以及智能体之间存在相互竞争等问题进行了研究.根据紧凑形动态线性化(compact form dynamic linearization,CFDL)方法处理被控对象的输入输出数据,以获得智能体的线性时变数据模型,并基于该数据模型,考虑了如文献[21]中所使用的对数量化器,引用了文献[22]中使用的扇形界算法,设计了一种数据驱动的分布式双向一致性控制算法.该方法在设计过程中无需多智能体系统的任何模型信息和先验知识,仅依赖该被控系统的输入输出信息.相比于已有的无模型自适应控制算法,该算法不但考虑了多智能体之间的合作竞争关系,而且直接利用存在量化的输入输出数据来更新控制协议的参数,然而却仍可以实现零误差的双向一致性跟踪控制.

2 预备知识与问题描述

2.1 代数图论基础

多智能体系统一般依靠通信网络、感知网络等进行信息分享.对于这种通讯模式,在理论研究过程中,通常采用代数图论来进行分析.对于由1个虚拟领导者和N个跟随者所构成的多智能体系统,可将每个智能体抽象为一个节点,其通讯拓扑为其中

以及A=[aij]∈RN×N.一般为有向图,且是强连通图,即存在一个以虚拟领导者0为根节点的有向生成树.aij ∈{-1,0,1}表示节点i与节点j之间的权重.E中的元素(i,j)表示节点i,j是相邻节点,且之间存在一条有向的通讯通道,信号可以单向的从节点i传送到节点j.此时,利用节点i,j之间的权重aij的正负值,来描述两相邻节点之间的相互作用关系.若aij=1,则表示两相邻节点之间是合作关系;若aij=-1,则代表两相邻节点之间是竞争关系;若两节点不相邻,则aij=0.通常利用Ni={j ∈V|(j,i)∈E}来表示节点i的所有邻接节点集,利用di=来表示节点i的入度,所有相应节点的入度可以表示为D=diag{d1,d2,···,dN}.图的拉普拉斯矩阵表示为L=D-A.为了方便分析节点之间的合作竞争关系,这里将所有节点分成两个子集V1和V2,其中V=V1∪V2且V1∩V2=∅.若节点i和j在同一个子集内,那么这两个节点为合作关系,否则为竞争关系.此外,利用bi ∈{0,1}表示虚拟领导者和跟随者之间的通讯权重.若智能体i和虚拟领导者能直接通讯,则bi=1,否则bi=0.因此,可以利用对角矩阵B=diag{b1,b2,···,bN}来表示虚拟领导者和所有跟随者之间的通讯关系.

2.2 模型构造

本文研究一类由N个单输入单输出非线性离散时间系统构成的多智能体系统,其中智能体i的输入输出关系为

式中:yi(k)和ui(k)均是实数,分别表示智能体i的控制输入和控制输出,fi(·)表示输入输出之间的一种未知的非线性关系,而i=1,2,···,N.此外,定义y0(k)为虚拟领导者的输出,用有向图¯G中的节点0表示,和A分别代表相应的边集和邻接矩阵.

假设1[15-18]fi(·)是关于ui(k)的一个连续可微非线性函数.

假设2[17-18]智能体的输入输出关系(1)满足广义的利普席茨连续条件,即存在一个常数r使得

引理1[17-18]若智能体的输入输出关系(1)满足假设1-2,那么该关系可由如下所示的紧凑形式动态线性化数据模型来表示:

其中:|Γi(k)|≤r,r是一个由具体被控系统所决定的正实数,Γi(k)是根据输入输出实时变化的伪偏导数.

定义如下分布式双向一致性组合测量误差:

其中:若智能体i可以直接与虚拟领导者0通讯,则bi=1,否则bi=0.令ei(k)=siy0(k)-yi(k)表示跟踪误差,其中,若i ∈V1,则si=1;若i ∈V2,则si=-1.

假设3图¯G是强连通图,即所研究的多智能体系统中,所有的智能体都可以直接或间接的与虚拟领导者进行信息交流.

假设4等式(2)中有Γi(k)>0或Γi(k)<0.本文假设Γi(k)>0.相似的假设可见文献[17-19].

本文中,假设系统的输出测量信号和跟踪误差信号,在传送给控制器之前,需要被量化.在已有的研究中,如文献[12,21,23],通常选择如下对数类型量化器:

3 量化数据驱动的双向一致性控制

为了解决通讯过程中硬件设备通讯带宽有限,以及工业处理器的计算精度有限等问题,本文提出了以下量化数据驱动双向一致性控制算法:

注1根据式(4)-(5),可得出本文所设计的量化数据驱动双向一致性控制协议,可以直接利用量化后的数据进行控制协议的更新.因此,相比于已有的控制方法[17-20],该控制方法所需的数据精度低,从而有利于减少计算负担,提高执行速率,节省计算资源.

引理2[24]若T(k)代表时变不可约束的亚随机矩阵,其对角元素均为正数,并用T代表T(k)的集合,那么可以得到以下不等式:

其中:0<β <1,T(Q)∈T,Q是一个有界的常数.

定理1当被控多智能体系统的输入输出关系(1)满足假设1-2和假设4,且其通信拓扑在满足假设3的情况下,若λ>λmin≥>0,且ρi满足

注2本文中根据分布式控制和双向一致性的需求,设计了式(3)将双向一致性问题转换成一致性问题,再进一步考虑量化,从而得到了式(14),并通过引入扇形界方法将式(4)(14)中量化项进行了等价转换.从上述定理的证明过程中可以得出,本文将所研究的量化数据驱动双向一致性问题转化成为了类似于文献[17-18]中的一般数据驱动一致性问题.此为本文控制协议收敛性的证明进一步提供了依据.

4 数值仿真与分析

在无菌灌装生产线上,饮料的灌装主要在图1所示的3个区内完成,其中,从左至右分别为杀菌区、清洗区和灌装区,而每个区主要依靠喷嘴来实现相应的任务,如清洗区要求喷嘴向上喷射无菌水,而灌装区要求喷嘴向下注入饮料.因此,每个喷嘴处的压力值,直接影响到了饮料的品质.原则上要求同一区内所有喷嘴处的压力值保持一致,但会根据饮料瓶型的不同而设定不同的目标压力值.

图1 高速无菌饮料灌装现场(左)和喷嘴(右)Fig.1 Aseptic filling in field(left)and nozzles(right)

本节,根据上述需求,进行了数值仿真实验,该实验主要是控制洗瓶区和灌装区各个喷嘴处的压力值.该喷嘴的动力学模型已在文献[26-27]以及其引用的文献中得到了辨识和验证,其具体表达形式为

其中:y(k),u(k),q分别表示为喷嘴处压力、比例阀开度以及单位延迟算子.本实验设计了如下分段函数来控制目标压力值:

此处如图2所示的通讯拓扑,利用7个喷嘴压力控制系统构成一个多智能体系统.从图2中可知,7个系统被分成为两组V1(1,2,3,4)和V2(5,6,7).0号是虚拟领导者.智能体之间的信息按图2中箭头所示方向传递,其中实线箭头代表相邻两个智能体是合作关系;点划线箭头则代表双方为竞争关系.此外,根据图2可得矩阵L+B中最大对角元素的倒数是0.5,所以可设置ρi=0.46,其余参数值设置为

图2 多喷嘴压力控制系统的通讯拓扑图Fig.2 The communication topology of nozzles’pressure control systems

初始值设定为

实验结果如图3-4所示,从图中可以看出在开始的瞬间误差较大,但随后误差迅速地收敛到0,即使在k=300时刻,目标压力值发生了突变,7个跟随者也迅速地跟踪上了目标值.

图3 多喷嘴压力控制系统双向一致性跟踪效果图Fig.3 Tracking performances of nozzles’pressure control systems

图4 多喷嘴压力控制系统双向一致性跟踪误差图Fig.4 Tracking errors of nozzles’pressure control systems

根据式(16)可知,参数ρi的取值直接影响控制协议的收敛特性,因此通过具体实验来分析ρi的取值问题.首先利用控制变量法保持整个实验过程中其余参数值不变,仅考虑ρi的取值在0.1到0.5之间变化,其实验结果如图5所示.根据图5中误差收敛步数曲线可知,当参数ρi的取值在向右趋近最大收敛上界的过程中,收敛速度首先会迅速地加快,然后在达到最大收敛上界附近时,维持在一个相对平稳的收敛速度.

图5 不同ρi值时对多喷嘴压力控制系统收敛速度的影响Fig.5 Convergence rate of nozzles’ pressure control systems with different valves of ρi

此外,为了衡量量化程度对本文控制协议收敛速度的影响,与文献[19]中的DMFABCT算法进行了对比实验,其实验结果如图6所示.根据图中收敛曲线的走势可以发现,随着量化密度参数取值的增大,收敛所需的运行步数随之减小,当量化密度参的取值大于0.55时,数据量化对本文所设计的算法影响较小,其收敛速度与文献[19]设计的算法基本一致.因此,本文所设计的控制协议,具有更好的鲁棒性,可以较好地适应于控制未知动力学模型的多智能体系统工作于存在数据量化的工作环境.

图6 不同量化程度对多智能体系统收敛速度的影响图Fig.6 Convergence rate of multiagent systems with different quantization level

5 结论与展望

本文针对工业中多智能体系统处理器的计算精度低,网络通讯负担重等问题,提出了一种数据驱动双向一致性控制算法.该控制算法可以直接利用量化的输入输出数据进行控制协议参数的在线学习,并且在整个控制算法的设计过程中无需多智能体系统的任何模型信息.相比于传统基于模型的控制算法,本文设计的控制算法,计算量少,表达式简洁;相比于已有的数据驱动控制算法,该控制算法有效地满足了实际通讯过程中的信息量化需求,有利于减少通讯成本.与此同时,该控制协议还考虑了智能体之间的合作竞争关系,并严格分析和证明了该控制协议的收敛性.此外,针对无菌灌装生产线喷嘴处,正反向压力跟踪的需求,设计了仿真实验.实验结果表明所提出的控制算法,能有效运用于存在数据量化情况下的多喷嘴压力控制系统,并保证该系统的双向一致性跟踪控制误差收敛.未来,将本文的结论扩展到多输入多输出的多智能体系统,并考虑其外部扰动、随机丢包等情况,这将都是极有意义的研究课题.