离散时间平均场随机系统的滚动时域控制

叶志勇，贾亚琪，张春梅，杨 路，陈柏江，宋江敏

（重庆理工大学理学院，重庆 400054）

0 引言

平均场系统是一种复杂的乘性噪声随机系统，其复杂性主要体现在状态和输出方程不仅涉及状态和控制输入，而且还涉及它们的期望。该期望项的意义为系统所有物体间的相互作用，平均项的引入使得多体问题简化，这样的一个有效转化大大缩短了计算时间，降低了生产成本。与经典的随机控制问题不同，平均场项出现在系统动力学和代价函数中，它结合了平均场理论和随机控制问题。系统状态由Kac［1］首次提出的控制平均场随机差分／微分方程（MF-SDE）描述，McKean［2］对MFMF-SDEs进行了初步研究。受MFMF-SDEs研究进展的启发，平均场理论与随机控制问题相结合，成为20世纪50年代以来的研究热点。

平均场系统的控制问题主要体现在平均场系统的最优控制问题、时滞问题以及稳定性等。在过去的几年里，平均场的方法已被广泛应用于各个领域，如工程、金融、经济和博弈论等［3］。近年来，数学界和控制界对平均场控制理论的兴趣越来越大。特别是经典随机系统的线性二次（LQ）最优控制问题已被推广到平均场随机系统［4－9］。连续时间平均场随机系统的有限时域和无限时域LQ问题分别在文献［3，5］中被讨论。离散时间平均场随机系统的相应结果分别在文献［6－7］中被研究。

均方镇定问题作为一个基本的随机控制问题，已经被许多研究者研究［10－15］。例如，基于LQ方法，均方镇定给出了不同的结果［10－14］。Ghaoui［14］给出了利用线性矩阵不等式（LMI）得到的均方稳定条件。Zhang等［15］研究了基于广义Lyapunov方程的均方镇定问题。

为了解决平均场时变随机系统的镇定问题，采用了滚动时域控制（RHC）。RHC最早由Kwon等［16］在处理时变系统稳定性时提出。从那时起，它作为确定性系统，特别是时变确定性系统的一种成功反馈策略得到了广泛研究［17－20］。RHC的基本思想是每一时刻求解一个有限时域的最优控制问题，选取第一个控制作为当前控制律，到下一时刻重复该过程。RHC相较于其他控制策略有其独特的优越性，如运行时间较短且易于计算、对模型要求低等优点，已在工业中得到广泛应用。RHC策略对于处理随机系统控制问题有非常重要的研究意义。

目前，有关平均场随机系统的RHC镇定问题的研究较少，不同于关于经典的线性随机系统RHC的研究结果［21－26］，离散时间平均场随机时变系统的RHC镇定问题研究及推导更为复杂。因为平均场随机系统的状态方程还涉及数学期望，在主要定理的证明过程中，2个耦合Lyapunov型不等式的表达式也与一般的线性随机系统RHC镇定问题不同，是在经典线性随机系统RHC镇定问题上的推广，因此主要研究离散时间平均场随机时变系统的RHC镇定问题。通过定义一个新的条件期望型的性能指标，给出系统RHC时变镇定的条件。

1 基础知识与模型描述

1.1 符号说明

Rn代表n维欧式空间。上标“′”代表矩阵的转置；一个对阵矩阵M＞0（≥0）意味着它是严格正定的（半正定的）；B－1表示矩阵B的逆。

1.2 模型描述

考虑下列离散时间时变平均场系统：

为了简便，令

则系统（1）变为：

主要目标如下：

问题1寻找可测的控制器ut＝Htxt＋HˉtExt使闭环系统（1）渐近均方稳定（即0）的条件。

2 离散时间平均场随机系统RHC镇定控制

研究平均场随机系统（1）的RHC镇定问题，首先给出RHC的解。

2.1 RHC

为了解决问题1，定义有限时域性能指标如下：

其中：t是初始时刻，Et－1（·）是关于的条件数学期望，N是优化时域的长度。

为了得到RHC镇定控制器，引理1利用随机极值原理得到了在方程（1）的约束下使得性能指标（3）最小的有限时域LQ最优控制。

引理1［19］在方程（1）的约束下，当且仅当，时，使性能指标（3）最小的唯一最优控制器可以表示为：

其中

上述的Pj（t＋N）和满足下列的耦合Riccati方程：

其中：j＝t，t＋1，…，t＋N。

终端值为：

在式（4）中取j＝0，得到t时刻的RHC控制器为：

2.2 均方镇定

给出离散时间平均场随机系统在式（4）控制下的镇定条件，首先研究条件期望性的性能指标（3）的性质。

引理2假设对于给定的Ht，?，性能指标（3）中存在ψt＞0，＞0满足如下矩阵不等式：

则有关系式

成立。其中，（xt，t）表示性能指标（3）以t为初始时刻，最优控制为式（4）的最优值。xt＋1与xt由式（1）确定，ut为t时刻的RHC控制。

证明由性能指标（3）可以得到

其中：Ht＋N＋1，是待选择的控制增益。由式（16）可进一步得到

由式（1）得

则可以计算出

此外

则有

根据条件期望的性质，可以得到

将式（19）代入式（18）得到

根据式（15），由式（20）得到

基于引理2，下面给出离散时间平均场随机系统（1）渐近均方镇定的主要结果。

定理1给定系统（1）在RHC（4）控制下渐近均方稳定的条件是存在ψt和满足不等式（15）。

证明根据引理2，若存在ψt＞0，＞0和Ht，满足不等式（15），则有

对式（21）取期望可得到

即

根据式（15）和式（20）可以得到

结合式（22），得到

定理2给定Qt＞0，＞0，Rt＞0，＞0，若系统（1）可由RHC均方镇定，则耦合Lyapunov方程

有ψt＞0，＞0的解。其中

证明由于RHC可稳定系统（1），所以由随机Lyapunov稳定性定理知，下面Riccati方程有唯一解ψt＞0，＞0。

改写式（23）得

令

可得

注1对于确定的平均场系统，即式（1）中Ct＝0，?＝0，D t＝0，＝0，RHC可稳的条件（15）变为：

注2系统（1）中令时间平均场随机定常系统：则系统（1）变为离散

考虑如下性能函数：

对于平均场随机定常系统（25），可得到类似于定理1的结果。

定理3给定系统（25）在RHC控制下均方可稳的条件为对某个，存在满足：

3 数值算例

例1 考虑离散时间平均场随机系统（1）的参数如下：

根据定理1，给定的参数满足可镇定条件（15）。由引理1知，离散时间平均场系统（1）在RHC控制器的控制下，其状态轨迹如图1所示。由渐近均方镇定的定义，即该轨迹满足，可见平均场随机系统是渐近均方镇定的。

图1 闭环系统状态轨迹E（x′t x t）

4 结论

解决了离散时间平均场随机时变系统RHC镇定问题，通过设计一个恰当的条件期望型的性能指标，基于性能指标的单调非增性，得到了RHC镇定性条件，保证了闭环系统的渐近均方镇定。