一种新的通用航空机载防撞逻辑设计方法*

林云松1,彭良福**2,傅 勇3,叶 睿

(1.电子科技大学 自动化工程学院,成都 611731；2.西南民族大学 电气信息工程学院,成都 610041；3.成都大学 电子信息工程学院,成都 610106；4.成都海姆达尔科技有限公司,成都 610051)

一种新的通用航空机载防撞逻辑设计方法*

林云松1,彭良福**2,傅 勇3,叶 睿4

(1.电子科技大学 自动化工程学院,成都 611731；2.西南民族大学 电气信息工程学院,成都 610041；3.成都大学 电子信息工程学院,成都 610106；4.成都海姆达尔科技有限公司,成都 610051)

由于机载防撞系统(TCAS)是针对具有较大垂直高度变化率的大型飞机设计的，系统设定条件和与之相关的解脱建议并不能适用于通航飞机。针对通用航空的防撞问题，提出了一种基于马尔可夫决策过程(MDP)的防撞逻辑设计方法。首先，将飞机空中相遇过程的动态模型转换为离散转移函数；然后，基于防撞系统结果事件末端效用函数进行MDP建模，采用动态规划方法导出了最优防撞逻辑的迭代方程；最后，给出了通航飞机最优化防撞逻辑的设计流程并对最优防撞逻辑进行了计算机仿真。仿真结果表明，通过调整效用比参数可以在保证安全性能的同时有效降低系统告警率。在垂直相遇高度小于30 m的相遇过程占比高达18%的情况下，当告警率大于0.85时系统的碰撞概率仅为2.88×10-4左右。该设计方法对我国在低空空域通用飞机防撞系统的研究具有一定的参考价值。

通用航空；低空空域；机载防撞系统；马尔可夫决策过程；最优防撞逻辑

1 引 言

防撞系统的主要设计难点在于如何根据飞机的当前状态(包括位置和速度等信息)对飞机未来的飞行轨迹做出准确的预测。由于飞机本身的动态过程和飞行员对解脱建议响应的不确定性，因此很难准确预测相遇过程中飞机的轨迹。包括机载防撞系统(Traffic Alert and Collision Avoidance System,TCAS)在内的许多防碰撞系统都采用直线型预测模型，其预测结果是飞机未来最可能的位置，这种方法的缺点是不能明确地考虑到很低概率的空中碰撞情况。为保证系统对偏离预测航迹的场景具有足够的稳健性，TCAS的防撞逻辑使用了复杂的启发式规则和参数设置。TCAS II的性能指标是与民航客机的飞行性能相匹配的，直接修改TCAS II防撞逻辑使之适应于通航飞机的性能需求会付出巨大的开发成本。文献[1-3]中研究了将未来的空中防撞概念扩展到通用航空领域，但目前还没有一个商用的适用于通航飞机的机载防撞系统[4]。

基于概率的预测模型不仅可以预测出飞机所有可能的飞行轨迹，而且能够计算出飞机未来每条轨迹的概率[5]。如果防撞逻辑在发出解脱建议时不仅考虑当前的状态，也能够考虑到未来每条可能的飞行轨迹的概率以及未来可能作出的解脱决策，那么防撞系统就能更加可靠地防止空中碰撞，同时能保持较低的告警率。马尔科夫决策过程(Markov Decision Process,MDP)是解决这类决策问题的一种有效方法。在MDP过程中，系统的状态是根据一个确定的动态模型发生变化的，MDP过程的解是在某个性能指标下获得的最优策略。

本文提出了一种基于MDP的通航飞机机载防撞逻辑设计方法。首先，给出基于概率模型的机载防撞系统架构，采用sigma-point采样和多线性插值方法对连续状态空间离散化，将飞机空中相遇过程的状态预测模型转换为离散化的状态转移概率函数；然后，提出了基于效用函数对防撞系统的MDP建模方法，并给出了防撞系统结果事件末端效用函数的定义，采用动态规划方法导出了最优防撞逻辑的迭代方程；针对通用航空飞机的飞行性能和应用场景，给出了通航飞机最优化防撞逻辑的设计流程；最后，对防撞逻辑进行了计算机仿真和性能评估。

2 基于概率模型的机载防撞系统

2.1机载防撞系统的结构

状态转移函数T(s,a,s′)表示系统从当前状态s执行动作a后转移到下一个状态的概率。观测函数O(s′,a,o)表示系统采取动作a，进入状态s′时观察到o的概率。动作逻辑单元根据当前的信任状态bt(sRA)和预测模型选择动作a，之前已发出过的解脱建议状态sRA也可以作为输入。

图1 机载防撞系统结构框图Fig.1 Structure diagram of airborne collision avoidance system

2.2动态模型

假定空中相遇过程中飞机的运动状态主要和飞机的垂直加速度有关。当飞行员对系统发布的解脱建议没有作出响应或系统没有发布解脱建议时，飞机的加速度服从高斯白噪声模型。当飞行员执行系统发出的解脱建议后，飞机以规定的加速度(如0.25g)加速到目标垂直速度范围。在每个监视周期(时间步长Δt)对状态变量x(t)进行离散化得到离散马尔科夫模型：

x(t+Δt)=f(x(t),w(t),a(t))。

(1)

式(1)表示的运动方程如下：

(2)

τ(t+Δt)=τ(t)-Δt，

(3)

(4)

(5)

其中：饱和函数φL(y)=max(-L,min(L,y))，表示垂直方向的速度不超过模型参数L，设L=300 m/min。飞机垂直加速度与解脱建议有关，例如：

(6)

(7)

2.3离散状态转移模型

对MDP过程的求解，需要将动态模型离散化并建立离散状态转移模型T(s,a,s′)。采用多线性插值方法建立离散状态转移模型[5]。首先定义P(s|x)是给定连续状态x条件下离散状态s的概率分布，然后为包围连续状态x的多维网格顶点对应的离散状态s分配概率，概率的大小与s和x的接近程度成线性关系。状态s距离x越近，被分配的概率值越大。系统的离散状态转移概率为

(8)

(9)

给定加速度的N个采样点(如上面的5个sigma-point采样点)，P(x′|s,a)可近似为

(10)

3 最优防撞逻辑原理

3.1基于效用函数的MDP过程

马尔科夫决策过程由一个四元组构成(S,A,T,R)，S和A分别表示有限的状态集和动作集。T(s,a,s′)表示当前状态s∈S经过动作a∈A(s)作用后，状态s转移到状态s′∈S的概率分布。R(s)是末端状态回报函数，在状态s执行动作a时获得的回报函数为R(s,a)。

(11)

(12)

3.2回报函数

假定在末端时刻(τ=0)入侵机与本机之间垂直距离在30 m内即可发生近空碰撞(Near Mid-air Collision,NMAC)，根据解脱建议是否成功和是否必要来进一步确定防撞系统结果事件的效用函数(Utility Function)。没有导致NMAC的告警建议则被视为成功解脱，发生了NMAC的告警建议被视为不成功解脱。防撞系统运行过程中可能的结果事件的效用分类如图2所示。

图2 防撞系统结果事件的效用Fig.2 Utilities of collision avoidance system outcomes

设定以上所有结果事件效用的排列如下：

Uincident≡ULA=UIC=UMD，

(13)

USA≡UCD=UFA，

(14)

Uincident

(15)

其中：Uincident表示发生NMAC的效用，USA表示成功解脱的效用。

非碰撞结果的效用与是否发出解脱建议有关，表示解脱建议状态的离散变量sRA可以确定系统最终的效用是UCR还是USA。另外，sRA同时也建立了解脱建议和动作a之间的对应关系。例如：解脱建议状态变量sRA仅有3个状态值：COC(Clear of conflict)、DES (Descend)和CL(Climb)，COC表示当前没有发出解脱建议，CL和DES分别表示要求飞机作出爬升或下降的机动。

图3给出了状态变量sRA对应的状态空间和结果事件效用，系统状态转移轨迹源于COC状态平面。当系统发出解脱建议后，状态轨迹从COC转移到DES(或CL)状态平面，状态转移轨迹按照解脱机动的动态过程继续在DES(或CL)平面内移动。可以看出，如果末端状态没有发生NMAC且没有解脱建议，那么末端回报函数对应的结果效用为UCR。如果确实发出了解脱建议且末端状态没有发生NMAC，那么末端回报函数对应的结果效用为USA。

图3 状态变量sRA描述的状态空间Fig.3 State spaces with status variable sRA

3.3最优解脱策略

(16)

根据贝尔曼方程(11)可得到距末端时刻k步时状态s的最优条件期望效用函数

(17)

设Uincident= 0，UCR=1，并且定义

USA=r(sRA)UCR，

(18)

效用比r(sRA)为解脱建议成功时末端状态效用函数相对于正确拒绝告警末端状态效用函数UCR的比值，那么就有

r(sRA=COC)=1，0

(19)

式(17)可改写为以下的迭代方程：

(20)

(21)

(22)

4 通航飞机的防撞逻辑

本文主要针对以下几个方面对基于MDP的通航机载防撞逻辑进行优化设计。

4.1适应通航飞机的动态模型

4.2通航飞行员对解脱建议的响应

通航飞行员的训练水平一般不如商用飞机的飞行员，通航飞行员对解脱建议响应时间可能是不确定的，不同飞行员对建议作出响应的延迟时间也会有很大不同。采用文献[8]提出的飞行员响应概率模型以及对信任状态bt(sRA)的更新方法，飞行员要么响应系统当前发出的解脱建议，要么忽略该建议。这时状态变量sRA不仅表示了系统发出的解脱建议，同时还表示飞行员对建议的响应情况。sRA状态的数量和解脱建议的数量成线性关系(sRA有13个离散状态)。

4.3适应通航飞行性能的解脱建议

与TCAS不同的是，由于通航飞机的垂直速率限制，通航防撞系统不发出增强建议和预防性建议。通航防撞逻辑发布的解脱建议分为初始解脱建议和后续解脱建议，它们要求飞机采用不同的机动能力(即垂直加速度)到达目标速度。

表1列出了通航防撞系统发出的解脱建议。COC表示当前没有发出告警或者终止告警，带有前缀“S”的建议表示后续解脱建议。初始解脱建议包括爬升(CL)、下降(DES)和平飞(LEV)，初始建议对应于TCAS发布的校正RA建议。表1中还表明了当前的解脱建议可以在哪些状态之后发出，例如：COC可以在任意解脱建议之后发出，SDES 可以在CL或LEV之后发出，这样SDES则对应于TCAS的反转RA建议；LEV和SLEV建议要求飞机作出水平飞行机动(飞机的目标垂直速度保持在±30 m/min之间)，它们对应于TCAS针对多机的双向否定RA建议。

表1 通航防撞系统的解脱建议Tab.1 Resolution advisory set of general aviation collision avoidance system

4.4解脱建议的效用比

初始解脱建议都具有相同的效用比r(Alert0)=0.999。初始解脱建议效用比r(Alert0)越接近1，防撞系统就会越早地发出解脱建议，但同时也增大了告警率。反转解脱建议的效用比r(Alert1)=0.94。r(Alert1)取值较小，可以限制系统发布反转建议的频率使飞机对飞行高度的偏离最小。后续平飞解脱建议效用比r(Alert2)=1，以使飞机能尽量保持安全的飞行高度。r(COC)=1.000 01，取值略微大于1以便在冲突解除后能促使系统发出冲突消除建议。

4.5解脱建议的协调

如果两架飞机都装备了防撞系统，这时它们发布的解脱建议必须是协调的以防止解脱建议的方向相同。一种可行的方法是直接将TCAS的解脱协调机制集成到通航防撞逻辑中,例如：当系统收到一条“不要爬升”的协调消息，则应该忽略逻辑表中所有与协调消息不一致的建议，只发布剩下的具有最高期望效用值的解脱建议。

4.6防撞逻辑优化设计流程

Step2τ=τ+1，如果τ=40，停止；否则转Step3。

Step3 对给定的τ遍历离散状态s：

(1) 对每个有效的状态/动作对(s,a)进行sigma-point采样，根据式(9)更新下一时刻的状态x′；

(2) 对状态x′进行多线性插值，得到包围连续状态x′的离散状态s′的概率P(s′|x′)；

(3) 由式(10)和式(8)求出离散状态转移概率T(s,a,s′)；

(4) 由式(20)计算状态s的最优期望效用。

Step4 返回Step2。

4.7最优动作逻辑图

(a)=0 m/min，=0 m/min，sRA=COC

(b)=0 m/min，=0 m/min，sRA=DES/DES图4 最优动作逻辑示意图Fig.4 Optimal action plots

图4(a)中本机和入侵机的初始状态都是平飞且没有发出任何解脱建议，蓝色区域表示系统将会发出一个下降建议，绿色区域表示系统将发出一个爬升建议。图4(b)中的DES/DES表示当前两架飞机处于平飞状态，系统已经发出下降建议并且飞行员对发出的建议作出了响应。蓝色区域表示飞行员执行的最优动作是继续执行下降建议；在黑色区域，当本机在入侵机上方时，系统反转之前发出的下降建议，发出反转爬升建议SCL。当入侵机在本机下方且相对高度比较大时，最优策略是保持平飞。

5 防撞逻辑的仿真结果

与真实空中相遇过程不同的是，上述仿真环境采用的是两架飞机对头飞行的二维模型。对于实际的三维空中相遇过程，需要增加飞机水平方向的动态模型，根据MDP过程计算出两机相遇时间τ的概率分布，然后再对逻辑表进行实时的线性内插计算。

5.1安全性能曲线

安全性能曲线能直观地反映出改变系统参数对防撞系统安全性和告警率的影响。在改变初始效用比r(Alert0)而其余效用比不变的情况下可得如图5所示的安全性能曲线，其中每个样点从50万次仿真结果的估计值得到。图中右上角的曲线部分对应的r(Alert0)接近于1，而左下角的曲线部分对应的r(Alert0)接近于0.9。

图5 安全性能曲线Fig.5 Safety performance curve

可以看出，系统的安全性随着告警率的增加而显著提高，当告警率大于85%时系统可获得很高的安全性能。性能曲线有助于在给定所需安全性能的条件下合理选择系统参数。

5.2性能评估

在MDP防撞逻辑的设计中，效用比r(sRA)是基于当前的解脱建议状态和动作的，而对于某些需要“记忆”的效用比则必须引入新的状态变量。通过使用在线效用比可以实时地对某些解脱建议进行奖惩而无需增加状态变量。实时计算中，首先从离线的最优逻辑表中插值得到当前状态的期望效用值，再乘以相应的在线效用比(见表2)。表3分别给出了50万次相遇过程中没有使用在线效用比和使用了在线效用比参数的仿真结果。

表2 在线效用比参数Tab.2 Online utility ratio parameters

表3 防撞逻辑的仿真结果Tab.3 Simulation results of collision avoidance logic

如表3所示，3种仿真结果的空中碰撞概率都在万分之二左右。没有使用在线效用比参数，即直接使用离线防撞逻辑表给出解脱建议的告警率最高，P(Alert)=1，并且在相遇过程中解除告警后再次发布解脱建议的概率P(COC)=0.23。使用在线效用比参数2可有效降低告警率和再次告警率，但同时增大了发布反转告警的概率。在线效用比参数1的初始告警效用比与离线逻辑单元的相同，因此告警率也为1。

从以上仿真结果可以看出，系统解除告警后有近1/4的概率再次发布解脱建议；减小在线初始告警效用比可降低告警率，从而减少不必要告警；调整发出初始解脱建议后在线参数激活时间可以有效降低系统的重复告警率；通过增大在线反转建议效用比可以在降低重复告警率的同时保持较低的NMAC概率。

6 结束语

本文对空中防撞问题进行MDP过程模型化，可以将防撞系统所需的性能指标组合到不同解脱建议效用比的权重中，同时根据飞机空中相遇过程的动态模型和飞行员响应模型等关键因素对防撞系统进行MDP建模。对MDP过程求解得到的防撞逻辑则是系统在防止空中碰撞同时保持低告警率的条件下获得的最优解脱策略。基于MDP过程设计的防撞系统需要调节的参数更少，开发周期短，特别适合低成本、快速发展的通航飞机的要求。即使空域模型或监视系统发生改变，也只需要修改飞机相遇模型然后进行优化，而不需要采用TCAS算法中复杂的启发式规则。美国联邦航空局 (The United States Federal Aviation Administration，FAA)于2009年启动了下一代空中防撞系统(Airborne Collision Avoidance System X,ACAS X)的研究计划，林肯实验室在2011～2013年关于ACAS X的研究报告中提出了基于决策理论的最优化防撞逻辑[3-5]。本文提出的基于末端效用函数求解得到的最优防撞逻辑与ACAS X中基于代价函数的最优逻辑在理论上是等效的，并且能够方便地推广到解决多机冲突的基于效用函数融合的方法中。因此，本文的相关研究成果对我国在低空空域通用飞机防撞系统的研究具有一定的理论参考价值。

对于现实的空中交通环境中的飞机相遇场景，本文提出的MDP防撞逻辑还需在三维动态模型、解脱建议的协调、多机冲突、传感器噪声等方面开展进一步的研究。

[1] CHAMLOU R. Future airborne collision avoidance design principles,analysis plan and algorithm development [C]//Proceedings of 2009 IEEE/AIAA 28th Digital Avionics Systems Conference. Orlando,FL:IEEE/AIAA 2009:6.E.2-1-6.E.2-17.

[2] LIN C E,WU Y Y. TCAS solution for low altitude flights [C]// Proceedings of 2010 Integrated Communications,Navigation,and Surveillance Conference. Herndon,VA:[s.n.],2010:I4-1-I4-9.

[3] GABRIEL C. The future of collision avoidance-ACAS X[J]. International Journal of Engineering Trends and Technology,2016,39(5):284-287.

[4] BILLINGSLEY T B,KOCHENDERFER M J,CHRYSSATHACOPOULOS J P. Collision avoidance for general aviation [J]. IEEE Aerospace and Electronic Systems Magazine,2012,27(7):4-12.

[5] KOCHENDERFER M J,CHRYSSANTHACOPOULOS J P. Robust airborne collision avoidance through dynamic programming [R]//No. ATC-371. Lexington,MA:MIT Lincoln Laboratory,2011.

[6] 彭良福,林云松. 机载防撞系统垂直防撞的物理模型[J]. 电讯技术,2010,50(8):7-11.

PENG Liangfu,LIN Yunsong. Physical model for vertical collision avoidance in traffic alert and collision avoidance system(TCAS) [J]. Telecommunication Engineering,2010,50(8):7-11. (in Chinese)

[7] RUSSELL S,NORVIG P. Artificial intelligence:a modern approach [M]. 3rd ed. New York:Prentice Hall,2010:645-656.

[8] CHRYSSANTHACOPOULOS J P,KOCHENDERFER M J. Collision avoidance system optimization with probabilistic pilot response models [C]//Proceedings of the 2011 American Control Conference. San Francisco,CA:IEEE,2011:2765-2770.

ANewApproachtoDesignAirborneCollisionAvoidanceLogicforGeneralAviation

LIN Yunsong1,PENG Liangfu2,FU Yong3,YE Rui4
(1.College of Automation,University of Electronic Science and Technology of China,Chengdu 611731,China;2.College of Electrical Information Engineering,Southwest University for Nationalities,Chengdu 610041,China;3.School of Electronics and Information Engineering,Chengdu University,Chengdu 610106,China;4.Chengdu Heimdallr Technology Corporation Ltd.,Chengdu 610051,China)

Since the traffic alert and collision avoidance system (TCAS) was designed for large aircraft that can achieve greater vertical rates,the assumptions made by the system and the associated resolution advisories were not always appropriate for general aviation aircraft. In view of the collision avoidance system for general aviation,an approach based on the Markov decision process (MDP) to design the collision avoidance logic is proposed. Firstly,the dynamics of the aircraft involved in the encounter is discretized into a discrete transition function,and then the collision avoidance system is modeled with MDP based on the end-state utility function of its outcomes,the iterating equation for the optimal collision avoidance logic is derived by using dynamic programming. Finally,the design process of the optimal collision avoidance logic for general aviation is presented,and also the optimized logics are evaluated in computer simulation. The simulation results show that the collision avoidance logic can meet the current safety level while lowering the alert rate by adjusting the utility ratio parameters. In the circumstance that a significant fraction of encounters (about 18%) has a vertical miss distance of less than 30 m,the collision probability is approximately 2.88×10-4providing that the alert probability is greater than 0.85. The method has certain reference value for research on the collision avoidance system in low altitude airspace general aviation aircraft in China.

general aviation;low altitude airspace;traffic alert collision avoidance system(TCAS);Markov decision process(MDP);optimal collision avoidance logic

date:2017-05-09；Revised date：2017-08-16

国家自然科学基金资助项目(61374190)

**通信作者：pengliangfu@126.com Corresponding author：pengliangfu@126.com

V241；V328

A

1001-893X(2017)10-1114-08

林云松(1969—)，男，四川成都人， 1999年于电子科技大学获博士学位，现为副教授，主要从事机载防撞系统、自动控制理论及工程应用方面的研究；

Email:yslin384@163.com

彭良福(1966—)，男，四川成都人，1994年于电子科技大学获博士学位，现为教授，主要从事机载防撞系统、信号与信息处理方面的研究；

Email:pengliangfu@126.com

傅勇(1972—)，男，重庆万州人，1993年于华东师范大学获学士学位，现为高级工程师，主要从事机载防撞系统、雷达信号处理等方面的研究；

叶睿(1976—)，男，四川成都人，1999年于电子科技大学获学士学位，主要从事TCAS II防撞系统和 S模式应答机的设计工作。

10.3969/j.issn.1001-893x.2017.10.003

林云松,彭良福,傅勇,等.一种新的通用航空机载防撞逻辑设计方法[J].电讯技术，2017,57(10):1114-1121.[LIN Yunsong,PENG Liangfu,FU Yong,et al.A new approach to design airborne collision avoidance logic for general aviation[J].Telecommunication Engineering,2017,57(10):1114-1121.]

2017-05-09;

2017-08-16