有人/无人机协同空战任务规划技术

赵 拓，张先剑，黄 健

（1.国防科技大学智能科学学院，长沙 410003；2.解放军63850部队，吉林 白城 137000）

0 引言

空战是现代战争中夺取制空权的一种重要作战形式，对局部战争的走向具有重要影响。自1911年意土战争中首次出现空中侦察力量开始，空战已经走过了近百年的历史，美军近年来提出了空中“分布式作战”概念［1-2］，即寻求空中作战能力由单一平台向多类型平台进行卸载，由多种作战平台联合组成空中作战体系，这是信息化作战条件下的一次大胆的尝试。近年来，无人机在各个领域得到了广泛的应用［3-4］，特别是随着人工智能技术和模块化架构的深度融合［5-7］，其自主能力不断增强，若将其作为有人机的僚机，协同配合进行空中作战，符合“分布式作战”的发展趋势，将使无人机发挥更大的作战效能。

作战任务规划是指在实际作战的过程中，根据指挥员下达的作战意图，基于多维度可信情报，在充分分析战场态势的基础上，对所有参战单元的工作状态和使用方法进行规划和部署［8-9］。传统的作战任务规划理论包括整数规划模型［10］、容差分配模型［11］、匈牙利模型［12-13］、平衡优化模型等［14］。随着深度强化学习、大数据挖掘等智能化决策算法的不断发展，作战任务规划也在朝着智能化的方向发展。有人/无人协同空战，作为一种新兴的作战概念［15］，其具备的低成本、高效费比和实时互操作性，支持并行实施多种空中作战行动，同时符合作战向无人化演进的趋势，具有一定的发展前景，相关的研究工作正在广泛进行。

1 现代空战任务规划技术研究现状

随着信息化程度的不断提高，现代化战争中的空中作战逐渐成为研究的热点，国内外主要将空战按照攻击距离分为超视距空战和视距内空战［16-17］，超视距空战由于交战双方距离远、战机部署分散，因此，有较为充足的时间实施任务预先规划，视距内空战较为激烈，博弈性强，需要编队快速进行在线决策规划，各阶段的决策任务如图1 所示。此空战任务规划技术主要分为基于数据驱动的离线规划技术和基于任务的在线规划技术。

图1 空战各阶段决策任务Fig.1 Decision-making missions in each stage of air combat

1.1 基于数据驱动的离线规划技术

在空战前规划阶段，国内学者主要围绕空战目标意图识别、空战目标威胁评估等方面，开展了广泛的研究工作。

空中目标的作战意图包括攻击、突防、防御、侦察、佯攻、电子干扰和空中支援等［18-19］，但是随着现代化战争中信息化程度不断提高，单纯依靠人工进行战争意图识别的效率越来越低，因此，在实际空战前，需要依靠已有的认知模型，依托智能化的分析方法，对目标战术意图进行预测，常见的空中目标战术意图离线识别流程如图2 所示。ZHEN Y 等提出了一种基于级联支持向量机的超视距空战目标战术意图在线分层识别方法，提升了目标战术意图多维在线识别能力［20］。实际空战中，在任务规划的意图识别阶段需要处理的时敏性信息较多，TENG F 等运用深度学习的方法，提高了空中目标战术意图识别的准确性［21］。但是大部分研究在识别敌方作战意图时，往往仅限于单机的作战活动，规划的预测模型在多机空战环境中性能往往不够理想，部分学者通过求解决策树模型［22］、零和博弈模型［23］等数学问题的方法，计算得到了任务规划的最优解，进一步提高了多机任务规划的快速性和有效性。

图2 空中目标战术意图离线识别流程Fig.2 Off-line identification process of air target tactical intention

目标威胁评估技术能够在任务规划初期依据威胁程度对目标进行排序，能够为指挥员提供实时辅助决策［24］，但是不同的作战环境需要的评估方法不同，空战场由于缺乏实战数据，所选评估指标的科学性难以验证。在评估指标的选择方法上，CAO Y等提出了一种运用线性判别分析（LDA）对评估指标进行分类，利用改进的萤火虫算法对模型进行求解，威胁评估效果比较显著［25］，但是其选择的指标以外部环境因素为主，忽略了飞行员这一环节在空战态势评估中的主体地位，奚之飞等提出一种基于前景理论的威胁评估方法，考虑了飞行员在复杂态势决策时，可能采取的不同态度，为空战目标威胁评估提供了新的研究思路［26］。

为了适应现代战场态势的复杂变化，融合认知行为的机器学习算法也被广泛应用于空战任务规划中，图3 为引入深度强化学习的空战任务规划模型。JIN W H 等依托深度强化学习，在双机空战模型中，实现了编队的机动避障和协同对抗［29］。但是对抗双方的飞机编队规模依然较小，YUE L 等基于几何态势建立了空战目标分配模型，得到局部最优的分配结果［30］。BARIS B 等将编队可能受到的威胁作为输入的关键因素，运用强化学习的方法进行空战任务规划，以期获得最大化飞机生存能力的最优策略［31］，为空战任务规划研究提供了参考。

图3 深度强化学习框架下的空战规划模型Fig.3 Air combat planning model based on deep reinforcement learning framework

1.2 基于任务的在线规划技术

视距内空战由于对抗性强、策略更新速度快，在作战过程中更多依靠指挥员的临机反应和智能算法，完成飞机编队的在线任务规划。因此，博弈策略和智能辅助算法在动态任务规划中发挥了重要作用。

基于博弈论的空战任务规划理论包括对抗支付博弈模型、进化博弈模型、微分博弈模型等［32-35］，虽然基于博弈论的空战任务规划模型具有灵活的自组织性、多智能体交互协同性和良好的动态性，但是由于现代空战电磁环境复杂、态势信息动态更迭加快、博弈双方的策略库不断优化，空战任务规划呈现出模糊性、动态性和复杂性的特点。余亚翔提出了一种基于不透明信息的空战动态态势威胁评估模型［36］，有效地解决了在数据稀缺环境下的目标威胁评估问题，LI S Y 等提出了一种约束策略博弈模型，有效解决时效性信息对决策结果的影响［37］。文献［18］依托决策树技术，从不确定和不完整的先验知识中提取规则，以适应复杂变化的空战环境，也取得了不错的效果。

由于传统智能优化算法依赖简单、静态、低维场景、可扩展性差的缺点，以编队飞机自主决策为核心的“人工智能+空战”的作战模式，逐渐成为当前研究的新方向，YUE L F 等针对超视距空战中的作战态势未知的问题，引入PPO 算法，提高了空战任务规划性能［38］。JI W W 等提出了一种ASM 上的任务规划算法，有效地缩短了编队的暴露时间，提高了编队的生存能力［39］。LEI S Z 等依托深度强化学习的方法，解决了空战环境中飞机快速移动、突破云层遮挡等问题，能够在复杂环境中快速的检测并跟踪目标飞机，开展实时任务规划，显著提高了短程空战的胜率［40］。

2 有人/无人机协同空战任务规划技术

有人/ 无人机协同空战高级概念图如图4 所示，其任务规划即由有人机作为指挥机，进行空战态势分析和任务规划，并通过集中式的通信技术进行任务分发，同时无人机具备一定的自主决策能力，能够依靠智能算法，根据战场态势的变化作出战术调整。这种作战模式突破了无人机在自适应控制中处理特殊战场环境的局限性，重新确立了有人单元在协同空战控制回路中的决定性作用，同时还能够充分利用飞行员的经验知识，更合理地使用和分配无人作战力量，同时降低有人机和无人机的受损概率，发挥异构无人平台作战的巨大优势。

图4 有人/无人机协同高级作战概念图Fig.4 Concept map of manned/unmanned aerial vehicle cooperative advanced operations

有人/无人机协同任务规划建模方法包括复杂网络建模［41-42］、DODAF 建模［43］以及基于UAV 自治级别的建模［44］等，本文依托有人/无人机协同空战的“OODA”环，即协同任务受领、协同态势感知、协同任务分配、协同路径规划等环节，对各个作战阶段中运用的异构平台协同任务规划技术进行论述，有人/无人机协同空战过程如下页图5 所示。

图5 有人/无人机协同空战过程Fig.5 Manned/unmanned aerial vehicle coordination air combat process

2.1 有人/无人机协同任务受领

任务受领主要是指编队指挥机构了解上级决心和任务概况，并按照指挥权限逐级受领编队任务，有人/无人机编队在任务受领过程中涉及指挥机构的临机调整，调整过程如图6 所示。

图6 有人/无人机编队指挥关系变化图Fig.6 Command relationship change diagram of anned/unmanned aerial vehicle formation

2.2 有人/无人机协同态势感知技术

在目标侦察方面，有人/无人机协同侦察任务编队可以采用的侦察方式有：后方信息直传式协同、有效控制的载荷配合式协同，两者的主要区别在于侦察过程中无人机指挥权的归属不同。

后方信息直传式协同主要由地面控制站负责无人机的机动操作，无人机首先进入侦察地域，进行多源目标信息的侦察、探测以及图像预处理，并实时将侦察的目标信息回传至有人机单元，有人机汇总、评估态势信息后，上报至指挥所或与地面控制站协调下一步行动，该协同方式主要用于大范围区域侦察。

有效控制的载荷配合式协同，主要由有人机和地面控制站共同行使指挥权，这种协同方式具备快速高效的定点侦察能力，有人机可以借助通信系统，控制无人机的侦察载荷，根据实时态势信息和任务需要，指挥无人机对重点区域实施定点侦察，一定程度上提升了有人/无人机编队的互操作性。与此同时，在复杂电磁环境下，互操作性的提升也对任务编队的通信水平提出了更高的要求。

在目标分析与威胁评估方面，有人机和无人机协同决策也展现出了独特的优势。无人机能够第一时间掌握战场侦察信息，可以完成自身状态信息、战场环境信息和目标性能信息等多源信息的快速聚合，并基于以往的知识经验进行自主决策推理。有人机在接收到无人机威胁评估结果后，借助智能决策辅助系统，对评估结果进行校正完善，并回传评估信息，实现对无人机自主决策的监督控制［45］，其评估过程如图7 所示。基于此，YAO K 等针对多机协同作战中的多目标分配问题，提出了协作优先级的分配模型以及优先级计算方法，完成了对静态目标的快速分配［46］，WEI H L 等对超视距空战中多对多的作战场景进行了研究，基于武器交战区约束建立了多机协同占领模型，通过改进粒子群优化算法，得到了局部规划最优解，验证了其在多机协同空战任务规划中的可行性［47］。

图7 有人/无人机协同态势评估流程Fig.7 Coordination situation assessment process of manned/unmanned aerial vehicle

2.3 有人/无人机协同目标分配技术

有人/无人机协同目标分配方法主要分为集中式任务分配方法和分布式任务分配方法。图8 中列举了部分有人/无人机编队任务分配方法［48］，其中，集中式协同任务分配算法以启发式算法为主，包括遗传算法、蚁群算法等；分布式的分配算法包括拍卖算法、合同网协议和多智能体理论等，相关技术已经应用于有人/无人的空战目标分配。

图8 有人/无人机编队任务分配方法Fig.8 Mission allocation method of manned/unmanned aerial vehicle formation

图9 编队协同路径规划要求Fig.9 Path planning requirements for coordination formation

图10 美军“忠诚僚机”项目概况Fig.10 Overview of“Loyal Wingman”project of US military

图11 任务规划云系统概念图Fig.11 Concept map of mission planning cloud system

集中式的任务分配主要用于处理静态目标的离线分配，往往能够依靠算法取得全局最优解，但是在处理时序目标问题上，传统算法往往存在局部冲突不易消解的问题。YU J C 等在多机任务分配中加入了时序约束模型，提出了一种基于对立的学习参数调整和声搜索算法，对于多约束异构UAV 协同任务规划十分有效［49］。XIE Y P 等针对海上目标协同作战的时序性要求高的问题，提出了基于航路检测的有人/无人机任务规划策略，满足了有人/无人编队在空间上的协同攻击要求［50］。

分布式的任务分配将目标的动态性作为重要约束，能够实现任务的在线分配，虽然不能保证一定取得全局最优解，但大幅提升了分配效率，能够在空战中取得先敌战机，比较符合当前的空战实际。拍卖算法、共识算法等得到了广泛的应用，但是深度强化学习技术运用较晚，在模型重用性方面还存在一定的局限性，LI Y 等将深度强化学习应用于编队在线任务规划，通过改进DDPG 算法，使有人/无人机编队通过自学习提高智能决策程度［51］，为机器学习算法应用于在线任务规划提供了重要参考。

2.4 有人/无人机协同路径规划技术

由于空战场的特殊性，有人/无人机编队的生存空间大大缩减，对编队协同路径规划的快速性、高效性和互操作性提出了更高的要求。

快速性即编队要能够实时地进行路径规划，规避战场上出现的动态障碍区域。李樾等改进了传统的速度障碍法，将协同系统避障的通行法则引入了避障模型，确保了有人机能够快速获得绝对通行权［52］。

为了简化编队指挥员的指挥流程，提高指挥效率。吴立尧等设计了一种有人/无人机编队控制系统，用于实时变换编队的队形策略［53］，有效减轻了指挥员临机调控的压力。孔维仁等设计了参数共享Q 网络的算法，提高了学习效率，简化了指挥流程，能够向实际空战环境进行迁移［54］。为了更贴近于实战环境，李樾等提出了基于凸优化理论的多机航迹规划算法，使有人/无人机编队快速到达任务区域，提高了指挥效率［55］。

为了进一步提高编队内部的互操作性，开发高效、有序的任务规划平台，胡嘉悦等在传统的综合飞机管理系统（IVMS）的基础上，进行了有人/无人机远程协同作战IVMS 的逻辑和软件架构设计，实现了长航时条件下的飞行编队数据交互和任务规划，符合实际的作战需求［56］。王新尧等针对有人/无人机编队集中式、分布式和集散式3 种架构模式中的决策系统存在的问题，设计了多机编队协同作战决策架构系统，将指挥员经验知识与有人/无人机的辅助决策系统进行融合，提高了有人/无人机编队协同系统的鲁棒性［57］。

3 有人/无人机协同规划应用现状与未来展望

随着有人/ 无人协同任务规划技术的快速发展，各国纷纷致力于该技术向战斗力生成的转化，加紧开展有人/无人机编队样机测试和战术战法演练，并将该技术逐步推向空战战场。

3.1 有人/无人机协同规划技术应用现状

美军正在推进“忠诚僚机”项目［58］，该项目旨在将四代机改装成无人机，与五代机配成一个编队，充分发挥各自优势，增强编队在信息化空战中的杀伤能力。2017 年，该项目阶段性地验证了编队自主任务规划能力。在对地攻击的过程中，无人机成功根据有人机的指令，自主优化攻击任务。下一步该项目将研究无人机僚机如何在高对抗环境中与有人机协同作战。

为了摆脱对美国的技术依赖，法国、德国、西班牙等国家于2018 年起开始推进“未来空中作战系统”项目，旨在以下一代空中有人机为核心，通过云系统，建立有人机与无人机之间的联系，以有人/无人协同的方式执行空中作战、巡逻侦察、压制干扰和对地突击等任务［59］，编队协同规划有两个突出的特点，一是将“作战云”概念由理论推向实战，并在其协同规划过程中发挥聚集信息、实时通信协调、资源整合与分配等作用，在确保编队任务规划精准高效的前提下，充分发挥有人机的指挥控制能力，进一步优化了战场资源配置。二是无人机的释放载荷由地面向空中转移，由A400M 运输机携带无人机进入作战区域，进一步提升了有人/无人机编队的远程打击能力，为其遂行多元化的战争任务创造了条件。

俄罗斯也进行了有人/无人机协同作战技术的探索，其作战编队主要由新一代隐身无人机S-70“猎人”和第五代战斗机苏57 组成，在飞机性能方面S-70“猎人”无人机为喷气式飞机，其机动性能和有人机几乎无差，控制系统体现出高度的自动化，这也为其与有人机协同配合奠定了基础，2019 年，该有人/无人系统编队首次进行了联合飞行试验，测试了有人机的任务规划和编队的信息交互能力，取得了初步成效。

3.2 有人/无人机协同规划作战模式创新

有人/ 无人机协同规划技术的初步测试和应用，不仅积累了无人单元参与作战的宝贵经验，并且为未来空战模式的革新演变奠定了基础，主要表现在以下两个方面。

1）无人机成为未来空战的关键因素，进一步提高了有人单元的战场生存概率，空中作战开始迈向“非接触、零伤亡”时代。一方面，以有人机为主导的空战中，有人机需要独自完成诸如协同突防、超视距空中打击、视距内狗斗等一系列复杂任务，这导致其长时间暴露在诸如防空导弹、空空导弹、高射炮等诸多威胁之下，生存受到极大的威胁，若引入无人机作为僚机，将使这一情况发生逆转。首先，有人机可以将解除防空威胁、战术佯攻、诱骗干扰等高危战术任务分配至无人单元执行，自身更多地承担临机调控和战术补位的角色，在保证其战术地位的前提下，使其避免直接面对威胁，从而使编队能够获得一定的态势优势。另一方面，由于飞行员固有的生理极限，其在长时间、高强度的作战环境下，需要同时兼顾战术选择、飞行驾驶、指令收发等多种并发任务，不可避免地会承担额外的生存风险。而在有人/无人机协同作战模式下，无人机由于没有飞行员，其可以在空中长时间执行任务，特别是其机动时不必考虑飞行员的过载承受能力，可以使其不施放干扰，仅利用机动动作就能够摆脱导弹追击，与有人机相比，生存能力大大增加。

2）战术选择更加丰富，可执行任务更加多样。现阶段仅有人机参与的空中作战行动，暴露出了部分战术选择短板，例如受制于有人机雷达反射面积大、红外特征明显等装备性能方面的劣势，其在执行诸如“斩首”等隐蔽突袭任务时，极易暴露，任务执行效率较低；受制于飞行员的驾驶技巧和生理能力等因素的限制，有人机对飞行空间的要求较高，因此，不利于执行大规模的集群作战。而采用有人/无人机协同作战的模式，将极大地丰富空战的战术选择，首先，无人机具备的“低、慢、小”的特点，适合执行隐蔽突袭类行动，达到一击毙敌的作战效果，其次，程控无人机的飞行空间占有率低，便于执行大规模蜂群战术，能够极大地提升突防概率，此外，由有人/无人机协同完成作战行动，也符合未来空中“分布式作战”的发展趋势，即空战开始前，大量无人机不进行离线任务规划，直接密集部署至作战区域，有人机实时快速整合多域信息情报，实施动态任务规划。有人机没有固定的僚机，而是根据实际作战需要，调度区域内部分无人机参与任务规划，建立具有时效性的指挥关系，任务结束后，交还无人机控制权，以便其他单元实施二次任务规划，该战术战法已经初现“马赛克战”的雏形，也会促进有人/无人机协同作战模式的创新。

3.3 有人/无人机协同任务规划存在的不足

目前，有人/无人机协同作战任务规划技术发展迅速，但在规划有效性评价、实战数据获取以及作战应用方面依然存在较多问题。

在规划有效性评价方面，传统的有人/无人协同作战没有建立统一的模型有效性评价标准，过分依赖于专家知识库，且还原专家知识库模型的程度不够高，通过模型验证的任务规划算法难以实现向实战装备的快速迁移，缺乏适用的模型有效性验证手段。同时，智能算法依赖程度过高，由于敌方会采用诱骗、佯攻、突袭等多种进攻方式，智能算法不能够完全代替指挥员，独立进行态势评估和实时任务规划，因此，平台必须为有人机提供必要的战术指挥接口，方便指挥员对规划进行实时干预，取得战术先机。

在建模数据方面，有人/无人机协同作战建模过分依赖于实际装备的性能指标，缺乏实际作战数据。部分研究将强化学习的算法引入到模型数据的获取过程中，但由于还原作战环境的难度较大，难以获取全部的马尔可夫决策约束条件，尽管如此，强化学习技术仍然能够为有人/无人机协同作战建模提供重要支撑。首先，其解决了传统规划方法应用于协同作战时面临的无模型动态规划问题，以往研究有人/无人机协同规划时，建模环境为静态环境，决策动作不会影响环境，实际空战中的环境会随着对手策略的变化而变化，此时传统的规划决策则失去了意义，其次，有人/无人机协同规划模型中已知的环境是少数，大多数环境是无法精确建模的，此时用于动态决策的强化学习就具有了一定的优势，其通过与环境的不断交互，最终得到相对较优的策略，其建模难度较低，数据的普适性也更好。

在作战应用方面，现有研究均以有人机和无人机相同空域作战为背景，由于战场电磁环境变化、敌方电子干扰设备的使用以及其他非战斗因素的干扰，有人/无人机编队内部不能始终保持全局的实时通信，一旦部分无人机脱离长机控制，会对编队构成威胁。同时，当把协同的作战单元从有人驾驶的战斗机替换为无人机时，由于缺乏有人/无人机同空域实飞经验，这种作战规划模式对飞行员的心理素质也是极大的考验。

3.4 有人/无人机协同任务规划技术展望

有人/无人机协同任务规划技术重点在于基于数据的离线规划，难点在于基于任务的在线规划，关键在于编队内部高效的协同规划。未来该技术可能在以下3 个方面会有所突破。

1）引入融合认知行为的强化学习模型实施预先规划。受到计算机能力以及空战数据匮乏的影响，单纯地依靠专家知识或机器学习实施离线任务规划存在一定的局限性。因此，在未来有人/无人机协同编队的作战形态，将经历从“有人机主导的集中式任务规划”到“有人机与无人机共同参与的集散式任务规划”，再到“无人机主导的融合人的认知行为的分布式任务规划”，有人/无人机的预先规划算法，很有可能是知识和数据的高度融合。一方面，根据以往有限的实际空战经验，建立细粒度的策略库，充分运用先验知识，促进强化学习模型的快速启动，节省大量的计算机算力成本和时间成本；另一方面，融合认知行为的强化学习模型，能够快速建立模型输出与策略库输入之间的联系，探索未曾使用过的有人/无人机协同空战战法，加快作战模式的创新运用。

2）群体智能将为动态任务规划提供新动能。虽然以机器学习为主导的离线任务规划能够利用丰富的策略库，实现有人/无人机编队的高效规划，但是如同李世石“神之一手”，采用以往人类很少使用的围棋策略巧胜AlphaGo 一样，针对空战对手的特殊策略，机器学习模型的在线学习能力还有待加强。近年来，以拍卖算法、共识算法、动态蚁群算法等为主在线任务规划智能算法，在处理空中集群任务规划中展现出了一定的优势。有人/无人机协同这一全新的作战模式，为群体智能的军事化应用提供了新平台，将成为有人机辅助决策系统的完美补充。群体智能算法能够为指挥决策提供大量的人机交互接口，实时接入指挥员的在线决策，有效应对高维度指挥决策的挑战。

3）高互操作性的一体编组式协同将成为主流。随着无人僚机智能化程度的提升，其携带的武器载荷更加丰富。无人僚机加装简易指挥控制系统，使其具备一定的态势标定和任务规划能力，编队成员之间能够共享、订阅和查询实时态势信息，进一步提升有人机和无人机之间的互操作性。在编队协同中，根据任务特点，有人机可以向无人机转移部分指挥权，完成分布式动态规划。

4 结论

本文主要针对有人/无人协同空战问题，研究了基于数据的离线任务规划技术和基于任务的在线规划技术，从协同任务受领、协同态势感知、协同任务分配和协同路径规划4 个方面，对有人/无人机协同空战任务规划技术进行了论述，并结合实际应用，提出该技术目前还存在的3 点不足之处，对该技术的发展进行了展望，为研究有人/无人协同控制问题提供了借鉴参考。