基于群体智能的分布式柔性资源有功平衡调度架构及策略

李亚平，杨胜春，毛文博，高冠中，陆亚楠，黄展鸿

（1. 中国电力科学研究院有限公司（南京），江苏南京 210003；2. 华南理工大学电力学院，广东广州 510641）

0 引言

随着新型电力系统建设的不断推进，新能源占比不断提升，新能源出力的随机性、波动性给系统平衡和电力供应带来了严峻挑战。然而，火电机组等传统电源被大量替代，发电侧调节能力相对下降，电力系统需要更多的灵活调节资源。与此同时，在能源互联网技术和我国能源政策的推动下，分布式电源DG（Distributed Generation）、可控负荷、储能、电动汽车EV（Electric Vehicle）等柔性资源数量已呈爆发式增长态势。根据我国能源发展规划，“十四五”期间，我国分布式光伏装机有望达到130～150 GW，较“十三五”实现倍增。2030 年新能源汽车保有量将会超过8 000 万辆。柔性资源为电力网络提供了额外的有功调节能力，目前已广泛参与到调峰［1-2］、调频［3-4］、备用［5］等辅助服务中。

柔性资源具有数量众多、个体容量较小、地理分布零散的特点。相对于传统负荷和发电侧资源而言，具有更强的时空不确定性。此外，受限于通信和数据处理能力，海量终端设备无法与电网调度中心实现及时互联互通，直接导致柔性资源参与调度的规模受限、方式单一。同时，柔性资源类型更为多样化且优化目标各异，海量的优化决策变量将带来“维数灾难”的问题。在此背景下，如何实现海量柔性资源的协同调度亦是亟待解决的问题，受到国内外学者的广泛关注。为实现海量中小资源的有效整合利用，在实践应用中多以虚拟电厂VPP（Virtual Power Plant）、负荷聚合商LA（Load Aggregator）、主动配电网ADN（Active Distribution Network）等集群方式，利用分层集中优化模式处理多资源调控问题。文献［6-7］在总结国内外柔性资源参与调度运行方面研究进展的基础上，针对居民负荷、商业负荷等中小资源，提出基于LA 的分层架构。文献［8-9］从调度策略角度出发，提出了LA 参与调峰、调频等辅助服务市场的架构及优化决策模型。文献［10］考虑VPP与多代理结构的兼容性，建立了基于多代理系统的VPP 分层控制架构，提出了多VPP 参与电力市场时的双层协调机制，实现了收益最大化和区域内的电能平衡。文献［11-12］通过ADN、微电网集群等技术提高计及大量柔性资源接入后的局部电网调控能力或运行可靠性水平。总体而言，VPP、LA 等资源聚合方式对个体有较强约束力，一般要签订中长期的合约（例如年度），个体相对难以灵活进出。而负荷调节除了受到经济收益影响外，其背后“人”的因素更为复杂（包括人的主体意愿、心理因素、经济水平、行为习惯等），体现在资源响应的时变性和不确定性均较为明显，故而柔性资源的聚合应更灵活。

为了充分发挥资源的主观能动性，还有一些文献着眼于“重构”电力系统的资源组织管理和运行架构，提出了“去中心化”或“弱中心化”的调控模式。文献［13］提出了电力系统“分散自律、集中协调”的能量管理系统族的思想，涵盖了智能电网中源、网、荷三大环节。欧盟在2015 年提出了微元网WoC（Web of Cell）［14］的概念，美国可再生能源国家实验室提出了自治能源网AEG（Autonomous Energy Grids）［15］的概念，从自组织协同演化和群体智能（Collective Intelligence）决策角度，对构建“弱中心化”的新型调控架构进行了初步框架设计和探讨。文献［16］以弱中心化WoC 为研究对象，针对电网调度资源呈现信息有限、可控性弱、容量微小、广泛分布等特点，开展基于信息-物理-社会系统CPSS（Cyber Pysical Social System）和群体机器学习控制技术的研究。从资源组织角度出发，WoC、AEG提出可扩展、可重构和自组织的信息及控制基础架构设想。在该框架下，个体可以自由进出，灵活度较高，系统可以实时运行，在确保快速、经济、安全、可靠性能的前提下，广泛地集成各种形式的能源。从调度模式角度出发，弱中心、分散化成为主要的解决思路，传统集中式调度模式向“分散决策、集中协调”模式转变。从技术实现角度出发，物联网、大数据、人工智能、复杂网络、最优控制等先进的能源互联网技术成为广泛使用的主流技术。但总体而言，目前相关研究处于概念和技术框架阶段。

基于上述分析，本文沿着能源互联网的技术思路对海量柔性资源的组织、调控模式进行进一步探索。引入新一代人工智能中的群体智能思想，融合多类型、分布式、柔性资源的不同运行特征，提出基于群体智能的分布式柔性资源协同调控架构。在分层分布集群控制架构下，将每层资源集合看作是不同的智能体，强调柔性资源主体的自治决策和群间协同，整体涌现出群体智能的特征。在此基础上，提出了群体的外特性建模方法，设计了群内自治策略和群间交互协同策略。最后，通过算例仿真验证了分布式架构的合理性和智能策略的有效性。

1 群体智能

群体智能是国家新一代人工智能发展规划中的五大技术方向之一，正成为人工智能领域关注的焦点。群体智能可看作是不同于个体智力的群体型智能形态，它起源于人们对自然界群居生物的行为观察、分析和研究，该形态下群体所涌现出的整体智能水平往往会超越其组成个体的智能水平。

根据组成个体的智能水平和个体类型差异，群体智能的发展可分为2 个阶段［17］。第一阶段（又可称为群体智能1.0）以社会性昆虫／动物等低智能体为中心，属于传统生物启发式群体智能。常见算法包括蚁群算法、鱼群算法、蜂群算法、粒子群优化算法等，已广泛应用于电力系统规划、经济调度、最优潮流、无功优化等领域［18-19］，为优化问题的高效求解提供了算法支撑。

第二阶段（又可称为群体智能2.0）是以人类等高智能体为中心、交互协同为特征的新一代群体智能，更加注重与物联网、互联网、大数据、人工智能、云计算等技术的交叉融合，特别适合于在开放环境下，通过竞争与合作等多种自主协同方式来解决复杂系统的决策问题，展现出超越个体智力的智能形态，具备以下优点：①自组织性，群体智能全局性结构是由各个智能体间的交互呈现出来的，交互规则只局限于局部信息，而非全局模式；②交互协同性，个体地位基本平等，群体间的控制是分布式的，各个智能体依靠相邻智能体间的有限信息分享和交互实现协同优化，较少依赖中心控制；③高可扩展性，群体智能可以通过非直接通信的方式进行信息的传输与合作，随着个体数目的增加，通信开销的增幅较小；④自主学习性，智能体内部控制通过反馈具有适应和优化能力。

群体智能2.0 与能源互联网的开放、互联、对等等特征十分契合。考虑到新型电力系统环境下终端设备的智能程度不断增加，将群体智能的协同、共享、学习等思想与海量柔性资源的多样化类型和优化目标相结合，这不仅有利于充分体现柔性资源自身的利益诉求，而且有利于丰富能源互联网环境下的电网调控模式，从而实现电网安全、经济、高效的运行目标。

2 调度框架

2.1 柔性资源的分层组织结构

从海量柔性资源组织、调控的角度，自下而上分为终端、用户、子群、群体4层，如图1所示。

图1 柔性资源的4层组织结构Fig.1 Four-layer organization structure of flexible resource

终端，顾名思义，指的是位于电网最末端的单个分布式光伏单元、EV、风电机组、储能、空调等资源个体。用户、子群、群体则是根据不同范围对个体的集合，柔性资源个体通过不同形式的聚合方式参与电网调控运行，实现终端最优响应。其中，用户是终端元件不可再分割的利益主体；群体是能够参与电网调度运行或市场交易的市场主体；子群则由群体根据一定规则（如设备类型、地理位置、电网拓扑等）划分而形成。

设置用户、子群、群体3 个层级的目的在于应对一些复杂的场景（如元件数量繁多、类型冗杂、地理位置跨越电网节点等），通过3 个层级的划分有助于简化分析计算的难度，而在一些简单的场景下（如设备数量适中、元件类型明确、利益主体单一），用户、子群、群体可以是等价的。

2.2 协同调控架构设计

柔性资源分层协同调控架构如图2 所示。该架构有效整合了集中式架构和分布式架构的优点。

图2 柔性资源分层协同调控架构Fig.2 Hierarchical coordinated scheduling architecture of flexible resource

将群体、子群、用户每层看作是不同的智能体，该框架本质上是基于多智能体MAS（Multi Agent System）的分布式集群控制架构，整体遵循“群内自治、群间协调”的分层协同调控思想，核心在于“群调群控”。与现有的分布式协同控制架构相比，基于群体智能的柔性资源分层协同框架的特点体现在以下3个方面：①根据参与调控的柔性资源数量和实际调控需求，群体内部可选择进一步分为“子群层”和“用户层”，减少每层调控对象的数量，从而简化优化决策的复杂性；②在满足电网安全运行约束的前提下，更强调柔性资源主体的自主决策和群体协同，涌现出群体智能的特征，有助于激发负荷侧资源参与电网调控运行的意愿；③强调主体地位的对等性、注重主体的隐私保护需求，通过MAS 之间的分布式信息交互，解决群体控制的敏捷性和可靠性问题。

从调控方向而言，该架构整体分为5 层。调控中心主站层作为最上层，通过集中优化或引导协调方式向下层多个分布式柔性资源群体下发调度需求。群体层既包括同质资源聚合而成的群体，如DG集群、EV 充电站等，也包括异质资源聚合而成的群体，如LA、VPP、工业园区等。对应的决策场景有两大类：一是调控中心下发调度需求的全局场景，二是群体间存在协同互济需求的局部场景。针对这2 种不同的场景，群体层负责分解调控中心指令和实现群间分布式协同。子群层是群体根据设定规则采用静态或动态方式划分而成的，作用是进一步分解群体的调控任务。对于由异质资源组成的群体，综合考虑资源类型、地理位置分布、所属利益主体和从属关系等进行静态分群；对于由同质资源组成的群体，一般而言这些资源从属于同一利益主体，不存在利益博弈问题，根据资源地理位置分布、运行状态、调节能力等时空特性信息，通过聚类进行子群动态划分，从而可快速实现群体内部功率分配。用户层类型分为居民用户、商业用户和工业用户，对应地指一个居民家庭、一栋商业楼宇、一家工厂等，通过用户层能量管理系统EMS（Energy Management System）与位于设备层的终端控制装置进行信息交互和终端指令下发。

从控制模式而言，主要有集中式、集中-分层分布式和完全分布式3 种。①集中式。当下层决策对象较少且上层完全掌握下层个体的调节特性时，可采用集中优化模式。②集中-分层分布式。当上层仅掌握下层的外特性调节能力时，可将下层整体作为调控对象，通过集中-分层分布式迭代实现各层子优化问题的并行计算与求解。③完全分布式。对应于群间协同互济或群内功率快速分配的场景。完全分布式协同控制基于一致性理论，通过通信关联节点之间的信息交换，实现各节点间所选取的一致性变量的协同一致。

从决策目标而言，对于由单一利益主体构成的同质资源聚合群体，各资源地位对等，决策目标由群体中心统一制定；对于由多利益主体构成的异质资源聚合群体，由于群体中心、子群／用户存在自身利益，群体中心与子群／用户之间有必要进行交互和协调，属于主从框架下的多目标协同决策。此外，柔性资源响应具有较强的不确定性，如何实现群体中心与子群／用户之间的随机协同调度决策，也是策略设计需考虑的重点。

3 调度策略

与调度框架相对应，调度策略的设计分为群体的外特性建模、群内自治策略和群间协同策略3 个部分。

3.1 群体的外特性建模

柔性资源类型众多，针对如DG、EV、温控负荷等典型资源的聚合建模，国内外学者已开展了一定的研究工作。考虑到EV、储能、温控负荷等“能量存储型”终端资源均可用“等效储能”模型描述，本文以分布式光伏和分布式储能2 类典型资源为代表，推导柔性资源群体的外特性模型。

1）分布式光伏群体模型。

为提高可再生能源利用率，光伏单元往往采用最大功率点跟踪MPPT（Maximum Power Point Tracking）模式。但为了参与调节控制，光伏单元需要留有一定的备用容量，即将功率输出在低于最大功率点的其他运行点。

单个光伏单元的备用容量计算公式具体如式（1）所示。

光伏群体的可调节容量等于内部每个发电单元的可调节容量之和，即：

2）分布式储能群体模型。

单个储能装置的荷电状态SOC（State Of Charge）模型描述如下：

一般情况下，同一节点下的分布式储能装置同步进行充电或放电，储能群体的荷电容量和充放电功率计算公式如下：

需要指出的是，随着分布式柔性资源的对象类型和数量海量化，柔性资源响应的不确定性、独立性、隐私性使得群体外特性精准建模充满挑战。在具体实践中，借鉴文献［20-21］的思路，先通过采集小规模分布式柔性资源的完全信息，利用式（1）—（5）建立小规模柔性资源群体的精准模型，再外推到更大规模的群体，建立近似聚合模型。所建立的柔性资源群体外特性模型能够提供群体的上调容量、下调容量等调节潜力约束，为群内和群间的智能决策提供模型支撑。

3.2 群内自治策略

群内智能体现在“智能自适应”，即群内自治。针对外部指令分解、群体自身利益、与其他群体之间的分布式协同等关系，群体要做到智能自适应。对于一个群体而言，根据群体对其内部设备特性的不同感知深度、设备之间的通信方式、群体对响应可靠性需求的差异性等因素，自治模式可选择主从或对等模式。

主从模式下，群体内部存在决策中心（也可由某个子群控制器承担）。在决策时，决策中心作为领导者（主控制器），其余子群控制器作为跟随者（从控制器），通过leader-follower 算法实现交互和协调。对等模式下，群体内部不存在决策中心。各子群地位对等，由于其具备采集本地信息的特点，对等模式能够更好地适应能源互联网环境下各设备的即插即用和子群的动态划分。无论是采用主从或对等模式，对于分布式的MAS而言，一个重要问题是MAS的一致性。一致性算法在解决MAS 协同优化问题，特别是功率动态分配问题方面有着方便、快速、实用性强的优点。

为了解决群体内部功率快速分配这一问题，为公平性起见，选择子群的功率调整率作为一致性状态变量，子群s的功率调整率可表示为：

式中：ηs(t)为t时刻子群s的功率调节率；Δds(t)为t时刻子群s的功率调节量；dmaxs(t)为t时刻子群s的最大调节容量。

记t时刻子群s的邻居集为NNR(s，t)，ask表示子群s和子群k之间的连接关系，若∀k∈NNR(s，t)则ask(t)=1，否则ask(t)=0。

根据一致性协议，子群s的控制律us(t)可表示为：

式中：ωsk为子群s和子群k之间的连接权重。

在对等模式下，子群s与其邻居集合中的所有子群地位对等，ωsk可定义为：

上式即为子群s的一致性控制律。随着算法的迭代，局部一致将扩展到全局一致。

3.3 群间协同策略

群间智能体现在“智能协同”。群间协同的主要任务是实现调度需求在发电机和柔性资源群体间的最优分配，并协调群体间的交换功率。在传统集中式架构下，调控中心与各群体之间需要建立通信和控制链路，在基于群体外特性建模精准的情况下，调控中心收集所有群体的状态信息并集中优化，能够快速决策出各群体的调节指令。然而，随着柔性资源的海量化，调控中心需要处理的数据维度也迅速增大，受限的计算速度、负荷响应的不确定性等因素难以保证实时决策的需要。

深度强化学习DRL（Deep Reinforcement Learning）通过智能体与环境交互试错的方式进行学习，已被证明是解决无精确模型优化决策问题的有效方法。因此，本文引入多智能体深度强化学习MADRL（Multi-Agent Deep Reinforcement Learning），将DRL的思想和算法用于多个柔性资源群体之间的交互与协同中。

3.3.1 计及多群体的优化调度模型

对于调控中心而言，以全网运行成本最小为目标，计及多个分布式柔性资源群体的地区电网优化调度问题可表示为：

式中：Cg和Cc分别为发电机组g和柔性资源群体c的调节成本；m和n分别为发电机组和柔性资源群体的数量；ΔPg为发电机组g的功率调节量；ΔPc为柔性资源群体c的功率调节量。

发电机组的运行成本用二次函数可表示为如式（11）所示。

式中：ag和bg为发电机组g的成本系数。

根据上文，EV、储能、温控负荷等“能量存储型”资源均能建模成“等效储能”模型。故而，群体内部资源可等值为DG 和“等效储能”两大类。对应地，群体的运行成本分为“等效储能”部分的运行成本和DG的弃风弃光成本，具体如下：

需要说明的是，式（14）仅列写了分布式光伏电站的弃光成本，分布式风电场的弃风成本的计算过程与之类似。

约束条件包括网络的潮流约束、发电机出力上下限约束、群体调节容量上下限约束等，不再赘述。其中，群体调节容量上下限约束可根据3.1节群体的外特性建模计算得到。

3.3.2 MADRL优化模型

将MADRL 应用到上述的优化决策问题中。MADRL 以多智能体马尔可夫决策过程MAMDP（Multi-Agent Markov Decision Process）为基本框架，博弈模型包括各智能体的状态空间、动作空间以及奖励函数，用元组N，S，A，P，R，γ表示。其中：N为智能体数量；S为N个智能体的状态联合在一起组成的联合状态向量，每个智能体i的状态为Si，故S=S1×S2×…×SN；A为N个智能体的动作联合在一起组成的联合动作向量，每个智能体i的动作为Ai，故A=A1×A2×…×AN；P：S×A×S→[0，1] 为状态转移概率；R为奖励函数的定义空间，满足S×A→R；γ为折扣因子。每个时间步t，各智能体根据观测到的状态st(st∈Si)执行动作at(at∈Ai)并作用于环境，获得环境的奖励rt(rt∈R)，并使环境状态转变为st+1，至此完成一个训练回合。通过与环境循环交互，智能体在训练过程中会对自身策略进行优化，使获得的累积奖励逐渐增加直至趋于稳定。

1）状态空间。

2）动作空间。

动作空间是群体的调节功率指令。群体接到调节功率指令后，再进一步利用3.2节的一致性算法进行群内功率分解，实现群内自治。

3）奖励函数。

为了实现式（10）—（14）所示的含约束最小化问题，将式中的目标函数和约束条件设计到奖励函数中。奖励函数包括系统调节成本以及约束越限惩罚，分别表示为：

式中：r1为系统调节成本；r2—r4分别为对发电机组越限、柔性资源群体调节功率越限、支路潮流越限的惩罚；λ2—λ4分别为发电机组越限、柔性资源群体调节功率越限、支路潮流越限场景下的惩罚因子；Pij、Pmaxij分别为支路ij潮流及其上限；Nline为支路集合；max(·，0)表示取数值(·)和0之间的最大值。

在算法选择方面，考虑到软演员-评论家SAC（Soft Actor-Critic）算法使用最大熵值为优化目标，同时最大化智能体奖励和动作的熵值，算法更加稳定。因此，在本文环境下，将SAC 算法进一步扩展到多智能体软演员-评论家（MASAC）算法对上述优化模型进行离线训练。MASAC 算法利用集中训练和分散执行框架，智能体共享观察信息和历史经验。SAC算法的优化目标J(π)如式（21）所示。

4 算例分析

为验证多类型柔性资源协同调度框架和群体智能决策方法的有效性，本文算例采用IEEE 10机39节点系统模拟某柔性资源高渗透地区电网环境，其拓扑结构示意图如附录A 图A1所示。选取节点8、15、25分别模拟分布式光伏电站、EV充电站、温控LA群体。

光伏电站群体内部包括1 000 个光伏单元，EV充电站内有100台EV充电桩，温控LA包括超过1万台的居民空调设备。调度任务是通过调度系统内发电机组和分布式光伏群体、EV 充电站群体、温控负荷群体等全网可调资源，维持地区电网内部发用电功率平衡，促进分布式可再生能源就地消纳。系统初始负荷如附录A图A2所示。

本文设计的MASAC 智能体每轮训练所获得的累积奖励如附录A 图A3 所示。可以看出大概训练800 轮之后智能体所获得的累积奖励趋于稳定，此时智能体的动作将被限制在合理的区间内。

群体层将训练稳定后的智能体用于全网资源优化决策。图3 选取了节点36、38、39 处的3 台发电机组，展示了典型机组出力分配。图4 展示了分布式光伏、EV 和温控负荷3 个柔性资源群体的可调功率分配。图3和图4所示的结果表明，通过分布式强化学习算法实现了发电机组和分布式光伏、EV、温控负荷等多元群体之间功率的最优分配。同时也可以看出在一个地区电网内部，1000个光伏单元、100台EV 充电桩以及1 万台居民空调设备这一分布式柔性资源仿真规模仍然较小，难以与发电机组的调节能力相匹配，因此电网中发用电平衡的任务仍大多由发电侧承担，这一结果与当前柔性资源参与电网调节运行现状相吻合。但若推算未来每户家庭有约3台空调、1辆EV、1个电池储能系统以及其他具有调节能力的电器，再加上工业园区、屋顶光伏等，一个地区电网中柔性资源数量将可达数千万以上，则分布式柔性资源的可调能力不容忽略，而在这种海量场景下，更加有必要采用“终端→用户→子群→群体”的分层分布集群控制架构，简化各层计算分析的难度。

图3 发电侧功率分配Fig.3 Power distribution of generation side

图4 柔性资源群体功率分配Fig.4 Power distribution of flexible resource cluster

在群体内部，基于主从框架的一致性算法进一步将功率调整量下发到用户层直至终端设备。以温控负荷群体为例，群体内部用户层经过一致性协同后，各用户的功率调整率趋于一致。然后，每个用户根据自身要调整的功率值直接控制其终端空调设备完成设备的启停。群体内部最终响应结果与该群体接收到的外部调节指令对比结果如图5所示。

由图5 可知，通过群体间的协同→群内的自治分解，基于分层分布架构以及多智能决策方法，分布式柔性资源群体能够快速完成电网调控中心的功率分配指令，有效减轻了集中决策的计算压力。

图5 群体一致性响应结果Fig.5 Consensus response results of cluster

需要说明的是，本文仅对海量分布式柔性资源分层组织和调控架构中涉及的集中优化和分布自治的智能算法的有效性进行了初步验证，在分布式柔性资源群体等值建模、终端用户最优响应、群间及群内的随机智能决策等方面还有大量的工作亟待开展。

5 结论

针对DG、可控负荷、储能等柔性资源海量化所带来的组织和调度难题，提出基于群体智能的柔性资源分层协同框架。

在调控架构方面，遵循分层分布集群调控模式，将海量资源分为终端→用户→子群→群体4 层。在技术方法方面，引入新一代人工智能规划中的群体智能思想，建立了柔性资源群体的外特性模型，为群内和群间的智能决策提供模型支撑；提出了群体内部基于一致性理论的功率快速分配算法，实现群内自治决策；提出了基于MAS 强化学习的优化决策方法，实现群间交互与协同。通过算例分析对智能方法的有效性进行了验证。本文研究成果旨在利用柔性资源背后“人”的主体所涌现出的群体智能特征为地区电网中各类型可调资源的充分利用和优化运行提供理论和方法参考，从而提升新型电力系统的灵活调节能力。

可以预见，在能源互联网技术的发展和能源政策的推动下，海量柔性资源将在电力系统电力电量平衡中发挥更加重大的作用。将分布式调控架构和新一代人工智能技术相互融合，是充分发挥柔性资源潜力，实现海量柔性资源“群调群控”的有效手段之一。

附录见本刊网络版（http：//www.epae.cn）。