电网实时数据中台设计与研究

2024-02-03 08:52葛士辉郎济莹
信息记录材料 2024年1期
关键词:中台分布式调度

王 震,杨 涛,葛士辉,郎济莹

(山东鲁软数字科技有限公司 山东 济南 250000)

0 引言

当前,能源电力发展面临着保障安全可靠供应,加快清洁低碳转型、助力实现“双碳”目标的重大战略任务。电网企业以建设中国特色能源互联网企业为目标,打造企业中台,实现能力共享、数据共享,支持快速应用搭建,推进高质量发展[1]。 同时,加快构建新型电力系统,提升可观测性、可描述性和可控制性,实现系统数据共享和数字化透明电网。

经过多年发展,电网企业已建成调度自动化、配电自动化、用电信息采集等覆盖各个电压等级的采集测控系统,以及订单管理系统、生产管理系统、营销业务应用等覆盖各环节业务的信息系统,基本能够满足传统电网安全运行、生产管理和客户服务的需要。 然而,与新型电力系统全环节透明化[2]要求相比,还存在很多不足[3]。 在采集系统建设方面,电网企业尚未实现感知层终端、通道、安全防护等资源统一规划和管理[4],存在跨专业重复建设和“一数多源、一数多采”的现象,各专业仅开展采集数据逻辑和数据流转等前置服务建设,未考虑其他专业数据需求;在采集数据共享方面,存在接口调整代价高和时效性不足等问题,无法满足各专业高即时性业务需求[5]。

电网企业“十四五”数字化规划旨在提升数据实时处理能力,实现分钟级数据同步和亿万级数据计算能力,支持准实时业务场景。 通过构建流批一体化实时处理能力,融合实时和离线数据,满足动态多源异构数据需求。 针对新型电力系统建设的实时数据应用需求,统筹内外资源,开展基于企业中台的实时数据共享技术研发与应用[6]。优化数据流转和共享方式,解决时效性和共享服务能力问题,全面提升数据中台的实时数据共享支撑能力。

本文通过实时数据计算和基于Open API 实时数据共享系统功能模块化研究,建立电网实时数据中台,并以此为技术底座搭建实时数据共享服务中心。 该平台对于数据实时采集、处理并通过服务实现高速共享,可满足各专业实时数据计算、存储、共享等业务应用需求。 实时数据中台为调度、设备、营销等专业提供高速实时数据共享服务,形成可复制、可推广的实时数据中台产品,向其他能源行业相关企业推广应用,助力新型电力系统“源网荷储”协同互动。

1 流批一体

实时数据中台采用Flink 组件实现数据的流批一体计算,适应不同时效性需求。 流式计算适用于高时效性、低延迟性业务场景,如实时数据分析等。 批量处理适用于对数据时效性不高的业务场景,如天报表、年报表等。

Flink 的核心应用程序编程接口( application programming interface, API),最初针对特定场景设计,尽管应用程序编程接口/结构化查询语言已实现流处理和批处理的统一API,但底层API 仍需选择DataStream API 和DataSet API。 为此,将这两种API 合并成统一API 带来以下优点:(1)作业可自由切换执行模式,无需重写代码;(2)可复用同一作业处理实时和历史数据;(3)流和批可共用connector,轻松实现流批混合执行。

2 Open API

在互联网时代,开放平台通过提供开放API,将网站服务封装为易识别的数据接口,使第三方开发者无须改变源代码就能够增加功能或使用资源。 实时数据中台基于Open API 提供实时数据共享发布功能,统一管理数据并对外提供服务调用和消息订阅,提高系统的灵活性和可扩展性,推动创新应用的快速发展。

3 中台设计

3.1 中台架构设计

如图1 所示,中台架构分为数据接入层、数据缓存层、共享服务层和应用层。 具体为:(1)数据接入层将主网调度、配电自动化和用采系统等源端系统量测数据接入中台,支持MySQL、MongoDB、Kafka、API 等类型数据接入。(2)数据缓存层使用Kafka 等,用于缓存数据,实现在高并发下,能够最大程度降低对数据库服务器的压力。 (3)共享服务层根据配置规则处理数据,并通过API 和消息队列对外提供服务。 共享服务层包括数据计算、数据存储、对外服务三个模块,实现数据去重、解析、映射和关联计算,支持多种数据存储方式,提供Open API、Rest API 和SDK等服务方式。 (4)应用层是由实时数据中台服务对象组成,包括调度、营销和配电等业务系统应用。

图1 中台架构设计

3.2 中台功能设计

中台统筹各专业实时数据共享应用需求,包含从数据源端接入到中台的数据计算以及数据共享的全流程功能。具体来说,实时数据中台主要包括实时数据共享服务、数据运营管理、数据资产管理和数据仿真与孪生等功能。 下面介绍每个功能的功能项及功能项描述。

3.2.1 实时数据共享

实时数据共享服务是实时数据中台的基础,包含数据接入、数据计算、数据存储、数据分析、数据对外共享五块功能。 具体功能设置如表1 所示。

表1 实时数据共享功能项

3.2.2 数据运营管理

该功能目的在于建立数据管理全流程闭环一体化运营能力,实现精细化运营管理。 具体实现功能如表2所示。

表2 数据运营管理功能项

3.2.3 数据资产管理

该功能旨在构建数据资产分析展示模块,实现数据服务的便捷查询和灵活获取。 具体功能如表3 所示。

表3 数据资产管理功能项

3.2.4 数字仿真与孪生

基于仿真技术实现数据质量校验和数据补齐,同时为各应用提供仿真校验服务;融合实时数据与仿真模型,为数字孪生电网建设提供基础支撑。 具体功能如表4 所示。

表4 数字仿真与孪生功能项

4 应用实践

以实时数据中台为基础,构建企业级实时数据共享服务中心。 该中心实时汇聚新型电力系统全环节采集的量测数据,提供高实时数据和高性能算力服务,支持各专业的实时共享共用。 实时数据共享服务中心的功能截图如图2 所示。

图2 实时数据共享服务中心部分截图

4.1 典型场景简介

4.1.1 分布式光伏精益化管理

实时数据中台汇聚电网全环节的曲线数据,提供分布式光伏数据服务。 地市调度系统利用量测数据进行分布式光伏在线观测、功率预测、安全监控等应用,推动新能源精益化管理。

4.1.2 新一代应急指挥灾情监测

实时数据中台为新一代应急提供主网开关变位信息、设备状态事件、停电事件等实时监控告警信息,并结合高级空间分析能力,支持灾损恢复和灾情监测模块。

4.1.3 配网故障定位抢修

实时数据中台通过配电自动化系统、用采系统和95598 等数据源,获取准实时的电气运行数据、台区停复电事件和停送电计划信息。 利用这些数据进行综合分析,以支持供电服务开展主动抢修业务。 通过紧密配合标准化流程,实现故障处置并协同运转电网,实现高效抢修和优质服务的目标。

4.2 典型场景应用示例

以分布式光伏精益化管理应用为例介绍基于企业级数据共享服务,场景功能放在“透明电网”一级菜单设置下。 平台内应用截图如图3 所示。

图3 平台应用截图

在数据接入准备阶段,需要映射用采系统与配电系统化系统中的数据,并实现物联采集、模型标准、数据存储和计算服务的统一模式。 接入实时数据中台后,获取用户的曲线类数据和事件类数据。 同时,通过数据中台实时获取分布式光伏用户台账类数据。

接入原始数据后,对数据进行加工,实现去重、过滤、关联等操作,转变为可应用的“熟数据”。

实时数据共享服务提供近三天的分布式光伏量测数据共享,采用列式存储和数据总线,满足低延迟、高吞吐量的要求,并将超过三天的数据按需归档至数据中台。

完成上述步骤后,实现数据共享服务。 利用实时数据中台进行分布式光伏数据加工处理和分析,通过API、应用集成和消息订阅服务发布计算结果,实现数据一次计算多次共享,提高处理效率和数据获取速度。

4.3 成效对比分析

平台实现70 万+分布式光伏数据的实时接入与共享,时延控制在10 s 左右(未使用中台前约40 s)。 试点区域智能电表采集至调度业务应用总时延可控制到1 min(未使用中台前约3 min)。 大批量获取数据场景下,如某市县电量平衡计算,获取90%以上分布式光伏用户数据耗时4.5 min(未使用中台前约10 min)。 三类场景的成效对比如图4 所示。

图4 成效对比

通过图4 可见,实时数据中台的应用带来了显著的时间成效提升。 光伏数据接入和调取时延缩短至使用中台前的1/4,电表信息采集到调度应用时延缩短至使用中台前的约1/3,电量平衡业务计算时延缩短至使用中台前的约1/2。 实时数据中台采用流批一体的计算方式,确保低延时的数据处理,并通过高速的服务发布方式为应用端提供快速调用的API。 相较于未使用中台前,时间成效提升超过200%。

5 结论

本文基于流批一体和Open API 技术,利用现有数据中台搭建了高效的企业级实时数据共享服务。 通过对典型应用场景的分析,相较于原有共享模式,该平台提升了200%以上的效率。 研究成果可为调度、设备、营销等专业提供高速实时数据共享服务,并形成可复制、可推广的实时数据中台产品。 推广应用将助力新型电力系统实现“源网荷储”的协同互动。

猜你喜欢
中台分布式调度
中台是媒体转型必经之路吗?
——媒体中台建设的特点和误区
关于零售企业“中台”建设的研究
《调度集中系统(CTC)/列车调度指挥系统(TDCS)维护手册》正式出版
汽车制造企业质量中台研究
以技术开发中心为中台,数字化转型之见解
一种基于负载均衡的Kubernetes调度改进算法
虚拟机实时迁移调度算法
分布式光伏热钱汹涌
分布式光伏:爆发还是徘徊
基于DDS的分布式三维协同仿真研究