水电站设备数据可视化分析平台的设计与实现

迟海龙，陈小松

（北京中水科水电科技开发有限公司，北京100086）

0 引言

目前的水电站生产控制系统里都配置生产数据的存储系统。如何充分利用这些历史数据并找到和分析数据的内在涵义是现代水电厂生产和管理要探索的问题。随着计算机图形学技术和数据可视化技术的迅速发展，现代的各个领域的数据可视化方案层出不穷。本文立足于水电站机电主要设备运行状态和工况数据，提出一种基于当下比较流行的NoSQL文档式数据库的设备状态分析可视化方案，该方案对数据进行采集、存储，建立可复用的知识体系数据库，为水电站的运维的智能化提供数据支持保障。

1 方案设计

1.1 总体目标

通过对水电站设备状态检修数据平台深入的需求分析，我们认为本平台应满足以下技术要求：

（1）数据采集软件能满足各类自动化系统接口的要求：支持多种数据传输规约，格式文件动态分析，格式文件导入，人工录入等数据采集方式。同时，应具备数据的合理性校验功能。

（2）满足海量数据存取的要求：采用MongoDB或其他支持分布式存储的高效数据库，利用分片技术、数据压缩技术，ETL数据抽取等技术实现海量数据的高效存储，并且分析结果的展现时间满足人机功能学的要求。

（3）人机交互功能友好、全面：能快速调取运维人员需要的分析对象或原始数据点，支持曲线等表现形式，外观自定义，自由缩放、平移，添加标注等。

（4）表现形式应多样、直观、易懂：可提供表格、分析报告、多种常见曲线图形表现形式等可视化手段。

1.2 系统功能划分描述

按照需求分析该系统平台功能可分为7大块，23个小块功能。其中与业务有关的有5部分，系统平台自身管理配置2部分。各个子功能模块如图1所示。

图1 状态监测分析系统功能结构示意图

1.3 软件逻辑层次划分

系统软件从逻辑上可分为UI界面层、数据处理层、数据写入层、持久化数据层、业务数据接入层和业务模型层等6个大的分层。系统应用软件由若干子系统组成，这些子系统可部署在不同的服务器上，以兼顾负载均衡和系统可维护性。具体描述如下:

（1）UI界面层

负责处理客户端数据查询等数据操作请求，并将数据操作结果返回给用户。

（2）数据处理子系统

主要处理系统维护数据、前端数据请求转发、及后台数据周期计算等数据处理工作。

（3）数据写入

主要作为系统数据写入数据库的操作，该层的功能应对具体的数据写入读取操作做业务抽象并作为其他模块系统的数据写入代理，功能上应该不局限于某一单一数据库的使用。

（4）持久数据层

该层负责数据的持久化保存，将系统本身配置信息或者业务模型等接入的业务信息，及自身周期运算处理的结果信息进行持久化保存以备数据分析展示用。

（5）业务接入层

负责各个数据系统数据采集转发通信等处理。一方面通过对各个业务子系统的通信将数据进行接入。同时也需要对安全分区网络边界隔离的数据进行处理，在保证分区的分割和安全性的约束下将有用数据进行转发和接入操作。

（6）系统业务模型层

该子系统接收监控系统、在线监测系统、保护系统、故障诊断系统、机组振动监测系统等系统的各种数据并进行相应处理。主要为各系统的实时值更新、实时/历史数据压缩存储、数据周期计算、趋势预警、事件数据记录，数据备份及删除等功能。

2 软件设计

2.1 软件包构成

设备诊断分析平台可以按照之前的架构层次划分为若干个软件包，这些软件包相互依赖配合完成整个系统的数据采集、存储、分析、展示、消息推送等各项工作。

主要的软件包由UI客户端、数据处理、数据访问控制、消息组件、数据库驱动、模型管理、公共、日志、文件操作及操作系统等数个软件包构成。

2.2 历史数据库

2.2.1 MongoDB分布式文档存储数据库

MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大。

2.2.2 数据库规划

MongoDB是一种可以水平扩展的模式，在数据量很大时特给力，实际大规模应用一般会采用这种架构去构建monodb系统。要构建一个MongoDB Sharding Cluster，需要3种角色：

（1）分片服务器:用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个复制集承担，防止主机单点故障。

（2）配置服务器:存储了整个集群元数据，其中包括chunk信息。

（3）服务路由服务器:前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。

2.2.3 历史数据存储

设备状态分析平台的实时历史数据保存在MongoDB数据库中，以单个对象的某一时段历史数据作为文档单元进行存储，比如1 min的历史数据形成一个文档，一个对象的所有历史数据形成一个集合。对象存储历史数据时只保存易变字段的值。

采用MongoDB数据库进行历史数据保存的好处在于不用事先设计文档的字段（相当于关系型数据库的Table结构），可以自由存储，可以适应不同的对象数据。

实时系统产生的告警和事件记录可按单条记录作为一个文档进行存储，不同类型的事件归入不同的集合。

3 功能实现

3.1 UI系统人机功能

3.1.1 数据点选择功能

该功能方便用户自主选择需要分析或展示的数据点，界面灵活多样，操作简便，功能强大，支持任意数据点智能查询，并可选分组记录保存服务，以便用户快速调用。用户可自由选择需要分析的数据时间范围，并可根据需要选择数据采样间隔及特征值。

3.1.2 数据输出功能

本功能提供数据及配置文件保存服务，可将历史数据保存至本地（XML格式与EXCEL格式）脱离服务器进行数据分析。

3.1.3 图形展示功能

本功能提供分析或展示结果的图形输出服务，可将分析结果（曲线图、散点图、表格等）保存为图形文件或输出到打印机。

本系统支持的数据展示方式包括：曲线、散点图、柱状图、饼图、表格等。

3.1.4 数据报警、预警功能

当任何一个对象出现故障或运行趋势异常时，系统将自动发送报警信息，支持的发送方式包括：发送至运行本软件的客户端，发送至监控系统，发送至订阅者邮箱。

3.2 设备资产管理

设备资产信息是平台数据的核心管理元素，是所有模块的基本的、重要的输入参考。资产信息主要应包括资产编号、所属厂站、所属系统、所属设备、设备组件等基本字段。本系统将设备按照不同的所属分层次的组织成设备树。方便系统对设备管理和查询。

3.2.1 设备树组织及定义

根据电站、系统、设备、部件等4级层次关系定义设备部件，将设备部件作为最小的分析、评估单元。比如：二滩/1号机变单元/发电机/定子、二滩/1号机变单元/振摆系统/上导摆度元件等。

3.2.2 设备树维护

建立设备部件与所有可采集的特征参数的关联关系，便于浏览、查询，同时应对同一设备的特征参数进行分类，特征参数与数据查询、图表展示功能关联。针对不同类型的特征参数，可选择不同的图表展示方式。

3.3 趋势分析

3.3.1 数据有效性检验（数据清洗）

按照实际工程量范围检验数据的有效性，按照统计规律对离群值进行辨识，对无效数据、离群数据应加以标记、提示，并允许用户进行修改删除等操作。

本功能操作部署在后端数据处理模块里。通过对数据的周期扫描，将数据中明显偏离期望水平的数据进行标识，可通过自动方式或者人工干预的方式进行筛除。

3.3.2 实时预警

该模块对设备在同工况下的特征参数（如：启动次数、等时间间隔内的运行小时数、模拟量值）的变化趋势进行连续监视，当其出现明显的趋势变化时进行预警和提示。对数据库中的数据定时进行背景扫描和比对，当其出现明显的趋势变化时进行预警和提示。预警信息可向客户端主动推送。

3.3.3 数据展示及导出

支持多条件（工况）查询，例如：在某水头下、某负荷下、某时段进行数据筛选查询，对设备特征数据进行多种图表展示，提供散点图、折线图、堆叠图、棒图、股票图、蜡烛图、等高线图等。曲线的线型颜色订制，自由缩放，添加标注，选取区域最大最小平均值等特征值动态提取并显示。

可统计计算特征参数的最大值、最小值、平均值，并可进行图表展示。

支持统计查询，可通过事件列表或开关量，实现自动统计设备的启动次数和运行小时数功能（分别统计日、月、年周期）。

支持数据导出（CSV格式）及打印、图形导出及打印、自动根据用定义生产html、ms-word格式、pdf分析报告（报告含文字、图表、表格）等功能。

支持公式计算功能（加减乘除四则运算），可派生出新的中间特征变量。支持以上功能，并优化了设备的启动次数和运行小时功能，可高效在线统计任意时段、任意数据点的启动次数和运行小时数。

4 结束语

本文从水电站运维的历史数据出发，提出了一整套数据分析和可视化展示方案，有助于电厂运维人员对生产主设备的运行状态数据掌握。该方案中采用的是文档式数据库MongoDB，为了便于以后项目的订制和实施，在后续开发中也计划支持多数据库类型，例如增加对MYSQL、Oralcel等传统关系型数据库支持。