管道大数据平台技术研究与应用

徐杰 高海康 吴志强 王玉霞 张正雄

（国家管网集团科学技术研究总院分公司 河北省廊坊市 065000）

随着管道业务领域信息化和自动化应用不断深入，陆续建成应用了一批涵盖生产管理、经营管理、办公管理的信息系统，目前信息化建设虽然取得长足进展，但往往各自为政，无法实现有效的融合，数据往往并未产生具体的分析价值，成为沉睡的死数据。在业务驱动信息化的快速建设中，随着数据量的增加，数据管理方面存在的问题也随之突显，如何统筹好各系统之间关系，形成企业级公共数据标准和接口规范，避免信息孤岛，成为当务之急[1-3]。

大数据技术的兴起为信息系统的融合应用提供强有力的技术创新，启动数据梳理并用数据驱动流程优化，进而引导企业的管理提升和转型。实施数据梳理是对信息系统内部数据进行规范、为应用集成提供基础保障的必要措施，结合业务实际，应用大数据技术对数据进行建模和分析，有助于提升精细化管理、油气调运等环节的智能决策水平和经营效率。

1 大数据技术及平台介绍

1.1 大数据技术架构

大数据技术架构主要是针对一个集群而言，通过集群才能体现出大数据技术架构的优势，一个大数据架构平台是多项新技术应用的组合，技术比较全面的架构平台（图1）。

图1： 管道大数据平台功能架构

大数据处理架构是集数据分析、数据采集、数据存储与管理、数据计算与数据可视化以及数据安全与隐私保护等功能于一体，为大数据分析处理的手段和解决问题提供技术和平台支撑。大数据分析计算与处理是大数据处理平台的核心，主要是通过分布式计算框架来实现，针对数据分析计算的分布式计算框架不仅提供高效的计算模型和简单的编程接口，而且要要有很好的扩展性、容错能力和高效的可靠的输入输出，以满足大数据处理的需求。大数据处理架构主要由数据采集层、存储层、处理层和服务封装层以及数据安全与隐私保护等多个部分组成。

1.2 大数据平台

大数据分析平台是建设和实施大数据应用所必需的基础设施，从大数据存储技术路线上看，最典型的有三种：第一种是采用MPP 架构的新型数据库集群，重点面向行业大数据，通过列存储、粗粒度索引等多项大数据处理技术，具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用。第二种是基于Hadoop 的技术扩展和封装，围绕Hadoop 衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，目前最为典型的应用场景就是通过扩展和封装Hadoop 来实现对互联网大数据存储、分析的支撑。第三种是大数据一体机，由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析用途预先安装的软件组成，高性能大数据一体机具有良好的稳定性和纵向扩展性。

目前主流大数据存储平台主要围绕第二种。Hadoop的发行版除了社区的Apache hadoop 外，国内外比较主流的大数据平台主要有GE Predix、阿里数加、星环科技大数据平台、华为FunsionInsight、昆仑数据KMX 平台、开源平台Ambari。

2 管道大数据平台

2.1 管道大数据平台技术架构

结合管道运行生产中已有的各类数据源，研究多源异构数据采集方法和流程，不同采集周期、不同空间尺度下的多源数据清洗、转换、缺失值与异常值处理，形成满足大数据分析的数据格式。在实际的管道生产环境中，面对快速增长的管道数据集，选择特定的模型计算框架，开发部署大数据模型，自动适应数据量的成倍增长，在满足模型计算的可靠性和准确性的前提下，确保模型运算的速度[4]。搭建基于Hadoop 的数据存储环境，实现数据的分布式存储，将管道运行决策模型集成到Hadoop 数据环境下，实现模型的快速计算和可视化展示。

大数据平台将数据梳理标准为基础，参照业务需求通过数据整合及批处理计算引擎，实现与业务系统的数据同步，将数据存储到大数据环境中，以支持基于大数据的实时查询、数据分析、数据多维度统计、可视化展示，并支持外部应用数据接口。平台硬件采用云租用的方式，平台软件采用开源+商业产品混合的方式，底层存储采用开源产品，计算框架采用商业产品，上层数据模型、业务模型、可视化、数据挖掘、数据同步。

大数据平台系统硬件架构采用分布式架构，并在云平台中进行部署，与集中式架构相比，数据不集中存储在存储设备上，而是分散在多个服务器的硬盘中。系统物理架构设计为Demo 运行环境，能够提供数据存储及系统应用服务，在项目建设过程中，将用于开发、测试、培训。大数据集群中的节点，分为三个角色：客户服务器、管理节点和计算节点。客户服务器用于外部平台与Hadoop 进行交互。管理节点用于集群管理，主要与接口服务器进行通讯，为接口服务器分配可用的计算节点，同时管理节点会维护计算节点上报的每个运行参数。计算节点是大数据平台中的执行者，主要用于数据存储、执行并行计算。

2.2 管道大数据平台功能设计

结和大数据平台功能模块按照分层逻辑，划分为数据同步层、数据计算层、数据分析层、数据应用层、平台管理层及安全监控层，功能结构图见图2。

图2： 管道大数据平台功能结构图

数据同步层实现大数据平台与各业务系统的数据传输，包括针对业务管理平台的离线数据抽取、针对SCADA 的实时数据抽取以及大数据平台对外提供的数据访问接口服务。

数据计算层按照主数据要求，对大数据平台数据进行统一转换，形成满足后期数据分析、数据挖掘及可视化展示的数据格式，涉及批量数据的离线计算、实时数据的在线计算以及即席查询计算。

数据分析层主要用于多维数据建模分析及数据挖掘，多维数据建模分析涉及不同数据源的集成，按照多维数据分析模型的要求，对齐分割各业务数据，并在此基础上实现数据多维度的钻取、汇总、切片、旋转，数据挖掘主要用于各类业务场景数据计算，包括数据清洗转化、模型验证、挖掘算法支持。

数据应用层针对天然气管道运行优化、内外检测数据综合应用及管网安全综合预警3 个领域，实现管网运行工况深度分析、标准历史工况集、在线预警、管道外腐蚀速率预测、管道缺陷修复及检测规划、管网综合安全预警可视化等功能。针对大数据平台分析结果，包括多维数据分析结果、业务模型挖掘结果、在线监测数据结果，实现基于GIS 的管网安全信息可视化、实时预警信息展示、交叉分析报表等。

平台管理层具有业务、应用、平台、设备层面全方位的监控能力，提供故障的及时发现、及时告警能力及优化诊断能力。基础指标监控包括：机器性能指标、集群性能指标。日志管理用于搜集Hadoop 平台的关键业务日志，便于运维和上层研发人员定位系统问题，提高异常处理速度。通过自动化方式实现大数据平台配置信息快速同步，避免手动修改造成的人为错误，提高可靠性，尤其在系统调优的情况下经常使用。

安全管理层针对大数据平台的管理权限进行管理，实现敏感数据的加密处理，针对大数据平台重要事件、主要监控指标发送告警信息，提醒运维人员即使进行后续处理操作。关注系统自身的安全性，防止来自系统层面的攻击，同时为更高级安全防御措施提供系统级别的支持，权限管理、即提供文件、设备等底层资源的权限管理能力，防止越权访问，操作审计，为更高级的审计提供数据和功能支持。

3 业务模型应用场景设计

管道大数据平台以现有业务系统为数据源主体，整合经营管理数据，利用大数据挖掘技术，针对管道内外检测综合分析、天然气管道运行优化、管网安全综合监控可视化3个场景进行应用研究，应用场景设计图见图3。

图3： 管道大数据平台应用场景设计

3.1 管道内外检测综合分析应用

综合管道内外检测数据、风险评价数据、在线监测运行数据、阴极保护数据，针对管体外腐蚀开展研究：管道外腐蚀速率预测、管道缺陷修复计划、管道再检测周期。利用天然气管道内检测信息、外检测信息，结合历史管道缺陷修复情况、生产计划、失效记录等信息，基于大数据、概率、随机模拟等多种算法，针对管体腐蚀速率进行评估，为管体缺陷修复计划及再检测周期提供依据。基于统一的规则，对各平台的数据进行清洗、转换、对齐、标准化处理，以形成满足数据分析的数据格式。针对清洗后的数据内容，分别采用描述性统计、聚类、关联、回归分析、多目标优化、概率等方法进行建模，完成不同维度方向的数据分析。基于最优模型进行腐蚀速率预测，并在此基础上完成缺陷修复计划及再检测计划的评估。

3.2 天然气管道运行优化

利用天然气管道基础数据、站场设备设施数据、SCADA 监控数据、生产数据等历史业务记录，基于大数据分析模型，建立天然气管网运行管理模型（数据分析规则），即充分借鉴管道管理人员和运行人员的行业经验，结合管道运行实际情况，实现数据分析规则的定制，构建具有可执行和可操作性的天然气管道大数据运行优化模型。与常规的仿真系统相比，模型的工况参数分析及优化，调度运行方案方案比选，在线预测与预警等功能均是基于管道真实的历史运行数据。

基于大数据分析模型，建立天然气管网运行管理模型，结合管道运行实际情况，实现数据分析规则的定制，构建具有可执行和可操作性的天然气管道大数据运行优化模型。快速分析管道实时生产信息、运行情况及历史数据，增强对天然气管道的管控能力和需求预测管理，优化提高管道运行平稳性和应急保供能力。

3.3 管网安全综合监控可视化

研究利用已有的生产、经营数据，快速直观地捕获敏感数据，及时准确地把握管网运行状态，即根据各类数据具有的空间特征、时间特征，建立多维数据模型，结合报表、图形、地图等可视化手段，提供基于图形或图表的交互操作，利用管道在线监测信息、智能数据采集信息、检测信息，结合管道基础数据、历史失效数据、历史预警数据、生产计划、失效记录等信息，基于大数据可视化技术，实现管网安全综合监控实时可视化展示。

4 结语

本文从大数据的业务视角、数据视角研究与数据梳理工作相结合的大数据技术路线，满足管道已有的业务模型、技术体系、数据资产等。建立一套符合管道现有基础特点的大数据架构体系，以管道数据梳理成果为基础，结合多源数据采集结果，利用多种数据分析算法进行特定业务分析，为管道的大数据试点应用及落地给出建设思路。