开采沉陷形变监测云平台的设计与实现

2020-08-26 05:06彭小强池深深石长伟陈卫卫陈佩文
关键词:监测数据数据处理变形

彭小强,池深深,石长伟,陈卫卫,陈佩文

(1.安徽理工大学空间信息与测绘工程学院, 安徽 淮南 232001;2.安徽理工大学矿山采动灾害空天地协同监测与预警安徽普通高校重点实验室,安徽 淮南 232001;3.河南省豫北水利勘测设计院有限公司,河南 安阳 455000)

形变监测在各类工程技术应用中发挥重要作用,煤矿开采导致地表移动变形和下沉,掌握地表的移动、沉降和变形规律,为开采沉陷预计提供基础资料[1-2],从而保证矿区的连续、安全、经济、高效生产[3],为矿区环境治理和发展规划等提供数据依据。

随着云计算、量子计算、大数据、深度学习、神经网络、遗传算法、核相关向量机等新技术、新方法的快速发展[4-6],形变监测技术面临更新换代,监测数据处理、计算、分析和成果数据存储、共享能力有望进一步提高[7]。

现阶段开采沉陷形变监测系统的研究主要在实时数据采集、高效数据处理、实时移动变形分析和动态沉陷预计等方面[8],数据采集更加趋于多传感器、多技术集成和实时化[9],系统实用性增强。文献[10]针对目前开采地表沉陷监测方法精度不高、数据实时性差,设计了基于振弦式静力水准仪、GPRS数据传输技术的高精度沉陷监测系统。文献[11]提出了包含形变监测手段、监测网型布设、监测周期设置、监测数据处理的形变监测体系的构建方案。对于上述的各类开采沉陷形变监测系统,一方面,传统的搭载在物理机上的数据处理系统速度慢,效率低;系统的功能无法跟进项目数据积累参生的变化和新需求。另一方面,当工程项目增加、监测数据积累到很大的时候,监测采集数据的存储、成果资料的存储和分享均对物理机的内存有较大要求;对监测数据保存和处理的成本变大。

文献[12]设计开发了基于物联网的智能水准数据处理云平台,一定程度上加强了水准测量监测手段的自动化程度、但系统功能较为单一。

针对上述问题,本文设计了基于云平台的开采沉陷形变监测数据处理与分析系统,并改进了现有的软件处理系统功能和数据库系统,从总体架构、项目流程、功能实现3方面搭建开采沉陷形变监测云平台系统,为动态适应监测项目对存储空间和数据处理能力的变化、为形变监测云平台的研发提供参考。

1 总体构架设计

1.1 总体构架技术选择

基于云平台的开采沉陷形变监测系统是一个需要较快计算能力和拥有动态伸缩存储空间的数据处理平台。针对这一特点需要适当增强后台的数据计算能力,平台在云端上只需要应用所需的存储空间,就可以满足用户需求。即为平台选择兼顾计算能力与数据存储空间的总体构架[13-14]。

所以考虑上面描述的需求,本文设计的云平台兼顾监测数据存储、成果存储和数据处理三方面。故采用Java多线程编写软件,将需要计算的数据同时发送到多台计算节点上进行计算,提高数据处理时的计算速度,其应用构架如图1所示。

1.2 总体构架设计

开采沉陷形变监测云平台基于上述构架,应用Java网络编程和Eclipse开发环境,集成虚拟化技术、负载均衡技术、数据库技术进行该形变监测云平台的开发。平台可分为基础设备层、资源管理层、数据计算层、功能应用层、用户层等核心层面,并由测量标准规范系统、云安全保障系统来支撑。以下就上述核心层进行介绍。

基础设备层:为云平台提供基础的硬件服务,如存储、计算和网络通信,保障平台的正常运行。

资源管理层:为保障云平台的运行提供数据资源支撑。开采沉陷形变监测数据资源较多,云平台需要存储项目工程资料、地质采矿条件、云平台日志资料,云平台计算生成的数据资源与成果资料以及用户上传的所有资源数据[15]。

数据计算层:应用分布式计算、并行计算的计算模式,基于各数据节点,为云平台提供强大的数据计算能力。

功能应用层:主要为平台提供工程管理、资料保管、数据计算、生成报表、成果保存、数据成图功能。

用户层:平台为用户提供的基本信息管理和人机交互功能。用户可以通过登录云平台,使用云平台提供的各类服务。

2 项目业务设计

2.1 用户注册和工程管理

1) 用户注册:用户管理主要是对系统用户进行授权管理,提供用户注册、身份验证、平台系统授权、建立平台日志等服务。为了使该平台在多种云计算系统上运行,设计了独立的用户管理模块,提供统一的系统登录界面,如图2所示。

图2 系统登录界面

2) 工程管理:工程管理主要做工程项目的新建、删除等管理工作。新建工程后,平台会在云数据库中建立相应的工程文件目录,工程进行过程中分类上传、保存相关数据资源。图3为平台新建工程的流程示例。

图3 新建工程流程

2.2 数据上传与管理

用户及工程创建成功后,平台生成与该工程项目相关的用户日志,用户向平台工程基础数据库上传基础数据(工程地质采矿条件、工作底图)为监测数据处理做准备。用户可以根据工程项目进展上传各期监测数据成果和工作面退尺情况,同时还可以上传因地表移动发生的各类地表损害情况(发生位置、现场照片、简况说明等)。

云数据库设计如下图4所示。

图4 云数据库存储结构设计

2.3 线上数据处理与分析

设计基于现代测绘科学技术、计算机技术、云计算技术等相应技术为支撑的开采沉陷形变监测云平台,解决沉陷监测阶段地表移动变形规律的解算、分析问题,以达到监测工作面变形规律的目标。其数据处理流程如图5所示。

图5 监测数据处理流程

2.4 线上成果保存

平台在进行数据处理后,计算出的移动变形值、绘制的各移动变形曲线及移动变形分析成果文件将存储到该工程项目下的特定文件库里,生成形变监测成果库。

3 平台功能设计与实现

开采沉陷形变监测云平台将主要为用户提供用户管理、工程项目文件管理、在线数据处理和数据成图4大功能。由观测站概略位置、观测数据、移动变形、绘制图形、参数求取、统计报表和系统用户7部分组成,如图6所示。

图6 开采沉陷形变监测云平台界面

3.1 用户管理模块实现

在云平台上开发一款应用,用户要使用该应用就要从公共网络访问端登录该应用。使用已有账号服务时用户根据已有账号即可进行系统登录。该用户管理模块的开发,能较容易地迁移到其他云平台上运行。

1)实现用户对象:系统的用户管理模块包含验证用户的功能和一个用户登录界面,所以用户登录系统时只需使用用户名和密码即可。

2)加密存储用户密码:用户密码经过加密后,其他用户即使获得了数据库中的数据时,对方仍然不知道用户的密码,从而保证了用户密码的安全性。本平台采用Java语言自带的SHA算法进行加密。

用户登录系统时,平台会使用SHA算法对密码进行签名与数据库中已经保存的密码进行对比,密码相同时用户便能成功登录本数据处理系统,如图7所示。

图7 使用SHA算法验证用户登录

SHA算法由Java语言实现,并用此算法加密存储数据,再将数据写入到数据库中以备查询。

3.2 工程项目文件管理模块实现

云计算环境能提供HDFS和AWS S3等多种工程文件管理功能。开采沉陷形变监测云平台可以对文件进行创建、删除、复制、上传、下载等功能。而考虑到系统以后迁移、扩展等问题,平台设计一个公共文件系统访问框架。平台进而提供一个统一的文件管理接口FileManager,使用工厂模式根据使用的文件系统类型选择具体应实现的文件管理接口。

1)编写统一的文件管理FileManager接口代码。

2)统一文件对象,考虑到工程文件名、大小、类型中的共性,根据开采沉陷监测云平台的工程文件对象建立统一的文件类。

3)具体的文件系统实现:根据本系统的工程文件对象,将文件管理模块与HDFS或AWS S3进行集成,初始化该文件系统。

4)文件上传的实现:在HDFS的根目录下建立文件共享系统(filesharesystem)文件夹,平台新用户在该文件夹下建立以其用户名命名的专属文件夹。文件使用Tomcat数据流的方式,将工程项目文件直接上传到平台指定的文件库中。考虑到工程项目的保密性,平台用户只能访问属于自己的工程项目文件。

5)文件下载的实现:使用Tomcat数据流的方式直接获取文件,再将数据流输送给平台客户端,在客户端JSP页面加入上述文件数据流链接,用户仅单击客户端下载按钮即可下载该文件。

3.3 在线数据处理模块实现

线上数据的处理功能有线上监测数据采集、线上数据整理、线上变形监测数据计算、线上成果报表输出。平台利用用户采集并上传的监测点的空间位置信息,使用开采沉陷形变监测网分析方法进行移动变形值的解算、以及利用首末期监测数据进行参数解算。平台使用Java语言编写后台处理程序,并通过前端平台页面控件调用的方式实现。后台数据处理的部分核心代码:

//下沉值W

W[lineNumber2] = (Convert.ToDouble(str1[lineNumber1, 3])-Convert.ToDouble(str2[lineNumber2, 3])) * 1000;

//倾斜值in

in = calculate_The_Slope_in1(W, l_GC, line2.Length);

//n号点的曲率Kn

Kn = calculate_The_Curvature_Kn(in1, l_GC, line2.Length);

//水平移动U

U[lineNumber2]=(Ln_GC[lineNumber2]-Ln_JZ[lineNumber2])*1000;

//水平变形e

e[lineNumber2]=((l_GC[lineNumber2]- l_JZ[lineNumber2])*1000) / l_JZ[lineNumber2];

lineNumber2 ++;

sw.Write(“走向线上的下沉和移动计算结果”);

//写入网型信息

sw.Write(“序号,“+”点号,“+”走向下沉(mm),“+”相邻两点倾斜(mm/m),“+”观测点附近曲率(mm/m2),“+”下沉速度(mm/d),“+”走向水平移动(mm),“+”走向水平变形(mm/m),“+”走向横向水平移动(mm) ”);

sw.Write(“ ”);

sw_c.Write(“参数计算结果”);

//写入参数信息

sw_c.Write(“参数名,“+”参数值,“+”参数名,“+”参数值 ”);

sw_c.Write(“采动充分性指标 KL 倾,“+ KL_qing+”,采动充分性指标 KLj 倾,“+Klj_qing+” ”);

sw_c.Write(“倾向采动程度系数 n1,“+n1+”,影响传播角 θ°,“+s+” ”);

sw_c.Write(“下沉系数 q,“+q+”,超前影响距 l,“+1+” ”);

sw_c.Write(“水平移动系数 b,“+b+”,超前影响角 w,“+1+” ”);

sw_c.Write(“上山影响半径 r,“+r_qing+”,上山主要影响角正切 tgβ,“+rb_qing+” ”);

sw_c.Write(“下山影响半径 r,“+r_qing+”,下山主要影响角正切 tgβ,“+rb_qing+” ”);

sw_c.Write(“上山边界角 γ0,“+gb0+”,上山移动角 γ,“+gb+” ”);

sw_c.Write(“下山边界角 β0,“+gr0+”,下山移动角 β,“+gr+” ”);

sw_c.Write(“切眼附近拐点偏移距 S 左,“+gr0+”,上山拐点偏移距 S 上,“+gr+” ”);

sw_c.Write(“停采线附近拐点偏移距 S 右,“+gr0+”,下山拐点偏移距 S 下,“+gr+” ”);

sw_c.Write(“ ”);

3.4 数据成图模块实现

数据成图是平台形变监测信息的可视化。平台根据每期观测数据结合首期观测数据来计算本期的移动变形值,绘制移动变形曲线图,以观察沿主断面方向的地表移动、变形的分布特征和分析其发展过程。

绘制移动和变形曲线图时,竖直比例尺应使绘制的曲线能清楚的反映出移动和变形的分布规律,便于比较分析。水平比例尺与观测站平面图一致,再根据实测的移动和变形值绘制等值线图。平台通过应用Eclipse或D3.js等可视化技术,实现地表移动变形曲线图和等值线图的绘制,实现监测形变信息的可视化。如图8所示,为开采沉陷形变监测云平台绘制的倾向主断面下沉曲线。

4 结语

新型煤炭科技创新背景环境下,基于云平台的开采沉陷形变监测是数字矿山、智能矿山建设的重要一环。开采沉陷形变监测云平台的研究,对于实现开采沉陷监测数据在云端上及时处理、变形信息及时展现和分享具有实际意义。平台选择兼顾计算能力与数据资源存储的功能构架,应用Java网络编程和Eclipse开发环境,综合集成虚拟化技术、负载均衡技术、数据库技术等,整合地质采矿条件、各期监测数据、地表损伤状况等数据,提供用户管理、工程项目文件管理、在线数据处理和数据成图4大功能,实现云上的开采沉陷的数据处理与形变分析系统的设计与实现。

平台根据现有功能,跟进监测项目参生的新变化和新需求。将进一步改进现有的软件处理系统功能和数据库系统,实现高效低成本的观测数据存储、成果资料存储和及时分享,能动态适应监测项目对监测数据存储、处理、分享能力的变化。

猜你喜欢
监测数据数据处理变形
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
基于低频功率数据处理的负荷分解方法
无人机测绘数据处理关键技术及运用
变形记
谈诗的变形
高层建筑沉降监测数据处理中多元回归分析方法的应用研究
高层建筑沉降监测数据处理中多元回归分析方法的应用研究
“我”的变形计
会变形的饼
浅谈环境监测垂直管理的优势