铀矿地质云平台应用示范系统设计与实现

2020-11-09 06:18孔维豪朱鹏飞刘武生李晓翠刘琳莹
铀矿地质 2020年5期
关键词:空间数据铀矿资源

孔维豪,朱鹏飞,刘武生,李晓翠,刘琳莹

(核工业北京地质研究院,中核集团铀资源勘查与评价技术重点实验室,北京 100029)

欧美发达国家地学机构和组织较早就开始将信息技术应用到公共信息服务领域,与我国目前状况相比,地学信息化水平较高。美国地质调查局(USGS)以发布国家自然资源信息,提供信息化、社会化服务为核心,建立了广泛、高质量、及时的科学信息和数据。英国地质调查局(BGS)也构建了基于业务流程的包含知识的发现、交换与开发的地学知识框架,框架涵盖项目管理、数据采集、集成管理、数据处理、成果综合等方面[1]。

国内地质信息共享方面,以中国地质调查局(CGS)的“地质 云”为代表,依托云计算、互联网+、大数据等信息技术,实现地质信息的开放与共享[2]。地质云的前身是基于云架构的中国地质调查信息网格平台,通过网络结点体系的建立,已初步实现了数据资源的共享和协同[3]。地质云进一步通过逐步完成基础设施改造升级,逐步增加数据服务内容和应用数量,逐步实现主、分中心的数据共享和计算资源共享,可望成为国际上具有广泛影响力的地质信息服务平台。

“数字铀矿山”作为中核集团“数字核工业”战略任务的组成部分[4],包括数字铀矿勘查和数字铀矿采冶,其中数字化勘查业务依托于铀矿地质云平台[5],建设目的是实现从野外数据采集到数据入库管理、从数据分析到三维成矿预测、从预测评价专题图件到地质勘查精准部署的流程化。

铀矿地质云平台旨在建设铀矿勘查全周期大数据应用一体化数据平台,为各级单位提供生产运行监控、数据统计、智能预警和决策优化服务。通过开展铀矿地质云数据平台建设,研究铀矿勘查数据采集、汇聚、清洗与分析挖掘技术,建立与业务深度融合的数据应用服务体系。

铀矿地质云平台应用示范系统是铀矿地质云平台的前期原型系统,主要任务是以二连铀矿基地为对象,集成主要研究区地、物、化、遥等成果资料,达到二连盆地铀矿勘查、预测等多元信息数据的管理和共享目标,为未来全面构建核工业铀矿地质云平台,实现铀矿地质信息高效共享和精准服务,做好前期技术积累、云平台架构及功能探索性工作。

1 系统设计

1.1 总体架构设计

铀矿地质云平台 (Uranium Geological Cloud Platform,简称UGCP) 的建设需要紧密围绕铀矿地质勘查业务需求,在统筹规划、统一设计的原则指导下,充分利用云平台、分布式计算、地理信息系统等综合技术优势,制定平台技术架构,采用成熟、先进的技术路线进行平台研发,实现铀矿地质数据资源的高效存储管理、数据处理、信息提取、专题产品生产以及共享服务协同,提供标准数据检索与服务接口,实现主-分中心现有数据库、管理系统、业务应用系统实现互联互通,最终实现铀矿资源管理、应用、决策分析服务的网格化和智能化应用。

通过对国内外地质信息服务和铀矿地质信息服务现状的总结分析,根据目前铀矿地质勘查业务现状,结合中国地调局的“地质云”以及中石油、中石化的数据中心和共享服务平台的建设经验,铀矿地质云平台采用“分布式数据中心+一站式服务门户”的模式构建,实现“数据分而自治,主数据中心统筹管理”的分布式数据共享应用平台。铀矿地质云平台整体架构由基础设施服务层(IaaS)、数据服务层(DaaS)、平台服务层(PaaS)与应用服务层(SaaS)组成(图1)。

图1 铀矿地质云平台总体架构Fig.1 Frame structure of UGCP

基础设施服务层(IaaS) 以华为公司的FusionSphere 云操作系统为依托,通过对底层服务器、存储资源虚拟化的统一管理和调度,提供勘查业务的数据捕获、传输和存储等基础保障条件,为上部各层提供计算服务和基础,具有很高的自适应性和可扩展性[6]。FusionSphere 包括FusionCompute 虚拟化引擎和FusionManager 云管理等组件,可以大幅度提高IT 基础设施的利用效率,并且可以根据开发接口进行定制开发,以满足深层次业务需求,实现多用户资源隔离、动态资源调配和横向扩展。

数据服务层(DaaS)是与数据相关的所有服务(如聚合、清洗等)发生的位置,采用“分布式数据中心+一站式服务门户”的模式构建[7]。依托基础设施服务层的计算能力,构建“1 主中心+n 分中心”的数据中心模式,实现铀矿地质数据资源的物理上分布式存储和逻辑上的集中管理。主中心任务是维护和管理具有广泛共性需求且低频率变化的数据,如元数据信息、基础数据和资料等,以及维护统一数据目录和服务目录;分中心任务包括存量数据、新增数据、管理数据的组织、传输与管理,以及铀矿地质勘查数据的采集、管理和服务等。

平台服务层(PaaS)是整个云平台架构中数据资源和计算资源的深度融合层,向上支撑业务应用,向下衔接IT 资源和数据资源。面向业务用户提供各类型云服务,为业务应用系统提供支撑,实现对数据中心底层资源的统一规划、管理和监控,能更好地为铀矿地质业务工作服务。

应用服务层(SaaS)聚焦于铀矿地质业务方面,实现调用PaaS 各类服务资源,快速构建业务应用的功能。依托下层提供的动态资源调配、横向扩展、分布式存储和缓存等支撑能力,适应迅速变化、复杂的业务场景需要。

1.2 数据服务设计

1.2.1 数据管理模式

根据铀矿地质业务模式,依据分布式数据管理理念,铀矿地质数据资源实行“物理分布+逻辑集中”的管理模式。其中逻辑上分为“工作库”、“成果库”、“共享库”3 个逻辑数据库,实现数据中心各类数据资源按照标准数据流程进行统一管理、更新、共享与服务快速发布。

“工作库”用于个人用户独立开展的铀矿地质业务工作,项目组及个人均拥有独立的物理工作空间,可灵活满足用户对存储个人数据、临时数据、过程数据的需求。为了实现数据共享,项目组和个人通过创建数据汇聚任务或手动上传数据至“汇聚区”,由云平台实现数据的自动或半自动化采集和清洗,并进行标准化处理;然后以“处理区”作为中转站,对数据的质量检查合格之后,由数据维护人员审核并提交至“成果库”;最后“成果库”的数据在数据聚合规则和任务的驱动下,实现自动化抽取、转换,形成二次数据产品,提交至“共享库”供其他铀矿地质业务应用系统使用。

逻辑数据库内部,数据按照“归档申请、质量检查、数据转换、数据入库、查询检索、数据提取、分发服务”的业务流程执行操作,从而保证了数据的现势性和质量(图2)。

1.2.2 数据服务内容

数据服务的任务目标是将静态数据实现服务化,主要内容包括目录和元数据服务、地图服务、要素服务、地名地址服务、空间数据服务、OGC 标准服务、影像服务等多种类型。

1) 目录和元数据服务

铀矿地质云平台参照开放地理空间信息联盟标准和我国地理信息有关标准的内容,根据系统中对各类网络服务的应用需求,并按照Web 服务的要求,规定描述各类信息服务的信息模型。目录与元数据服务提供平台所发布服务的所有元数据信息,支持基于目录服务按多种方式的查找模式。平台将以满足OGC 的网络目录服务(Catalog Service-Web,简称CSW)元数据服务接口规范来发布及管理元数据服务。

2) 地图服务

图2 数据综合管理流程Fig.2 Integrated data management process

地图服务作为一种GIS 服务方式,提供对电子地图的访问服务。通过指定矢量或栅格数据源,以GIS 专业软件为途径进行地图服务发布。地图服务包括动态地图服务和瓦片地图服务。瓦片地图服务可以预先创建地图缓存以提高地图显示和访问效率。该服务除了提供基本的地图浏览功能外,还可以实现地图查询、地图查找、地图编辑等。

3) 要素服务

要素服务可用来通过网络提供要素,并提供显示要素时所要使用的符号系统。客户端可以进行查询以获取要素,并执行适用于服务器的编辑操作。要素服务提供了可用于提高客户端编辑体验的模板。关系类数据和非空间数据也可使用要素服务进行查询和编辑。

4) 地名地址服务

地名地址服务提供对地名和地址数据的访问能力。通过访问地名地址服务可以获取地名信息、地址描述信息以及位置坐标等。

5) 空间数据服务

空间数据服务允许用户通过网络访问空间数据库。该服务可以使用任何类型的空间数据库。除了支持对空间数据库的查询操作,还支持空间数据库的编辑、复制,以及指定空间范围内的数据抽取、转换和下载。

6) OGC 标准服务

OGC 标准服务能够使地图和数据以国际公认的开放格式实现Web 应用。由于OGC 已定义了相关规范,支持客户端应用程序通过Web 访问并使用地图和数据。所有开发人员均可免费使用OGC 规范来创建此类受支持的客户端,其中常用的OGC 标准服务包括WMS服务、WFS 服务、WCS 服务、WMTS 等。

7) 影像服务

影像服务提供对遥感影像数据的访问能力。通过访问影像服务可以获取影像数据信息,如坐标系、范围、像素大小、波段数等,同时还具备遥感影像的查询、下载等功能。

1.3 功能服务设计

功能服务是以服务(Web Service)封装的形式向访问者提供有关地理空间信息处理和分析功能。访问者按规定格式输入请求,经服务器处理和分析后,将结果反馈给访问者。平台具有丰富多样的功能服务项目,包括空间分析、地理处理、地理编码、地图查询、地图编辑、空间数据抽取、空间数据复制等服务。

1) 空间分析服务

空间分析服务是对数据进行大规模计算,如临近、包含、穿越查询、坐标转换处理、最优路径分析、叠加分析、缓冲区分析、网络分析等。

2) 地理处理服务

将空间分析工具和分析模型发布为服务器上的地理处理服务,供远程的客户端调用,而其本身在服务器端执行。平台将空间分析模型和脚本发布为Web 服务,可以支持多种客户端的访问和使用。

3) 地理编码服务

地理编码服务具备提供地理位置与地址描述信息之间相互转换的能力。包括正向地理编码服务和反向地理编码服务两种类型。正向地理编码服务是指将地址信息转换成地理坐标的过程。该服务基于正向地理编码服务引擎实现。反向地理编码服务是指将地理坐标转换为一种可读的地址串的过程,通过反向地理编码,用户可以方便地从移动终端等设备上将地理坐标转换为更易于理解的地址信息。

提供地理编码服务需要用户预处理标准地址库,形成引擎需要的标准地址数据模型。在地理编码引擎的基础上进行操作,以供用户访问地理编码服务。

4) 地图查询服务

地图查询服务是基于地图服务或空间数据服务来实现,可支持输入空间范围的方式对数据进行基于空间位置的属性查询,也支持通过关键字对存储在空间数据库中的关键内容进行查找。

5) 地图编辑服务

地图编辑服务基于地图服务或者空间数据服务来实现,支持通过Web 浏览器对空间数据直接进行编辑。

6) 空间数据抽取服务

空间数据抽取(空间数据转换)服务基于空间数据服务来实现,可以通过用户指定特定空间区域,将该范围的空间数据转换为用户指定的数据格式,并下载到本地。

7) 空间数据复制服务

空间数据复制服务同样基于空间数据服务实现,既可以基于增量方式同步分布式空间数据库的内容,也可以将空间数据库发布为空间数据服务,通过空间数据服务定期进行数据库服务器之间的同步更新,实现数据的一致性。

1.4 应用系统设计

为了适应不同的铀矿地质业务需求,建立较为健全的数据产品和服务产品体系,需要开发一系列应用系统,实现集成管理、可视化表达、查询检索、专题图制作、统计分析、历史数据管理、元数据管理和安全管理等方面的功能,形成“快速存储、方便查询、灵活调用、共享发布、动态更新、分析应用”的数据资源管理和服务共享平台,实现对铀资源多元信息数据的管理、共享的目标。

由于铀矿地质云平台的建设任务内容较多,鉴于目前阶段的任务目标和要求,应首先完成主要技术路线的研究和探索。因此,铀矿地质云平台应用示范系统将建设目标定位于PaaS 云服务模式[8],以综合数据库管理为基础,突出数据共享交换和可视化功能,实现“数据→服务→应用”的完整数据流(图3)。

铀矿地质云平台应用示范系统基于分布式架构设计和实现,初步构建云原生数据和服务平台,支持公有云和主流私有云部署模式,支持组织架构、空间、项目等不同的权限和资源管理模型。

1.5 二次开发接口设计

图3 铀矿地质云平台总体建设任务Fig.3 Construction content of UGCP

二次开发接口设计的成功与否,与平台能否得到广泛应用和推广息息相关。云平台为支撑多样的用户应用需求,遵循简单、可扩展、高效性和完备性的原则,提供了完整的开发接口。铀矿地质云平台作为数据服务的提供方,允许开发用户通过WEB services API 调用平台提供的服务和自己的业务应用进行集成,支持REST 和SOAP 两种模式。

1.6 其他保障措施

信息安全是铀矿地质云平台建设的基本前提,因而需要考虑制定相应的信息保密制度和规定,采用与云环境相适应的云安全技术措施,强化网络与信息安全保障,维护信息安全,在此基础上促进各种IT 基础设施资源和数据信息资源的高效服务。

遵照国家和铀矿行业相关标准,针对铀矿地质云平台建设,需要统一铀矿资源数据的采集、提交、管理、更新、共享、交换以及业务应用的标准规范等;制定铀矿地质云平台数据管理办法,规范数据汇交与更新流程,形成数据服务与更新机制等;统一系统集成开发接口和共享服务规范,保障平台的规范运行。

2 应用系统开发与实现

2.1 软件选型

为了支持未来多数据中心部署和容量扩展的需要,除了基础设施服务层采用华为公司的FusionSphere 云操作系统,其他全部采用开源技术构建。开源软件具有安全性高、可靠性高、可定制性高、运维成本低等优点,因此从企业战略发展角度来说,采用开源技术和软件是目前最佳选择。

为了提高我方自主研发能力,降低未来部署和应用成本,铀矿地质云平台应用示范系统采用符合OGC 标准的开源技术构建云原生数据和服务平台,云基础支撑系统采用华为FusionSphere 云操作系统,数据库采用PostgreSQL[9-10],非结构化数据采 用分布式文件系统,空间数据引擎采用PostGIS,GIS 服务引擎采用GeoServer,前端开发架构采用Nodejs,后端则采用Java。

2.2 平台建设

为了适应不同的铀矿勘查业务需求,初步建立铀资源数据和服务体系,满足应用示范阶段要求,铀矿地质云平台应用示范系统包括4 个子系统: 铀矿地质综合数据库管理系统、铀矿地质云平台共享交换系统、铀矿地质云平台数据可视化系统、铀矿地质云平台门户系统。

2.2.1 铀矿地质综合数据库管理系统

本系统满足多源异构数据的高效管理与应用需求,依托分布式存储环境提供数据管理功能[11],满足结构化数据、非结构化数据和空间数据的管理、调阅需求,实现对原始数据的有序管理,以及从原始数据到二次成果数据的高效转换。系统提供个人中心、数据入库、元数据管理、数据提取、数据更新、版本管理、备份管理、日志管理、配置管理等功能模块(图4)。

1) 基础数据资源服务

图4 数据库管理系统界面Fig.4 Database management interface

为了满足铀矿地质的基本数据需求,基础数据库内容包含了基础地理数据集、基础地质数据集、遥感影像数据集和勘查区域数据集的相关内容。基础地理数据集主要包括全国基础地理数据、地形和地貌数据,以及部分国外的基础地理数据。基础地质数据集主要包括全国1:20 万~1:500 万比例尺的地质图数据。遥感影像数据集主要包括全国16 m、30 m 分辨率的中分辨率遥感卫星数据,以及重点研究区2.5 m 分辨率的高分辨率遥感卫星数据。勘查区域数据集主要包括各大比例尺的地质、物探、化探、水文、工程部署、分析测试、钻孔数据等。

2) 元数据管理

为了便于后期实际业务应用,平台中所有数据实体均应建立对应的元数据信息,并保存到元数据库中。对元数据的管理,可以通过元数据模板管理和元数据编辑两种方法实现。元数据模板具有新增、修改、删除、模板导入和导出功能。元数据信息建立由数据提供者负责,维护方面由数据提供者和系统管理员共同负责,保持元数据信息的准确性和现势性。

3) 数据导入和导出

支持文件类、图形类、图像类等数据格式的入库,提供批量自动入库、手工入库、自动生成数据入库报告等方面的功能。通过文本检索和空间检索双重手段,可以实现平台数据资源的检索、预览和下载。

4) 数据和服务资源发布

为了便于成果对外展示和共享,提供数据资源、服务资源的发布功能。数据资源可以按照云平台数据发布要求,发布到数据可视化系统进行展示,并可以实现简易制图表达和统计分析功能。服务资源可以实现矢量图件、底图切片等的发布功能。依托数据可视化系统,数据资源、服务资源可以实现动态切换和叠加显示。

2.2.2 铀矿地质云平台共享交换系统

该系统实现了统一安全体系下铀矿地质数据和服务的在线共享和使用,支持特定用户分享、群组分享、授权码分享、公开分享、目录共享等模式。系统提供用户和权限管理、文档数据服务引擎、空间数据服务引擎、数据管理、服务管理、资源目录检索、元数据浏览检索、日志管理、运维管理等功能模块。

1) 服务管理

系统提供服务发布与注册功能,基于预准备的服务器资源发布多种类型的空间信息服务(图5)。支持异构GIS 平台的服务接入,其他GIS 平台发布的服务只要符合OGC 标准(如WMS、WMTS、WFS),都可以通过“第三方服务注册”的方式接入到系统中。

图5 服务管理功能模块Fig.5 Service management module

2) 统计分析

统计分析模块在系统监控的基础上,对平台运行情况、服务访问情况、运维操作情况等进行统计及分析,并将这些统计内容输出到综合分析报告中,为管理员日常审计、了解系统运行情况、优化系统等工作提供参考。支持用户访问量统计、IP 流量统计、服务流量统计、服务使用和等待时间统计、服务成功率统计、运维系统操作统计、数据库统计、应用服务器统计等。

3) 用户安全管理

用户安全管理模块对用户、角色、权限、存储等进行统一身份认证及授权管理,并对申请注册的用户进行审批,确保平台安全、稳定及可靠运行。功能主要包括对平台用户体系的管理,对用户的服务访问和管理权限进行分配以及服务安全认证等。

2.2.3 铀矿地质云平台数据可视化系统

本系统采用B/S 架构,可实现数据和服务资源目录的展示、浏览等功能,包括资源目录定制、目录检索、目录共享、图层控制、元数据浏览检索、快视图浏览、网格浏览、多视图对比、专题图快速制作、专题图分享等功能。

1) 资源目录

该模块提供数据中心所有数据资源的目录列表,可通过类型、区域、项目、年度等方式展现;提供自定义过滤条件,支持资源目录的个性化定制;提供资源目录检索功能,支持关键字检索、区域检索、时间检索、复合检索等。

2) 资源浏览

基于电子地图服务提供数据展示、距离和面积测量、标记、卷帘、多时相、全屏、书签、地图纠错等功能;提供物联网实时数据接入、展示等功能。

3) 在线制图

该模块实现了web 端专题图制作功能。基于系统提供的各类底图信息,通过添加铀矿地质业务数据来创建专题图(图6)。业务数据可以来自上传的文件或平台中已有的服务,上传文件格式支持Shapefile、csv 和txt 文件等,平台服务则可以是ArcGIS Server Web服务、OGC 网络服务(WMS)、KML 服务、网络图集服务等多种类型。

2.2.4 铀矿地质云平台门户系统

门户系统依托于数据库和共享平台建设,是铀矿云平台的展示资源的窗口,也是平台中数据和服务的统一出口,为用户提供一站式服务。门户系统实现资源的整合、查找、共享及资源统一管理。门户通过采用单点登录、统一身份认证的方式,提供用户不同权属的数据和服务资源。系统提供资源服务目录、资源申请下载、数据浏览、信息发布、开发中心等功能模块。

3 关键技术与实现

1) 基于时空模型的数据管理

图6 可视化系统界面Fig.6 Visualization interface

铀矿地质数据在PostgreSQL、MongoDB 和HDFS 基础上,采用时空数据模型进行多时态数据管理,扩展时态数据模型以适应大规模数据更新和版本管理。通过“工作库”、“成果库”和“共享库”3 层组织方式,结合时空数据索引技术,实现多源异构数据的高效访问、抽取和分析等。

2) 统一元数据管理

云平台对于所有元数据进行统一的管理。自定义主题分类,以列表、力导向图等多种形式相结合,展现数据资源的全局元数据视图。通过该视图对元数据进行统一的浏览、搜索,进行有目的的数据选择。也可以通过自定义的元数据分类,选择性上传,实现对元数据的自定义管理。

3) 分布式缓存

分布式缓存技术在云计算领域中已有广泛的应用,其是由一个服务端实现管理和控制,多个客户端节点存储数据,根据一致性哈希算法确定数据的存储和读取节点,可处理大量的动态数据,并通过缓存提升指令和数据读取速度。具有高性能、动态扩展性、高可用性、易用性及分布式代码执行等特点,可以极大地提升云平台的访问响应和并发服务能力。

4 结论

铀矿地质云平台作为“数字铀矿山”中信息化建设的一部分,通过第一阶段的工作,已初步实现了云架构下的数据存储和共享,积累了宝贵的经验[12]。下一阶段的工作不仅需要继续完善已有的系统功能和模块,而且需要加强通用软件 (云盘[13]、邮箱、通讯app等)、安全生产监控[14]、铀矿地质应用软件及业务应用系统的集成和联合运行的研究工作,实现业务应用全面云化[15-16]。

未来远景规划将全面建成以“铀地质云”为核心的信息服务技术体系,建成基于云平台、大数据[17]为基础的铀矿资源管理与服务体系,以现代对地观测与信息技术集成为支撑的全覆盖、全天候的铀矿资源服务体系。在确保铀资源数据在网络和信息系统安全的前提下,全面实现铀矿资源采集、管理、应用、决策分析服务的网络化和智能化应用。

铀矿地质云平台是实现铀矿数据资源共享、铀矿地质业务长期有序发展的有效途径和技术支撑。这就需要我们以“大数据平台”的理念主动适应铀矿地质业务变革,依托云平台对数据“采-存-算-管-用”的处理能力,将铀矿数据资源转化为企业的数据资产,以此助力数字核工业发展。

猜你喜欢
空间数据铀矿资源
基础教育资源展示
粤北地区花岗岩型铀矿勘查模式分析
铀矿数字勘查资源量估算方法应用与验证
CSAMT法在柴北缘砂岩型铀矿勘查砂体探测中的应用
一样的资源,不一样的收获
GIS空间数据与地图制图融合技术
资源回收
资源再生 欢迎订阅
网格化存储的几项关键技术分析