统计微观经济运行监测平台设计思路研究*

2024-01-12 13:06彭小玲
统计科学与实践 2023年11期
关键词:数据仓库经济运行微观

□ 彭小玲

近年来,统计信息化建设的发展为统计进步及地方政府辅助决策提供了强有力的技术保障,但随着大数据、云计算、移动互联网的发展,一个以海量信息和数据挖掘为特征的大数据时代正在到来。在政府大力倡导服务型、智慧型统计的背景下,加快建立现代统计体系,构建一个涵盖全面、调查精准、核算科学、运转高效的服务型统计势在必行。如何充分发挥统计职能更好地为政府决策提供参考,更好地对微观经济运行进行监测,是统计现代化改革的重要课题。作为统计业务的基础支撑,现在统计信息化面临的问题繁多,如对统计微观数据的收集、处理、存档方式陈旧,数据开发、挖掘程度落后,利用大数据技术不强,系统平台还未脱离传统关系型数据库等,以及对于现代海量数据处理跟不上发展步伐,统计时效性差,归档数据格式标准不统一,入库难、分析不够深入、监测及时性不足等问题比较突出。统计微观经济运行监测平台开辟统计工作集约化、高效化、现代化之路,是推进统计现代化改革的强大动力。面对新形势、新任务,打造“智慧统计”“高效统计”“开放统计”,是实现统计现代化的重要手段。把统计微观经济运行监测平台打造成纵向覆盖统计系统,横向涵盖政府部门的信息共享平台,具有十分重要的意义。

| 建立统计微观经济运行监测平台的必要性

(一)存储微观数据和共享微观数据的需求并存

长期以来,统计系统很多从部门获取的微观数据仍以Excel 等电子表格的形式保存于各个专业人员的电脑中,对新技术的应用仍不充分。大数据时代发展,要求政府部门数据交换和共享,特别是统计部门需要更广泛的部门明细数据,以便支撑统计分析和经济运行监测。

(二)发挥统计微观数据价值的手段

目前统计调查数据采集基本实现联网直报,解决了数据采集的低效率问题,但统计微观数据的分析、比对手段仍较为落后,成为制约充分发挥统计信息资源价值的瓶颈,不利于数据资源分析功能的发挥,需建立和完善微观大数据的现代分析手段,为发挥统计数据价值提供技术支撑。

(三)顺应统计业务现实发展的需要

目前统计报表业务愈加丰富,微观数据也越来越多,而微观数据对于地方政府行使公共管理职能和制定发展规划的重要性不言而喻,在进行数据处理时对信息系统功能的全面性要求也越来越高。为了顺应统计微观数据业务处理发展的特点,迫切需要建立统计微观经济运行监测平台。

(四)数据标准化和资源有效管理要求

在加强统计数据标准化的大环境下,需要通过对跨历史时期和跨部门数据进行规范化的汇聚、整合、清洗,创建完整、有效的管理资源方法和手段,加强对微观经济运行数据的监督和应用。

(五)提高政府对微观经济运行监测的客观需要

随着经济社会的发展,新理念、新事物、新业态的不断涌现,对政府统计工作也提出了新要求,需要各部门加强信息共享与业务协同,提升党委、政府把握经济发展动态、服务企业的能力和质量。

无论从时代发展趋势、智慧城市发展战略,还是从统计工作业务本身的基础性需要,以及提高政府微观数据共享和管理的需要来看,城市发展、社会管理和服务经济社会运行监测都对建立统计微观经济运行监测平台的必要性和紧迫性提出了现实要求。

| 平台建设相关理论与技术

(一)数据仓库技术

数据仓库是决策支持系统(DSS)和联机分析应用数据源的结构化数据环境,研究和解决从数据库中获取信息的问题。

数据仓库,由数据仓库之父比尔·恩门(Bill Inmon)于1990 年提出,主要功能是组织处理资讯系统的联机事务处理(OLTP)经年累月所累积的大量资料,透过数据仓库理论所特有的资料储存架构,做系统分析整理,利用如联机分析处理(OLAP)、数据挖掘(Data Mining)等各种分析方法,对数据做系统的分析整理,并进一步支持如决策支持系统(DSS)、主管资讯系统(EIS)的创建,帮助决策者能快速有效地从大量资料中分析出有价值的资讯,以有利于决策拟定及快速回应外在环境变动,帮助建构商业智能(BI)[1]。

(二)数据挖掘技术

数据挖掘(Data Mining),又译为资料探勘、数据采矿。它是数据库知识发现中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程,通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统和模式识别等诸多方法来实现上述目标[2]。

若将数据仓库比喻作矿坑,数据挖掘就是深入矿坑采矿的工作。毕竟数据挖掘不是一种无中生有的魔术,若没有足够丰富完整的数据,很难期待数据挖掘能挖掘出有意义的信息。将数据仓库与数据挖掘技术结合,能保证收集的数据得到最大程度的价值挖掘,从而扩展更多的分析、应用与服务。

(三)数据抽取、转换、加载技术

ETL 即数据抽取、转换和加载,是数据仓库实现过程中,将数据由业务系统向数据仓库加载的主要过程。业务系统数据源中的实体与数据仓库主题域中的实体并不是简单的一对一映射关系,而是比较复杂的多对多关系,这种映射关系构成了数据仓库系统ETL 过程的主要内容。

从功能上看,整个ETL 包括三个部分:数据抽取、数据转换和数据加载。

ETL 实现过程的流程图如图1所示。

图1 ETL实现过程的流程图

(四)指标数据存储模型

指标数据以何种方式存储,直接关系到系统对指标数据的应用程度。考虑到统计制度和统计方法的不断改进,指标的定义和统计口径也需要不断适应业务的变化。因此采用多维的方式来存储指标数据,利用多维模型的灵活性和可自定义性,以实现和统计业务的完美结合。用维度来描述计量单位、统计分组、统计范围、频度、发布范围及时间、来源部门等;度量是具体考察的数量值,可以用度量来描述各个统计指标,包括经济社会发展、资源环境、生活就业、城市建设等各大类的指标信息。通过维度和度量的结合,形成多维分析模型,来灵活构建统计指标体系。

以上工具和技术近年来在业界都有广泛的应用,且已产生明显效益,所以建设统计微观经济运行监测平台在技术上是完全可行的。

| 平台总体功能设计及业务流程

(一)设计和建设指标体系

统计微观指标体系建设是整个平台建设的基础,也是最重要的组成部分。根据平台建设要求,制定各部门的微观数据采集标准,理清数据来源、原有标准、指标含义和口径等,制定数据整合规范和标准。对采集的指标数据进行建模计算,以及经济运行监测与分析,从而进行科学测评,为政府决策提供经济运行状况的数据支撑。

(二)建立微观数据采集制度

当前,政府各部门微观数据不集中、数据获取方式不够规范,在数据采集、存储、应用等各个流程上都缺乏系统的基础性信息化支撑,存在数据处理流程不够完善,数据格式不相统一,数据存储转为分散化,数据综合开发利用效率不够高等问题。建立以统计报表为中心的微观统计制度,规范统计口径和范围,确认指标来源及相关属性,实现微观数据统计制度的在线设计、修订、发布和查询,使得统计数据和统计信息具有内在一致性,为微观数据共享和流转、交换、处理、应用奠定基础。

(三)建设统一规范的微观经济数据库

微观经济数据库作为平台将来微观数据产生、存放,以及业务数据归集的核心数据库,需要按照元数据的方式对原始数据、指标数据及其他数据进行标准化存储,并最终形成一个统一的、标准规范的微观经济数据库,实现业务数据、元数据和管理数据的统一管理、采集和存储。

(四)建设数据采集平台、数据管理平台与运行分析平台

指标体系建立完成后,通过建设数据采集平台,实现微观数据多种采集方式的指标数据、报表数据的入库,利用完善的数据管理功能,保障数据的一致性和完整性,并通过数据建模,实现主题分析、效益评价、预警分析、综合监测等多种分析服务方式和可视化分析手段,为各级政府部门提供数据运行分析平台,对经济运行进行监测和综合分析,以标准文本、图像等形式反映分析结果,用于了解、掌握经济社会发展情况。

(五)业务流程

为了确保不同部门和不同采集方式的数据,都能够协调成一个整体,为经济运行监测服务,规划业务流程如图2 所示。

图2 数据采集业务流程图

因此,为了充分发挥数据集中效率,打破部门“信息孤岛”,可以将统计微观经济运行监测平台建成微观经济社会发展运行的监测与评价中心,以促进经济社会健康发展,有效辅助政府决策。

| 平台总体技术框架

(一)设计思路

统计微观经济运行监测平台以建立微观经济社会发展相关指标体系为核心,支持从规划设计、数据采集、数据整合加工、分析应用、发布与共享到信息服务与推送的全流程的正常运转和平滑可扩展,并通过数据分析服务体系持续地、高质量地体现微观经济数据库的基础性信息资源的战略意义。

为了支持平台在功能和性能上的动态可扩展,持续满足用户不断变化和扩展的信息服务需求,统计微观经济运行监测平台建设采用多层架构,将系统逻辑上划分为数据资源层、业务支撑层、业务应用层、数据服务层等四个层次以及标准规范管理和系统运维管理两大支撑保障体系。总体体系架构如图3 所示。

图3 统计微观经济运行监测平台总体体系架构图

(二)数据资源层

本系统的数据来源包括政府各部门数据、企业数据;数据资源层主要存储通过数据采集和交换平台获取的相关源数据,从而完成政府各部门、各企事业单位各类信息的采集。通过存储按照业务管理、决策支持和数据服务等需要,构建指标体系及处理和加工后的微观数据,实现对各类数据资源的统一存储和管理。主要包括元数据库、中心数据库及备份数据库。

(三)业务支撑层

业务支撑层为上层的业务应用平台提供了应用支撑、应用整合、集成展现和应用扩展等功能,同时屏蔽了复杂的底层技术,为各类数据的采集和整合提供了方便。主要包括报表定制工具、搜索引擎、数据建模以及数据可视化等。

业务支撑层提供了可以纵向贯通各类不同层级的信息资源与上层应用之间的垂直通道,构建高效、实时、共享、准确的信息流;横向通过各类业务组件组装,满足跨部门、跨领域的信息共享和协同应用,最终达成资源共享、协同管理、多元服务的总体目标。

(四)业务应用层

业务应用层从满足多样化的应用需求出发,以科学、规范、高质量的各类微观经济社会数据资源为基础,开发实现的各类应用服务。主要包括由指标体系管理、报表制度管理、行为日志收集等组成的业务管理中心,以及由指标查询汇总、指标统计分析、整表查询等组成的应用中心。

业务应用层基于强大完整的数据资源层,构建多层次、多形式的数据应用,并通过数据服务层的平台面向各类用户提供信息服务。

(五)数据服务层

数据服务层为整个系统所建立的顶层综合平台,以创新应用模式为重点,以各类业务角色的用户为中心,汇聚信息与服务,通过不同的方式呈现给用户,从而提高信息与服务的有效性和信息增值。

数据服务层面向党政领导、政府各部门等不同用户群体,为他们提供内容丰富、形式多样、有针对性、可个性化的信息服务。

(六)建设标准规范管理体系

认真执行国家、省级政府电子政务标准体系,按照信息化的实际情况实施全方位标准化建设,以实战实效为主导,管理与技术并重,针对系统运行环境、数据和安全管理等方面可能受到的安全威胁,制定相应的安全策略和安全措施。

统计微观经济运行监测平台建成后,将充分发挥数据集中效率,打破部门“信息孤岛”,成为党委、政府微观经济社会发展运行的监测与评价中心、行业管理与服务中心,促进经济社会健康发展、有效辅助政府决策,为监测经济运行、加强行业管理、制定行业发展规划以及培育经济增长点,为政府部门、企事业单位、社会公众提供更加全面、准确、高效的统计信息咨询服务。

猜你喜欢
数据仓库经济运行微观
一季度农业农村经济运行良好
基于数据仓库的住房城乡建设信息系统整合研究
2018年1—12月成都市经济运行情况
一种新的结合面微观接触模型
2016年1—11月全市经济运行简况
分布式存储系统在液晶面板制造数据仓库中的设计
探析电力系统调度中数据仓库技术的应用
2016年1—4月全市经济运行简况
微观的山水
基于数据仓库的数据分析探索与实践