面向智慧城市的公共数据平台构架探索

2015-10-22 08:10
智能建筑与智慧城市 2015年8期
关键词:公共数据虚拟化数据中心

王 超

(上海电科智能系统股份有限公司)

面向智慧城市的公共数据平台构架探索

王超

(上海电科智能系统股份有限公司)

近年来,智慧城市愈加受到了各方关注。政府、企业及研究机构从各个角度进行探索实践,论文从公共数据平台的角度进行分析,首先对智慧城市背景及近况进行简述,其次梳理了传统数据中心的发展脉络,解析了公共数据平台的关键技术,最后提出了面向智慧城市的公共数据平台的建设路径和逻辑框架。希望能对业界同行提供一定借鉴。

智慧城市;数据平台;信息系统;构架探索

1 引言

一般认为,“智慧城市”由IBM公司“智慧地球”延伸而来[1~2]。国内自2012年前后起开始自主建设智慧城市,迄今为止仍处于探索中。

公共数据平台能把抽象的智慧城市具体化,是智慧政务、智能交通、智慧医疗等的枢纽所在,是除了行业建设之外又一个潜在的引擎。为此,研究面向智慧城市的公共数据平台很有必要。

2 智慧城市的进展

2.1历史背景

国内自20世纪90年代初起,启动了以“金字工程”为代表的大规模信息化建设[3]。其主要节点概要如图1所示。

梳理信息化脉络,可以划分1993—1997年为第一阶段。以信息化联席会议和金字工程启动为标志,信息化正式起步。第二阶段1998—2000年,首次信息化会议召开及建设思路确定,从应急式建设转入有组织有计划建设,期间信息产业部成立。第三阶段2001—2007年,“两网一站四库十二金”大规模建设,期间制订了第一个信息规划和中长期信息化战略。第四阶段2008至今,金字工程逐渐结尾,工信部成立,提出两化融合战略,同时“智慧城市”、“互联网+”等新理念出现。

在智慧城市方面,地方政府陆续发布了建设规划,住建部等也单独出台了建设意见[4,5]。2014年8月,发改委联合多部委发布《关于促进智慧城市健康发展的指导意见》。截止目前,金字工程与智慧工程的衔接问题在政策面初步取得突破,信息化1.0向2.0的跨越有了政策和理念的初步支撑。

图1 国内信息化建设里程碑

2.2国外思路

新加坡提出了建设“智慧国”,并选在裕廊地区示范。纽约提出建设城市数据中心,开始数据开放、市长仪表盘、市长智能办公桌等探索。欧洲,如西班牙桑坦德、瑞典斯德哥尔摩、德国等地建设思路特别,即比较注重市民感受[6,7]。

3 传统数据中心的发展

3.1数据中心的代际特点

经过40多年的发展,数据中心的形态和内涵也在不断的演进,如表1所示。

3.2数据中心的等级划分

数据中心等级存在明确的标准,包括工信部的标准、住建部的标准。

工信部标准侧重机架规模,分为超大型、大型、中小型,其中超大型是指标准机架数量大于等于10 000个。住建部标准则侧重公共影响,分为ABC 3个等级,其中A级指系统运行中断会造成重大的经济损失或造成公共场所秩序严重混乱。

3.3数据中心业务构成

数据中心建设,可抽象成基础设施、系统集成和业务应用3层,如表2所示。

表2 数据中心建设层次

1)基础设施层中,电气系统是重点之一。电气系统包括配电系统、照明系统、接地系统、防雷系统等。

2)系统集成层中,网络通信及安全、服务器及存储为关键项之一。网络通信及安全包括综合布线、语音通信、图像通信、网络安全等。服务器建设分为基础服务系统服务器和应用服务系统服务器。前者有DNS服务器、网络管理服务器、防火墙服务器、安全服务器、系统性能监控服务器等;后者包括数据库服务器和业务应用服务器等。数据存储包括磁盘、光盘和磁带等,对应磁盘阵列、光盘库和磁带库。

3)业务应用层则变化不一,从逻辑上包括数据采集、存储、处理、应用等。

图2 数据中心结构变化示意

3.4数据中心的趋势

当前,数据中心发生着显著变化,即向为IAAS、PAAS、SAAS方向发展。变化的背后动因包括资源的共用、数据的激增和应用的牵引等。此趋势下,原独立建设运营的数据中心各业务层向公共数据平台的IAAS、PAAS及SAAS演变,如图2所示。

4 公共数据平台的关键技术

建设智慧城市公共数据平台,涉及技术广泛,包括云计算、大数据、新型网络结构等。

4.1云计算

云计算的源头来自亚马逊和谷歌公司。2006年亚马逊公司为应对后台系统峰值压力,配置了大量硬件设施。峰值过后这些设施变成了富余资源,因此,亚马逊决定向社会出售以IT基础设施为载体的信息存储、计算资源。同年,谷歌正式提出“云计算”概念。

美国国家技术与标准局提出的云计算架构如图3所示[8]。其公有云、私有云及混合云的部署模式,基础设施、平台及软件云服务模式,按需服务、弹性、资源池及虚拟化等理念已在行业内广为流行。

1)基础设施即服务。通过虚拟化技术把服务器、网络、防火墙、负载均衡设备等硬件资源进行虚拟,构筑在远端的“云”中,供用户远程调用。如此,把信息的存储、计算及管理等当作资源进行出售。此时,用户省去了建设运营管理任务,而是改建为租。

虚拟化技术起源于对大型机的硬件分区,它将CPU、内存、硬盘等物理资源进行逻辑抽象和统一表示,使用户可以根据需要灵活地远程部署管理等。包括服务器虚拟化、存储虚拟化、应用虚拟化、平台虚拟化、桌面虚拟化等。

2)平台即服务。在屏蔽硬件资源的基础上,对用户提供运行环境、数据库、消息、虚拟操作系统等,以形成软件集成环境。如此,解脱了开发者的繁琐负担,也方便了用户使用。目前,Google App Engine、Windows Azure是其典型代表。

3)软件即服务。这种应用模式中用户可以通过各种终端对各类应用开展使用、运营业务,而无需关注软硬件资源。多租户和可配置是软件云服务模式最大特点。强差异性的多租户改变了传统软件架构的单一性和开发流程。

概念上分为3层,现实中IAAS、PAAS和SAAS往往融于一体。实际工程中进行云化改造或全新建设时,需要根据基础设施、平台及软件的市场成熟程度从底层逐层分步推进。

图3 美国国家技术与标准局提出的云计算架构

4.2大数据

智慧城市将面临海量异构数据的挑战。在解决海量异构数据的“大数据”技术体系中,Hadoop最有代表性。Hadoop是一种针对密集数据的分布式处理平台[9~10]。基础是分布式文件系统HDFS和分布式处理系统MapReduce。而MapReduce是一种并行计算模式,适合处理各种类型的数据,包括结构化、半结构化和非结构化数据。分Map、Reduce两阶段,Map分解任务并行计算,以key和value形式提取数据特征,Reduce阶段进行结果归并。

大数据还处在快速发展中,目前并不成熟。大数据的各个技术模块都有各自擅长解决的问题,但构建一个大数据解决框架,HDFS、MapReduce、Hbase等是基础模块,如图4所示。

图4 大数据解决框架

4.3网络结构

目前,数据中心的网络结构主要由接入层、汇聚层和核心层构成,整体上呈树状结构,此种结构将不适用于面临海量数据、采用云计算方式的公共数据平台。

公共数据平台网络拓扑方案因应中心数据流量的变化,主要包括两类:以交换机为核心的拓扑方案和以服务器为核心的拓扑方案[11,12]。

5 智慧城市的公共数据平台

5.1建设的路径

犹如信息化1.0中各金字工程,从建网络、搭平台开始,信息化2.0的智慧工程也理应从基础平台做起,包括泛在网络、公共数据平台等。

数据平台虽是公用的,但不应大而化之,一城一座。目前,存在两个方向:一是按照政府思路,区县—地区—省级,此中涉及的多为政务及公用事业类数据信息;二是市场思路,由行业公司或商业机构推动构建区域数据中心,此中个人及商业数据信息居多。具体而言,前者如图5所示。

5.1.1按政府思路构建数据平台的特点

1) 目前试点主要是在区县一级。此一级构建的是公共云数据实体,各行业虽有多年信息系统建设积累,但属于尾端。在此一级建设实体具备条件。

2) 省一级暂时没进入公共数据平台的实质阶段。在此层级,存在众多行业数据中心,选择虚拟公共数据平台,而非实体可能性更大。但城市类型规模众多,也不能一概而论。

3) 在政府思路中,目前信息化建设主要在行业“条”中,而非地方“块”中,因此各行业实体,包括交通、医疗、教育、电力、市政等都汇聚在各行业专网中,从最底层至部委最高层。

5.1.2按市场思路构建数据平台的特点

面向市场的公共数据平台构建由行业公司或商业机构推动,如图6所示意。

此种大型区域公共数据平台由包括银行、零售、通信、互联网等机构建设。在每个区域数据中心周围聚集了众多用户或终端。相对而言,由于市场具有灵活性,此类云化的数据平台步伐更快。

在“智慧城市”的涵义下,侧重于第一种路线,毕竟目前的主体空间在此。可以预期后续建设路径大体如图7所示。但这是理想的情况,实际应是非线性的,各个阶段齐头并进又参差不齐。

图5 公共数据平台建设路径之一

图6 公共数据平台建设路径之二

5.2公共数据平台的框架

初步构建的面向智慧城市的公共数据平台逻辑框架,如图8所示。

底层基础架构由新型网络提供网络通信支撑,设施设备部分涵盖部分或全部硬件资源,重点进行虚拟化和并行集群建设。虚拟化实现基础资源的云化,并行集群是大数据应用的基础。应用平台层提供开发和应用的环境。SAAS对应的应用层“智慧中枢”暂时留白,因为顶层的构思规划牵动着商业模式,也与具体的机构业务和数据紧密联系。

6 结束语

智慧城市建设目前正处在探索期,公共数据平台是其潜在的引擎。面向智慧城市的公共数据平台以现有行业数据中心为基础构建虚拟共用数据平台可行性更高。公共数据平台由面向终端用户的智慧中枢层、应用平台层及基础架构层共同组成,其中基础架构中资源虚拟化和大数据处理是核心。

图7 智慧城市公共数据平台建设路线

图8 面向智慧城市的公共数据平台逻辑框架

[1]工业与信息化部软件与集成电路促进中心.IBM“智慧地球”的解读与分析[R], 2009.

[2]岳梅樱. 智慧城市实践分享系列谈[M].北京:电子工业出版社,2012.

[3]郑永年. 技术赋权:中国的互联网、国家与社会[M].台北:东方出版社,2014.

[4]上海市推进智慧城市建设2011-2013年行动计划[OL], 上海政府信息网,2011.

[5]国家智慧城市(区、镇)试点指标体系[OL],中国智慧城市网,2014.

[6]庄庆维.新加坡“智慧国2015”进行时[J],上海信息化,2013.

[7]智慧城市解决方案及全球案例分享[EB].甲骨文公司,2012.

[8] 罗军舟,金嘉晖,宋爱波,东方. 云计算:体系架构与关键技术[J],通信学报,2011,32(7).

[9]孟小峰,慈祥.大数据管理:概念、技术与挑战[J],计算机研究与发展,2013,50(1):146-169.

[10]王珊,王会举,覃雄派,周煊.架构大数据:挑战、现状与展望[J],计算机学报,2011,34(10):1741-1752.

[11]Parthasarathy Ranganathan, JiChuan Chang. Designing Data-Centric Data Centers[J],IEEE Computer Society,2012.

[12]邓罡,龚正虎,王宏.现代数据中心网络特征研究[J],计算机研究与发展,2014,51(2):395-407.

Exploration of Public Data Platform Architecture for Smart City

WANG Chao
(Shanghai SEARI Intelligent System Co.,Ltd)

smart city; data platform; information system; architecture exploration

【 Abstract】 In recent years, more and more attention were paid for smart city in all involved. Much exploration and practice were carried out by governments, enterprises and research departments from various angles. The paper analyzes smart city from public data platform,at first describes the background and the latest development shortly, then arranges the development process of traditional data center and analyses the key technologies, at last put forward the construction path and logic frame of public data platform for smart city. It maybe provides some reference for industry peers.

猜你喜欢
公共数据虚拟化数据中心
酒泉云计算大数据中心
公共数据授权运营机制探索
公共数据治理中的价值实现机制
公共数据归属政府的合理性及法律意义
浅析数据中心空调节能发展趋势
公共数据开放许可的规范建构
关于建立“格萨尔文献数据中心”的初步构想
基于OpenStack虚拟化网络管理平台的设计与实现
对基于Docker的虚拟化技术的几点探讨
浅析虚拟化技术的安全保障