高速公路大数据处理现状与挑战分析

吴顺刚

贵州高速公路集团有限公司，贵州 贵阳 550000

高速公路大数据处理现状与挑战分析

吴顺刚

贵州高速公路集团有限公司，贵州 贵阳 550000

高速公路有着“经济大动脉”的别称，在全国的公路网中占据着十分重要的地位，并发挥着极为重要的作用。通常情况下，在高速公路日常运营的过程中，每天都会有大规模的数据产生，且这些数据的增长速度越来越快，给数据的分析与储存带来了严峻的挑战。其中，高速公路大数据主要是由异构的、海量的数据构成。因此，如何高效、科学、合理地对这些大数据进行正确访问、分析、储存，以便能更好地为交通提供高效的服务，已成为了一个迫切需要解决的客观性问题。基于此，主要对高速公路运营的过程中所产生的大数据来源、具体特点进行了讨论，并对大数据的相关处理技术、数据的意义以及将会面临的一系列问题与挑战等进行了深入探究。

公路桥梁；养护；措施

引言

随着我国经济的发展，高速公路运输正朝着现代化和智能化的方向发展。为了使高速公路交通在出行服务、安全应急等方面得到更好地发展，必须注重对相关的大数据进行深度分析，以便从中获得更多的信息，真正实现数据为决策者服务的目的，并使高速公路的管理能力与运营效率得到大幅度提升。

1 大数据的来源

（1）视频监控系统数据。指的是高速公路收费站、隧道内以及道路两旁设置的监控摄像头所产生的大量视频数据。（2）传感器数据。高速公路上分布着大量的标识站、路感线圈，且在收费站的入口与出口处安装了RFID传感器，能够感知行经车辆，从而产生源源不断的数据。（3）应用系统数据。高速公路收费站的管理软件、各路公司以及收费站所运行的稽核软件、12122呼叫系统等也在不断生成数据。（4）联网收费软件数据。各条高速公路上均存在相当数量的收费站，且各个收费站的收费车道均有数十条不等，收费车道上运行收费软件同样生成了数量庞大的数据。

2 高速公路大数据的特征

（1）高速性。即处理数据时应确保高效。例如收费站应及时将收费数据传输至结算中心，对于拥堵路段，系统应准确快速地获取相关信息并进行分析。（2）价值密度低。尽管数据量庞大，但有价值的数据并不多。视频监控系统每天都会生成众多数据，但有用的数据仅为几分钟或几秒，故通过对异常数据的分析有助于对路网的异常现象进行判断[1]。（3）多样性。高速公路所生成的数据种类丰富，有结构化数据、非结构化数据、视频数据及其他相关信息等，如交通管制、安全事件、交通环境、天气状况、地质灾害等。（4）规模庞大。笔者选择四川高速进行说明，每天经收费站的车辆至少为 200万量，且监控系统会对车辆进行拍照，图片大小为500KB/张。因此累积的图片数量约为300TB/年，且随着社会的发展，相关数据也在不断增加。

3 大数据的相关处理技术

（1）大数据研究的意义。随着时代的发展，人们可以借助大数据实现宏观、持续地分析，从而挖掘更多的知识，进而为其决策提供依据与支持。

作为最早使用大数据的一大企业，沃尔玛在大数据方面进行了较大的投资，并获得了较大的回报。其运用大数据分析Carlie Brown与Source两大超市消费者的购买意向时，发现其意向正逐渐转向高档品，因此，沃尔玛及时地对两家超市的库存进行了调整，从而使销售业绩获得了40%的提升[2]。而在我国，淘宝每天的数据量均高达10 TB，且其每年双十一的成交额均高达上百亿，之所以会获得如此优异的成绩，离不开其对数据（历史数据、搜索习惯、消费习惯等）的分析。众多现象表明，电子商务领域与大数据有着密切地关联，其成功运营离不开大数据分析。因此，在交通运输领域同样应强化对大数据的应用，从而加快高速公路的现代化与智能化，使安全预警、交通疏导等工作得以更好地进行[1]。

（2）并行数据库。该数据库始于上世纪80年代，主要借助关系的形式来对结构化数据进行存储，均支持SQL语言。借助SQL，能够使并行数据和外界进行良好地交互。并行数据在过去的三十多年内获得了较大的发展，目前，其功能也在日益增多，但是高速公路网正逐年扩大，其生成的数据已超越了并行数据的处理范围，且在处理非结构化数据方面，并行数据存在一定的缺陷，究其原因主要是扩展性偏差。

（3）云计算。该技术由网络计算、并行计算、分布式计算发展而来，数据的并行处理与海量数据存储是其核心，该技术具有较强的可行性。云计算的数据存储技术包括两种：一是Hadoop的HDFS，功能与DFS类似，属于开源系统，众多互联网公司（淘宝、雅虎等）均使用该系统。二是分布式文件系统GFS，该系统属于应用经济性服务器创建的集群，且拥有高扩展性、高可用性以及高性能的特点，然而不开源。

为了能够对大数据进行更好地处理，应采用特定编程模型，2004年Google研发的MapReduce有效地使分布式编程简化，系统能够完成任务调度以及各类复杂的并行处理，程序员仅需关注程序逻辑的实现。用户在编程时仅需实现Reduce函数与Map 函数，前者指的是处理分块数据，后者则指定需处理的数据块。MapReduce框架能够对数据实施自动分块、调度以及执行。借助MapReduce与GFS，Google每日能够处理20PB数据，利用 MapReduce能在多方面（商业智能分析、日志分析、数据分析等）实现极佳的效果。

4 机遇和挑战

（1）大数据存储。尽管Hadoop中的HDFS系统可用于高速公路所生成的大数据的存储，然而却无法满足其实时性需求，故应对有关数据实施分类，以多种形式进行存储。对于实时性有较高要求的数据，应将其存储至实时数据库内，而业务数据、对实时性并无太高要求的数据则应将其存储至并行数据库。众多非结构化数据、历史数据则应存储至HDFS系统内。此外高速公路网记录的大数据具备数据生成较快的特点，并对分析响应具有较高的要求，故应研究此类数据的存储方式，以便展开后续分析。（2）展现大数据。经分析后的高速公路大数据，能将多方信息传达给用户，作为数据处理的最后一大环节，使信息以有效直观的形式呈现出来是一件极具挑战性的事情，若缺乏良好的用户体验则会降低系统的实用性。故在对人机交互界面进行设计时，应注重设计的科学性[2]。

5 结语

本文就高速公路网所生成的大量数据的分析方法与存储方式，如实时数据库、并行数据库、云平台等，实时数据库、并行数据库处理大数据时具有迅速、高度扩展性、成本较低等特点，实现了海量存储与实时处理的目的。然而在我国大数据仍处于起步阶段，尚未对大数据进行应用。因此在大数据的存储、可靠性分析以及实际运用方面仍面临较多的困难与挑战，高速公路网所积累的众多数据所采用的存储模式资源利用率、大数据处理、抗风险等方面仍有较大的发展空间。故值得相关人员进行进一步的探究，从而推进高速公路大数据的使用。

[1]林艳.大数据在我国高速公路中的应用探讨[J].北方交通，2016（5）：162-164.

[2]曾海祥.大数据时代的高速公路运营[J].新经济，2015（20）：89.

Analysis on the Present Situation and Challenge of Large Data Processing in Expressway

Wu Shungang
Guizhou Expressway Group Co., Ltd., Guizhou Guiyang 550000

Highway has the name of “economic artery”, which occupies a very important position in the national highway network, and plays a very important role.Usually, in the process of Expressway daily operation, every day there will be massive data, and these data is growing faster and faster, has brought serious challenges to the storage and analysis of data.Among them, the highway big data is mainly composed of heterogeneous, massive data.Therefore, how to efficiently and scientifically and reasonably correct access, analysis and storage of these large data, in order to provide better and efficient services for transportation, has become an urgent need to address the problem of objectivity.The specific characteristics of large data sources, this paper mainly produced in the process of expressway operation are discussed, and the related processing technology, on the face of big data and the significance of the data will be a series of problems and challenges in-depth research, the specific content of inquiry for the following exposition.

highway bridge; maintenance; measure

P208

A

1009-6434（2017）3-0145-02