大数据应用的技术体系及潜在问题研究

◆李 锋 史慕志

大数据应用的技术体系及潜在问题研究

◆李 锋 史慕志

（中国电子科技集团公司第二十八研究所 江苏 210007）

随着科学技术手段的不断发展，大数据应用技术及系统在不断的完善，现阶段主要的大数据为应用技术云计算、计算机编程模型、大数据获取方法、大数据处理系统等等。大数据应用技术体系在实践中还是存在一些问题与不足，解决这些问题才可以完善大数据应用技术体系。对此，文章主要对大数据应用技术体系以及其潜在的问题进行了简单的研究分析。

大数据；应用；技术体系；潜在问题

0 引言

在科学技术的持续发展过程中，大数据应用的技术体系在不断的发展，其存在的潜在问题也逐渐凸显，而在大数据不断发展的过程中，必须要解决这些问题，这样才可以真正的实现智能化、集约化发展。

1 大数据应用技术体系

大数据就是涉及的资料量规模巨大，无法通过主流软件工具在合理的时间中进行处理，整理成为为企业的经营决策提供的各种咨询。现阶段，对于大数据的主流定义就是规模性、多样性以及高速性。规模性就是在数据累积到了一定的高度，无法通过主流工具对其进行处理；多样性就会对于一些要处理的数据类型，主要有结构化、半结构化以及非结构化的特征，在根本上增加了操作的复杂性；高速性就是在数据到达以及处理过程中的高效性，降低延迟性。同时，隐私性以及价值性也是大数据的重要特征因素。

1.1 云计算、计算编程模型系统

云计算属于一种经济驱动类型的发散模型，其主要工作原理就是通过一种虚拟以及动态的相关特征进行能源、平台等相关通信传输给客户。其具体如下的特征：

第一，云计算可以获得数量庞大且分布式的数据信息；第二，计算系统以及规模经济之间具有一定的关系，要根据需求进行计价分析；第三，在给客户提供基础信息服务的基础之上，也可以进行信息的存储计算处理。云计算服务的类型主要可以分为基础设施服务、平台服务以及软件服务几种类型。

计算机编程模型中较为关键的关系数据库就是MapReduce,此种技术主要就是在进行联机事物的处理、分析事物以及各种信息数据技术基础之上，通过低价的服务器对大型的数据信息进行平行处理。此种技术的主要工作原理就是将整体信息数据分为若干个子系统，通过对子系统数据信息进行整合，可以获得全新的结果。数据信息处理主要就是通过初始信息处理，利用Map对初始的Key/value进行处理，获得相关结果信息，然后，在将Reduce融合具有相同Key数值的键值，在获得结果信息[1]。

1.2 大数据获得方法

（1）利用传感器获得大数据信息

传感器的有效应用可以为大数据信息的获得提供基础保障，也可以有效的优化传感器自身的网络结构模式。传感器的网络设备对大数据信息的保存、大数据的获取均有不同的要求，处理信息数据共享问题是现阶段研究的重点。NIST与IEEE组织网络应用会议对不兼容的问题进行了分析；OGC则提出了wed的处理框架，这样就可以利用wed平台对各项信息数据进行收集，控制节点[2]。

（2）利用wed2.0获得信息数据

Wed2.0就是利用网络用户的身份转化，成为网络作者以及共建人，这样就可以将在网络上的各项活动由被动的信息接受变为信息的创造，在网络上软件的开发以及各种软件的应用就会吸引大量的点击率，可以说在大数据时代，随着网络技术手段的成熟，无疑给人们的生活带来一定的便捷。

2 大数据应用存在的问题与解决对策

2.1 人才匮乏的问题

在大数据时代其面临的主要问题就是资金以及人员的问题。大数据人才的匮乏是影响大数据市场发展的关键因素。虽然各个行业业务的数据为数据分析提供了基础条件，但是科学家数量的不足也直接的制约领导大数据的发展。

数据科学家多数为复合型的人才，是对数学、统计以及机器学习等各个领域知识的综合性掌控，可以对各项信息数据进行预测性的价值分析。对此，要加强对大数据人才的培养。

大数据的接受以及管理需要一定的基础设施以及能源，而无论是传感器还是数据中心的服务器，都必须要大量的硬件投入以及能源消耗，这对于大数据处理的财力要求严格，加强对大数据资金的服务器研究的投入，对投资资金的比例进行分析，是现阶段大数据应用中必须要解决的问题。

2.2 安全与隐私问题

大数据在发展中面临着一定的安全以及隐私问题。随着社会经济的发展，传感器以及摄像头等设备数量在不断的增多，这样就会在一定程度上对人们的位置信息进行记录、监视，通过对人们海量信息数据的分析，就可以了解人们的出行、消费等规律，这样就会在一定程度上威胁人们的生命以及财产安全。

同时，随着云计算的不断发展，云设施具有经济性的特征，这样就会在一定程度上给僵尸网络的发展带来了契机，增加了密码系统破译的几率。而因为云计算的不断发展，使得人们对于计算机越来越依赖，将个人的信息、工作信息等存储在网络之上，这样就会增加信息泄露的几率。

为了解决信息安全性的问题，一些学者提出了K-匿名的方法，将自己与周边的用户组成一定范围的具有集合性的UI性，请求位置服务，可以模糊自己的精准定位；一些学者提出通过对周边K-1的用户位置信息进行搜集整理，通过其中一个信息名义发送位置请求服务，可以实现隐藏坐标的效果。一些学者通过将集中信息流控制以及差分隐私保护等方式，将其融入到数据生成以及计算的阶段中，提出了保护隐私系统，通过隐私保护系统避免在计算中将一些非授权的隐私信息数据泄露，支持对计算结果的自动除密，这样可以有效的避免定位信息泄露等问题的出现[3]。

而苹果则研发了电子分析污染技术，此技术在应用上可以将用户在苹果产品中产生的各项行为信息数据进行污染以及混淆处理，这样就降低了信息泄露的几率。这些加密措施与手段主要的原理，就是在加密手段无法保护个人信息的时候，通过冗杂的信息干扰有效的信息，这样就会增加信息窃取的成本，进而降低信息泄露的几率[4]。

2.3 影响IT行业的生态环境以及产业链变革

在传统的网络公司运营中其主要的模式就是在自己的服务器上对产品以及服务进行管理，通过网络连线的方式为用户终端提供信息，其产生的数据信息属于公司。而在大数据时代，服务公司会通过第三方平台进行业务信息的存储，也就是说用户提供数据，服务方处理信息数据而数据的存储则在第三方。大数据对IT产业链的影响主要就是数据资源、应用软件以及基础设施三个内容。数据资源中，各个信息中心、通信运营商等要对大数据技术进行研发与应用，充分的培育专业的人才，完成数据资源收集以及产业开发；而在软件方面，随着高性能云平台的不断成熟，云应用软件也会不断的成熟，这样就可以提升网络应用服务的质量与效果。

3 结束语

科学技术手段在不断的发展中，计算机网络信息技术在人们的生活中越来越重要。随着无线网络以及智能手机、移动设备等无限网络的不断普及，人们逐渐进入到了大数据时代，构建完善的大数据应用技术系统，完善大数据处理系统，才可以真正的实现网络化以及信息化的发展趋势，加强对大数据应用技术体系以及潜在问题的分析，综合实际状况的有效应对，才可以真正的推动其持续发展。

[1]靳琦. 大数据应用的技术体系及潜在问题探讨[J]. 电子技术与软件工程, 2015.

[2]窦万春, 江澄. 大数据应用的技术体系及潜在问题[J]. 中兴通讯技术, 2013.

[3]胡辉, 陈伽, 胡松,等. 分析大数据应用的技术体系及潜在问题[J]. 电子技术与软件工程, 2016.

[4]何友，周伟. 海上信息感知大数据技术[J].指挥信息系统与技术, 2018.