比较视域下大数据技术的社会功能探析

苏玉娟

（中共山西省委党校，山西 太原 030006）

数据作为人类认识事物的工具、基础和依据，包括数值、数字等结构性数据和图、表、文字等半结构性和非结构性数据。我们可以根据人类对于数据存储、分析和挖掘能力的不同，将数据分为小数据与大数据，小数据主要指简单的结构性数据，数据量比较低。目前，对于大数据并没有准确的概念，主要指包括半结构性和非结构性数据在内的数据，数据量比较大，应该是大字节。从数据发展史看，小数据技术主要处理实验、测量、观察、调查和计算等结构性数据，并且数据存储量低且处理速度比较慢。大数据技术包括数据收集、存储、分析、挖掘到可视化等一系列技术。“大数据具有四个特征：巨量、多样、高速和真实”［1］。大数据技术彰显了存储数据的巨大量、处理数据的多类型、处理速度的超快化，通过对数据存储、挖掘和可视化可以创造新的知识和新的价值。大数据技术已被应用于公共管理、金融、医疗、交通、互联网和通信等领域。小数据技术与大数据技术不是彼此分开的，而是互为补充。

一、存储功能：小数据存储与大数据存储

从存储功能看，小数据技术主要存储观察、测量和记录的结构性数据，存储容量较低。大数据技术解决了积聚增长数据的存储问题，实现存储量的激增与存储成本的下降。

（一）数据存储技术的变革为数据从结构性数据扩展到半结构性和非结构性数据提供了技术支撑

在计算机技术之前，人类存储观察和测量数据主要依靠传统的印刷术，计算机技术的发展使数据存储依靠软硬件的容量，存储能力多是低于TB级的，不同数据库之间缺乏共享，信息孤岛比较明显。进入数据化时代，各种数据每年50%的速度激增，每两年将会翻一番。大量的数据来源于网络数据、政府数据、企业数据、基于传感器的物质空间数据等。大数据技术采用了PC服务器架构集群和分布式平台，大大提高了数据的计算和存储能力。PC服务器架构集群的每个节点同时承担计算和存储的角色，分布式平台利用多台计算机来协同解决由单台计算机不能解决的问题，各主机之间通过高速的内部网络进行连接，对外提供硬件、软件、数据和服务共享。

（二）数据存储成本不断下降，有助于大数据技术的推广应用

每一次科技革命在推动社会进步的同时，不仅具有技术优势，而且具有成本优势。蒸汽机革命和电力革命实现了生产的机械化和电气化，大大提高了生产的效率。“传统的数据处理架构包括服务器设备、存储设备以及必要的组网设备。”［2］6数据的存储容量比较低，服务器价格比较高，维护成本也较高。大数据技术作为新技术革命具有成本优势。大数据技术的发展符合摩尔定律。摩尔定律指同一个面积的集成电路上可容纳的晶体管数目一到两年将增加一倍，但是其成本不断下降。1993年购买1兆字节的存储量需1美元，2010年这个价格下降到不足1美分。大数据技术通过使用廉价的PC服务器构建集群，大大降低了存储的成本，使全世界数据存储越来越快、越来越方便和便宜。

二、挖掘功能：信息生产与知识生产

从挖掘功能看，小数据技术侧重信息生产，而大数据技术侧重知识生产。

（一）数据挖掘技术的变革为数据从信息向知识转换提供了技术支撑

“数据是信息的载体，信息是有背景的数据，知识是呈现规律的信息”［3］。如0是个数据，0被赋予水结冰的临界温度的意义，数据转换成信息。在信息基础上提炼形成知识，即水到0度临界值时会结冰。小数据时代，数据来源于对客体的观察、测量和记录，数据被赋予意义形成信息，实现了数据生产向信息生产的转换。由于每个数据库处于独立状态，每个数据库都是一个样本。从技术层面看，单个样本只是反映个体某个维度的实在性，无法实现对事物多维度、多层次和全样本的分析，进而不能形成反映事物客观规律的知识。如果要实现信息转换成知识，必须借助人的主观归纳、实证分析、理论概括和计算模拟等方法。

大数据时代，数据仓库、联机分析和挖掘技术使数据成为可以参与计算的变量，实现信息生产向知识生产的转换。数据挖掘依靠与某事物相关的所有数据，而不是依靠少量的数据样本，这就要求必须能够实现不同数据库之间结构性、半结构性和非结构性数据的聚集、整合及多维度分析，数据仓库和联机分析解决了数据整合与多维度分析问题。“大数据时代的数据仓库与传统小数据时代的数据库最大差别在于前者以数据分析、决策支持为目的来组织存储数据，而数据库的主要目的则是为运营性系统保存、查询数据。”［4］92联机分析实现了对分立的数据库相连并进行多维度透视。数据挖掘技术通过关联分析、聚类分析、分类和预测等环节将所有数据转换为可以参与计算的变量，在技术层面上实现了对事物总体数据的挖掘。数据挖掘具有两个方面的目的，“一是要发现潜藏在数据表面之下的历史规律，二是对未来进行预测。”［4］99而历史规律正是知识的重要体现，预测被证实是客观存在的，将成为新的知识。可见，在技术层面上，数据挖掘技术实现了数据从信息向知识的转换。

（二）数据挖掘技术使知识生产与使用更公平、更便捷、更便宜，为数据转换成知识提供了现实条件

小数据时代，数据资源被不同主体所拥有形成数据壁垒，数据使用不公平；同时，数据的使用必须在特定的软件和硬件环境下，使用不方便；信息量的积聚增长，软硬件需要不断升级，产生比较高的运营成本。大数据技术借助云计算，无论个人、公司和政府都能公平利用大数据，为数据转换成知识提供了公平的机会。通过分布式平台，个人、企业和政府获取数据方式从特定环境到随时随地极为方便。数据的消费模式从固定支出到按需付费，从买计算机到买计算，从买服务器到买服务，使知识使用更便宜。正是数据挖掘技术提供的机会公平性、使用便捷性和付费合理性，为数据转换为知识提供了现实条件。

三、可视化功能：信息查询与知识易用

从可视化功能看，小数据技术主要用于信息查询，大数据技术主要用于知识易用。

（一）可视化技术的变革为信息查询向知识易用转换提供了技术支撑

“数据可视化指以图形、图像、地图、动画等更为生动、易为理解的方式来展现数据的大小，诠释数据之间的关系和发展的趋势。”［2］100传统小数据时代，数据库的建设主要目的是便于数据存储和查询，可视化技术主要便于信息查询，如对不同时段列车时刻表的查询。大数据时代，数据挖掘技术获取的知识多是零乱复杂的，抽象的。为便于民众理解和易用，必须将知识转换成民众容易理解的图形或文字。数据可视化技术实现了对挖掘结果从点线图、直方图、饼图、记分板到以交互式的三维地图、动态模拟、动画技术等的转换，实现知识的理解与应用从专家群体走向大众，扩展了知识的理解与应用范围。

（二）可视化技术实现了知识的共享与发展

小数据时代，由于信息开放程度的不同，信息查询有一定的局限性，如企业内部的局域网仅限于企业内部员工的查询。同时，信息查询过程并不产生新的信息。大数据时代，可视化技术不但使用户可以根据自己的需要整合数据，而且可以将自己可视化设计和对比图分享给其他用户，实现知识资源的共享，为大众创新和社会创新提供了共同的平台。与此同时，可视化技术实现了知识的螺旋式发展。一旦用户将自己可视化设计和对比图分享给其他用户，其他用户在此基础上进一步创新，形成新的知识。

四、管理功能：管理信息化与管理数据化

从管理功能看，小数据技术实现管理信息化，而大数据技术实现了管理数据化。

（一）要素数据化引领管理从信息参考走向数据决策

小数据时代，管理主要依靠经验、标准化模式和信息价值。经验管理带有主观性，管理效率比较低。泰勒创立的标准化管理将管理建立在冰冷的制度基础上，一定程度上提高了管理效率。信息化管理是一个由人、机等组成能进行信息的收集、传递、储存、加工、维护和使用的系统。利用对信息的管理在合适的时间向经理、职员以及外界人员提供有关企业内部及其环境的信息。信息管理比起经验管理和标准化管理更具有科学性，但是信息化只能为决策提供信息参考。大数据时代，云计算的重点在于通过资源的快速组合，来满足业务转型、业务拓展等不同需求，也就是说云计算能够做到自组织和自适应，实现数据系统的结构与业务需求的耦合，提高企业或政府管理的精准度，为决策提供数据支撑。目前，零售业利用大数据的硬件和软件环境，能够快速、精准地响应客户需求，为企业提供决策服务。金融业可利用大数据技术高处理能力和快速实现能力，能够精准预测客户的信用度，实现智能决策。交通行业利用大数据，可以精准确定交通方案、出行方案等。

（二）流程数据化引领管理战略从产品转向服务

小数据时代，无论经验管理、标准化管理还是信息管理主要侧重企业内部系统。如信息管理系统主要服务于企业内部产品生产流程，将更多精力用于保障IT系统的性能和可用性，保障数据和其他信息资源的完整性，保护信息系统的安全性。大数据时代，大数据技术不再依赖于传统的IT系统程序，而是通过分布式平台将企业主要的精力用于服务流程，通过对用户产生的数据实现即时存储和即时挖掘，提高服务水平，真正实现企业管理从基于IT的产品战略转向商业导向的服务战略转型。

（三）管理数据化具有成本优势

降低成本是提高管理效率的重要途径。大数据技术与小数据技术相比，大大降低了管理成本。企业信息管理系统需要相应的硬件和软件系统的支撑，并且要根据企业发展软硬件需要不断升级，维护费用也比较高。大数据技术的数据管理成本相对比较低。一方面，数据库向数据仓库的转变，实现了多部门、多主体对数据资源的共享，避免重复收集数据，降低了数据收集的成本。另一方面，云计算代表了世界对于数据的管理从以占有为标志的市场经济向以接入为主的网络经济和共享经济转变。企业如果不使用私有云，而是从服务商处租用计算能力、存储空间按使用付费，这就使企业在没有预付资本投资情况下使用计算资源，大大降低了企业对固定资产的投入，与此同时也减少了维护成本。政府作为社会数据管理的重要主体之主，“政府必须在理念层面、技术层面、保障层面积极回应大数据时代提出的新要求”［5］。

五、启 示

通过对小数据技术与大数据技术功能的比较，可以看出大数据技术在数据存储、知识生产和应用、管理效能等方面都优于小数据技术。为进一步推动大数据技术的发展，我们需要从以下几个方面进行创新。

（一）充分认识到大数据技术是对传统数据技术的补充和发展

其一，大数据技术促使数据量积聚增长。小数据技术的数据主要来源于观察、测量和记录数据，大数据技术数据来源不仅包括小数据，而且包括积聚增长的半结构性和非结构性数据。“当数据洪流席卷世界之后，每个人都可以获得大量数据信息，相当于当时古代所有的知识总量的320倍。”［6］。其二，大数据技术使人类对数据的认识从测量、存储、查询走向存储、挖掘和可视化，大大提高了数据的价值。小数据的价值体现在对信息查询所获得的价值，大数据的价值体现在知识的创造与应用。也就是说小数据技术实现了数据生产向信息生产的转换，而大数据技术实现了信息生产向知识创造与应用的转换，数据价值从信息价值跃升到知识价值。

（二）提高社会对大数据技术功能的认知度

大数据技术功能的发挥离不开社会的支撑。与技术层面的变革相比，社会层面的变革更加缓慢。从现实看，很多人并不理解什么是大数据，更不理解大数据的功能。社会对大数据认知度比较低，影响了大数据技术功能的发挥。为此，一方面，借助网络、报纸、图书、宣传栏等途径提高民众对大数据技术的认知能力。并通过多种媒介宣传和推广大数据技术应用的典型案例，使民众认识到大数据技术的力量。另一方面，通过云平台发布的数据，引领民众生活方式走向数据化，进而提高民众对大数据技术的认知能力。随着大数据技术的发展，大数据技术已被广泛应用于与民众生活紧密相关的贫困、失业、医疗健康、生态环境、公共安全、教育等领域，通过公共平台引领民众生活方式走向数据化，提高民众对大数据的认知能力。

（三）辩证地看待大数据技术的功能

目前，有些人将大数据看做是解决一切问题的良丹妙药，过分渲染大数据技术的功能，甚至将人物化为数据的“奴隶”。还有一些人悲观地看待大数据，认为大数据可能引起国家、企业及个人信息的泄露，而产生对数据的人为垄断，形成信息孤岛。为此，我们必须要辩证地看待大数据技术，防止两种倾向的产生。首先，充分发挥人的主观能动性。“有了大数据，并不代表解放了人类的大脑，大数据是人类走向完美决策路上的一个工具，合理分配人脑和数据在决策中的比例尤为重要。”［7］大数据技术存储、挖掘、可视化、管理等功能的彰显离不开人的主观能动性的发挥。大数据技术的存储方式无论借助公有云还是私有云需要人去做选择，数据挖掘、可视化和管理程度与人类对大数据的认知和应用程度紧密相关。大数据提供的不是最后答案而仅是参考答案，其价值的进一步彰显需要发挥人的主观能动性。其次，加快制度创新，规避大数据技术可能带来的安全问题和伦理问题。对于数据开放的程度及应用的程度需要有具体的法律和制度规定，对于恶意侵犯他人隐私的数据信息需要有相应的惩罚机制。只有转变思维，才能构建开放的、流通的和互联的大数据。

（四）加大对大数据技术人才的培养

每一次科技革命发生的过程同时也是人才结构变革的过程。蒸汽机革命出现了大批的产业工人，信息技术革命产生了大批的计算机专业人才和信息管理人才。大数据技术功能的发挥离不开大数据研发人才和管理人才的支撑。大数据技术在我国处于高速发展阶段，这方面的人才更缺乏。为此，我们需要在大学专业设置、课程设置等方面加大对大数据技术专业人才的培养。同时，加大对领导干部、科研人员、企业员工、社会治理人员的培训，挖掘现有人才对大数据技术应用的潜力。另外，提高民众对大数据的使用能力。小数据时代，客户就是消费者，不参与企业运营过程。大数据时代，民众使用大数据的能力直接决定了数据量的大小及对数据即时管理的效率。

［1］ 周世佳，殷杰.山西省实施大数据战略：优势、差距及路径［J］.理论探索,2014，（4）：108-111.

［2］ 丁圣勇，樊勇兵，闵世武.解惑大数据［M］.北京：人民邮电出版社，2013.

［3］ 涂子沛.大数据及其成因［J］.科学与社会，2014，（4）：15.

［4］ 涂子沛.大数据［M］.桂林：广西师范大学出版社，2012.

［5］ 任志锋、陶立业.论大数据背景下的政府“循数”治理［J］.理论探索,2014，（6）：82-86.

［6］ 维克托·迈尔-舍恩伯格.大数据时代［M］.杭州：浙江人民出版社，2012：13.

［7］ 王铁群.小数据企业的大数据时代［J］.管理学家，2013，（3）：33.