从零到一：大数据的发展历程

大数据的出现可以说是IT产业发展的链条之一和必然趋势。而IT产业发展改变了已有的社会秩序，重新定义了处理问题的规范，并为进入大数据时代的新纪元铺平了道路。

20世纪60年代和70年代的大型机阶段是以Burroughs，Univac，NCR，Control Data和Honeywell等公司为首的。在步入80年代后，小型机涌现出来，这时为首的公司包括DEC，IBM，Data General，Wang，Prime等。在90年代，IT产业进入了微处理器或个人计算机阶段，领先者为Microsoft（微软），Intel，IBM和Apple等公司。从90年代中期开始，IT产业进入了网络化阶段。如今，全球在线的人数已经超过了10亿，这一阶段由Cisco，Google，Oracle，EMC，Salesforce.com等公司领导。IT产业的下一个阶段人们更愿意称其为云计算／大数据阶段。

大数据快速增长的原因之一是智能设备的普及，如传感器、医疗设备及智能建筑（如楼宇和桥梁）。此外，非结构化信息，如文件、电子邮件和视频，将占未来10年新生数据的90%。非结构化信息增长的另一个原因是高宽带数据的增长，如视频。用户的手机和移动设备是数据量爆炸的一个重要原因。

对于信息社会上的每一个人而言，只要看看周围正在变化的一切，就可以知道，大数据对每个人的重要性不亚于人类初期对火的使用。大数据让人类对一切事物的认识回归本源，其通过影响经济生活、政治博弈、社会管理、军事、文化教育科研、医疗、保健、休闲等行业，与每个人产生密切的联系。

大数据时代已悄然来到我们身边，并渗透到我们每个人的日常生活之中，谁都无法回避。它提供了光怪陆离的全媒体、自媒体、难以琢磨的云计算、无法抵御的虚拟仿真环境和随处可在的网络服务。它再也不仅仅是人们津津乐道的一种时尚，而是成为生活上的向导和助手。(www.xing528.com)

早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。从技术层面上看，大数据是无法用单台计算机进行处理的，必须采用分布式计算架构。其特色在于对海量数据的挖掘，但它又必须依托一些现有的数据处理方法，如流式处理、分布式数据库、云存储与虚拟化技术（图1-1）。

图1-1　大数据与云技术

当前大数据的处理技术，特别是云存储与云计算技术的成熟应用，为大数据的存储和处理提供了技术可能性。企业可以利用生产系统以及管理系统中产生的大量数据，对海量的数据进行存储和挖掘分析。值得注意的是，大数据和云计算之间的区别在于：首先，大数据和云计算在概念上不同，云计算改变了IT，而大数据改变了业务。其次，大数据和云计算的目标受众不同，如在一家公司中，那么云计算就是技术层，大数据就是业务层。但需要指出的是，大数据对云计算有一定的依赖性。