新能源汽车大数据的产生与发展

人类历史上从未有哪个时代和今天一样产生如此海量的数据，数据的产生已经完全不受时间、地点的限制。从开始采用数据库作为数据管理的主要方式开始，人类社会的数据产生方式大致经历了三个阶段。正是数据产生方式的巨大变化，才最终导致大数据的产生。

1.运营式系统阶段

数据库的出现使得数据管理的复杂性大大降低。现实生活中，数据库大都为运营系统所采用，作为运营系统的数据管理子系统，比如超市的销售记录系统、银行的交易记录系统、医院病人的医疗记录等。人类社会数据量第一次大的飞跃是运营系统开始广泛使用数据库。这个阶段最主要的特点是数据往往伴随着一定的运营活动而产生并记录在数据库中，比如超市每销售出一件产品，就会在数据库中产生一条对应的销售记录。这种数据的产生方式是被动的。

2.用户原创内容阶段

互联网的诞生促使人类社会数据量出现第二次大的飞跃。但是真正的数据爆发产生于Web2.0时代，而Web2.0最重要的标志就是用户原创内容（User Generated Content，UGC）。这类数据近几年一直呈现爆炸式的增长，主要有两方面的原因：首先是以博客、微博为代表的新型社交网络的出现和快速发展，使得用户产生数据的意愿更加强烈；其次就是以智能手机、平板电脑为代表的新型移动设备的出现，这些易携带、全天候接入网络的移动设备使得人们在网上发表意见的途径更为便捷。这个阶段数据的产生方式是主动的。

3.感知式系统阶段(www.xing528.com)

人类社会数据量第三次大的飞跃最终导致了大数据的产生，即今天我们正处于这个阶段。这次飞跃的根本原因在于感知式系统的广泛使用。随着技术的发展，人们已经有能力制造极其微小的带有处理功能的传感器，并开始将这些设备广泛地布置于社会的各个角落，通过这些设备来对整个社会的运转进行监控。这些设备会源源不断地产生新数据。这种数据的产生方式是自动的。

简单来说，数据的产生经历了被动、主动和自动三个阶段。这些被动、主动和自动的数据共同构成了大数据的数据来源，但其中自动式的数据才是大数据产生的根本原因。

随着数据量的增长，大数据处理技术也有了飞速的发展，MapReduce这一并行处理技术的发展提高了数据的处理速度。云计算、分布式文件存储系统等技术的发展为大数据分析、处理及储存提供了支撑。此外，Spark的出现大大提高了数据处理效率。Spark是一个开源的适用于大数据的高可靠、高性能、分布式并行计算框架，是隶属于加州大学伯克利分校的AMP实验室的产品。Spark支持在大数据集上进行复杂的查询；能够轻量级地进行快速处理并且进行结果准确的有效服务；支持多语言编程，易于使用；兼容性很好，能够与Yam、Mesos、Hive、HBase和HDFS等多个框架进行很好的兼容。目前国内很多公司在实际生产环境中已经或准备大规模使用Spark。

同时，现有计算机计算能力的提高也使大数据的快速高效处理变得更加可行，计算机领域的摩尔定律揭示了信息技术进步的速度，广义的运算能力包括单位价格可购买和使用的硬盘存储空间，这个指标以远超过摩尔定律的速度增长。存储容量增长和成本的下降，是加速大数据时代来临的主要原因之一。20世纪70年代以后，计算机用集成电路的集成度迅速从中小规模发展到大规模、超大规模的水平，微处理器和微型计算机应运而生，各类计算机的性能迅速提高。硬件技术的发展及计算速度的迅速提高为大数据时代海量数据的快速运算提供了技术支持。