物联网大数据应用探析

可以将物联网的数据挖掘分为4个模块，包括：感知层、传输层、数据层、数据挖掘服务层，如图6-30所示。

图6-30　物联网数据挖掘架构

（1）物联网感知层

感知层的作用主要是在目标区域内布置大量的采集节点，这些节点通过传感器、摄像头或其他仪器仪表来采集物联网数据，其中这些数据在物联网感知层内会存在通信，即存在无线传感器网络，通过这些网络汇聚数据到汇聚节点，然后对数据进行汇总、存储并且通过传输层最终传输到云平台数据中心。

（2）传输层

传输层主要是集传感器网络、无线网络、有线网络等多种网络形态于一体的高速、无缝、可靠的数据传输网络，能够灵活快速地将感知数据传输至云计算数据中心，实现更加全面的互通互联；将各类监测设备进行联网数据传输，实现物联网中监测设备的网络化高速数据传输。(www.xing528.com)

（3）数据层

数据层对于整个物联网数据挖掘平台是至关重要的，由于我们已经提到了物联网数据的异构性、海量性等特点，因此在数据层如何解决物联网这些数据存储及处理的问题决定了物联网数据挖掘平台的可行性和性能。数据层主要包括两个重要模块：数据源转换模块、分布式存储模块。数据源转换模块主要用于物联网中异构数据的转换，分布式存储模块主要结合了Hadoop平台的文件系统HDFS，采用分布式方式存储物联网海量数据。

由于在物联网中，不同的对象会由不同的数据类型来表示，甚至相同的对象都会用不同的数据来表示，因此数据源转换器的作用主要是来解决物联网数据异构性，它不仅可以保证数据存储的完整性，还能保证数据挖掘的顺利进行。数据源转换模块相当于数据层与感知层中各个监测设备的接口，并完成数据包解码以及按相应数据模型使分布式存储模块存储的都是有效并且完整的数据。

（4）数据挖掘服务层

数据挖掘服务层主要包括数据准备模块、数据挖掘引擎模块以及用户模块。数据准备模块主要包含了对于数据的清理、变换、数据规约等；数据挖掘引擎模块主要包含数据挖掘算法集和模式评估等；用户模块主要包含数据挖掘知识的可视化表示。根据知识挖掘的类型不同，数据挖掘引擎模块可以包括的功能主要有特征、区分、关联、聚类、局外者、趋势和演化分析、偏差分析、类似性分析等。提供这些功能的关键在于数据挖掘引擎模块中算法集提供各种功能的算法，而在Hadoop平台中数据挖掘算法需要对传统经典数据挖掘算法进行改进，即进行算法并行化处理。

用户模块是整个物联网数据挖掘平台直接面向使用人员的部分，所以应该具有良好的友好性，用户可以通过界面操作进行数据挖掘任务，并能够得到可以被理解的知识。为了增强平台的可移植性，在用户服务底层模块增加开放接口，从而可以使第三方调用物联网数据挖掘平台的功能，使物联网应用更加丰富。