现在越来越多的小电器使用智能技术通过嵌入式传感器生成数据。一款内置智能应用的汽车、一款监控室内温度的智能家居设备、一种可将日常锻炼内容发送至手机应用的健身追踪器,这些都是物联网的例子。这些设备连接到互联网,自然会导致海量数据的产生。因此,物联网为大数据分析提供信息,使得大数据系统具备洞察力,从而使这些设备成为新技术时代的先驱。
(1)物联网的大数据技术
第一阶段包括从物联网连接的设备接收事件Wi-Fi,蓝牙等可用于将设备连接到接收器。通知用户有关事件的消息必须通过有效的协议发送给代理。MQTT(消息队列遥测传输)是一种流行的代理间传输协议。Mosquitto是MQTT代理广泛使用的版本。
在第二阶段,在接收数据时,Hadoop和Hive通常用于存储数据。Apache Couch DB是一款NoSQL数据库,由于其低延迟和高吞吐量,非常适合物联网。无模式数据库有助于改变机器数据。Apache Storm是实时处理和Apache Kafka用于中间消息代理的首选。
(2)物联网大数据的一般体系结构
物联网大数据的一般体系结构如下:
①上下文数据层:这将收集用于后续IoT数据处理的外部非IoT数据作为额外的上下文/元数据,例如开始/停止数据馈送。
②物联网服务层:处理设备之间的交互以从物联网设备收集数据并向其发送控制命令。双向通信由该层处理。
③数据/协议中介:它负责在数据在其被数据和控制层发布前将数据保存在协调的数据实体中。该层是独立的并确保一致性。
④数据/控制代理:这允许第三方应用程序发起查询或API访问协调数据实体。它还控制来自应用程序层的请求。
⑤同行API访问管理:这是与同行企业进行交互以发布相关的上下文数据。
⑥开发者API访问管理:它控制统一数据实体(上下文数据和物联网)的权限,并帮助控制提供给第三方应用程序的服务。访问控制,认证和授权是在这里管理的。隐私和安全是其主要职责。
⑦物联网/大数据存储:在数据和控制代理的控制下,这可以提供短至中等的数据存储功能。在临时数据关系中可以找到深入见解。Apache Hadoop,Apache Cassandra,Mongo DB等是常用的。Neo4J和Tital是日益用于社交媒体相关数据的图形数据库。
⑧物联网/大数据处理:分析和商业智能程序在这里进行。分析包括探索统计关系的常规方法以及使用分析引擎通过预定义流程生成输出。智能意味着人工智能和机器学习的使用,为预测结果与预期结果之间的匹配创建适应性算法。Apache Spark,Apache Tinker Pop3,Apache Mahout和Tensor Flow被广泛使用。(www.xing528.com)
(3)大数据和物联网的使用案例
随着大数据和物联网越来越火,越来越多的企业使用它们来解决问题,以下是几个常见的案例。
①车队管理:许多运输公司都携带传感器来监控驾驶员的行为和车辆的位置。好的驾驶技能和道路安全行为得到保险公司的奖励。通过提供所有机械和电气组件的详细机器日志数据,物联网为远程信息处理提供了一个优势。全球物流公司UPS广泛使用该技术来监控车队车辆的速度、行驶里程、休息停靠、油耗、发动机使用情况等。因此,该公司减少了有害排放和燃料消耗。
②卫生保健:可穿戴式健身追踪器和医疗应用程序帮助人们监控他们的健康状况。来自这些设备的数据可用于追踪如血压、糖水平等参数,以及预先诊断感染疾病的可能性。Preventice公司整合了应用程序、手机、笔记本电脑、平板电脑和云等,用于远程病人监控。该公司允许客户的医生在线监测其健康状况,以避免常规检查。Proteus是一家初创公司,其药丸中含有传感器,可用于检查患者是否遵医嘱。
③农业:约翰迪尔是一家销售农场设备的跨国公司。它监测各种参数,如土壤湿度水平等。将数据发送到一个集中管理平台,根据湿度水平,可以提醒农民何时进行灌溉。这可以防止不必要的灌溉,避免特定地区的水资源集中。
(4)在广泛使用大数据和物联网中的障碍
当前大数据和物联网的快速发展受到的阻碍有:
①标准:为了物联网的高效工作,应该有一个被设备和应用程序服从的预定义框架,以通过无线或有线网络安全地交换数据。OneM2M是发布主要技术巨头设定的首选标准的组织。该公司的消息人士坚持认为,不同行业之间应该具有互操作性,以便通用平台连接智能电表、汽车、手表、起搏器等。
②安全和隐私:在记录人体生命体征的生物传感器等敏感应用中的安全性应该受到保护,以防止侵犯隐私。国家基础设施相关数据对于国家安全至关重要,应该采取适当的保护措施防范黑客。智能家居锁系统、工业安全传感器等都需要防范可以非法侵入的恶意用户。物联网具有优势,因为它可以通过互联网进行操作,但由于这个原因,物联网风险很大。互联网可能被入侵者破坏,并且设备可能被错误地使用。
③网络和数据中心基础设施:由于数据洪流,数据中心和基础设施将受到威胁。流量可以爆发或连续,主要在应用和传感器之间。
④分析工具:物联网管理非常复杂,构建洞察分析并非易事。各种平台使用不同的语言,专业人员必须接受培训以应对每个平台。
⑤技能:物联网和大数据是多学科的,专业人士需要两个领域的工作知识。由于这些主题相对较新,因此需要对老派技术工作者进行培训并熟悉新技术。业务分析师必须确定能够最好地提取数据并向客户呈现结果的问题。数据科学家需要使用分析工具来获取深入意见并进行技术工作。
大数据和物联网互为补充,以发挥各自的优势。技术世界已经意识到它们的重要性,大数据+物联网产业将成为数十亿美元的业务,研究人员和IT公司开始认识到这种炒作背后的潜力。这个联盟是技术的未来,并将从根本上改变我们周围的世界。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
