航运大数据处理技术简介

在航运大数据时代，存在着超大数据体量及占相当比例的半结构化和非结构化数据，已经超越了传统数据库的管理能力，航运大数据技术将是航运领域新一代的技术与架构，它将帮助人们存储管理好大数据，并从大体量、高复杂的数据中提取价值，相关的技术、产品将不断涌现，使将有可能给航运行业开拓出一个新的黄金时代［5］。

航运大数据本质也是数据，其关键的技术包括：大数据存储和管理；大数据检索使用（包括数据挖掘和智能分析）。围绕大数据，一批新兴的数据挖掘、数据存储、数据处理与分析技术将不断涌现，使处理海量数据更加容易、更加便利和迅速，成为企业业务经营的好助手，甚至可以改变许多行业的经营方式［6］。

航运大数据的商业模式与架构——云计算及其分布式结构是重要途径。

1）航运大数据处理技术正在改变目前航运业的运行模式

它能处理几乎各种类型的海量航运数据，数据丰富，包括：指标数据涵盖了港口码头、航运服务、航运市场、经济指标、景气指数；基础数据中包括船公司、船舶、航线、港口、港区、码头、泊位、码头运营商等基础数据；数据分析图形多样化，清晰展示各种类型数据分析图形，包括筛选细分条件、趋势分析、结构分析、多指标趋势分析、多指标结构分析、排名分析等；提供信息检索、趋势图形对于周期，图形选择等功能。这样的低成本硬件+低成本软件+低成本运维，更加经济和实用，使大数据处理和利用成为可能。云计算将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算力、存储空间和信息服务。云计算及其技术提供了廉价获取巨量计算和存储的能力，而且云计算分布式架构能够很好地支持大数据存储和处理需求。

2）航运大数据的存储和管理——云数据库的必然趋势

云数据库（CloudDB）提供了海量数据的并行处理能力和良好的可伸缩性等特性，提供同时支持在线分析处理（Online Analytical Processing， OLAP）和在线事务处理（Online Transaction Processing， OLTP）能力，提供了超强性能的数据库云服务，并成为集群环境和云计算环境的理想平台。它是一个高度可扩展、安全和可容错的软件，客户能通过整合降低成本，管理位于多个服务器的数据，提高所有应用程序的性能，以及实时地做出更好的业务决策服务。

这样的云数据库要能够满足以下需求：

（1）海量数据处理：相对搜索引擎和电信运营商级的经营分析系统这样的大型应用而言，需要能够处理PB级的数据，同时应对百万级的流量。

（2）大规模集群管理：分布式应用可以更加简单地部署、应用和管理。(www.xing528.com)

（3）低延迟读写速度：快速的响应速度能够极大地提高用户的满意度。

（4）建设及运营成本：云计算应用的基本要求是希望在硬件成本、软件成本及人力成本方面都有大幅度降低。

因此，云数据库必须采用一些支撑云环境的相关技术，例如数据节点动态伸缩与热插拔，对所有数据提供多个副本的故障检测与转移机制和容错机制、无共享（Share Nothing，SN）体系结构、中心管理、节点对等，实现连通任一工作节点就是连入了整个云系统，而且通过任务追踪、数据压缩技术以节省磁盘空间并减少磁盘I/O时间等。

云数据库路线是基于传统数据库不断升级，并向云数据库应用靠拢，更好地适应云计算模式，如自动化资源配置管理、虚拟化支持及高可扩展性等，才能在未来将会发挥不可估量的作用。

3）航运大数据的处理和使用——新型商业智能的产生

传统针对海量数据的存储处理，通过建立数据中心，建设包括大型数据仓库及其支撑运行的软硬件系统，设备（包括服务器、存储、网络设备等）越来越高档，数据仓库、OLAP及ETL （Extract Transform Load）、 BI （Business Intelligence）等平台越来越庞大，但这些需要的投资越来越大，而面对数据的增长速度，越来越力不从心，所以基于传统技术的数据中心建设、运营和推广难度越来越大。另外一般能够使用传统的数据库、数据仓库和BI工具能够完成的处理和分析挖掘的数据，还不能称为大数据，这些技术也不能叫大数据处理技术。面对大数据环境，包括数据挖掘在内的商业智能技术正在发生巨大的变化。传统的传统商业智能技术，包括数据挖掘，主要任务是建立比较复杂的数据仓库模型、数据挖掘模型，来进行分析和处理不太多的数据［7］。

也许由于云计算模式、分布式技术和云数据库技术的应用，不需要这么复杂的模型，不用考虑复杂的算法，就能够处理大数据。对于不断增长的业务数据，用户也可以通过添加低成本服务器，甚至是PC机，来处理海量数据记录的扫描、统计、分析、预测。如果商业模式变化了，需要一分为二，那么新商业智能系统也可以很快地、相应地一分为二，继续强力支撑商业智能的需求。

因此实际是对传统商业智能的发展和促进，商业智能将出现新的发展机遇，面对风云变幻的市场环境，快速建模、快速部署是新商业智能平台的强力支撑。