首页 理论教育 海洋大数据:海量遥感影像快速处理技术

海洋大数据:海量遥感影像快速处理技术

时间:2023-08-21 理论教育 版权反馈
【摘要】:随着对地观测技术的发展,不同波段的高分辨率遥感影像越来越普及;海洋遥感影像数据量显著增加,呈现几何级增长;数据的获取速度较快,更新周期短,时效性越来越强,导致遥感数据呈现出明显的“大数据”特征,因此对计算和存储的性能提出了更高的要求。目前正处于研究阶段的遥感影像分布式处理技术包括FPGA、CUDA、MPI和MapReduce等。表6-5常见遥感影像处理技术比较分析

海洋大数据:海量遥感影像快速处理技术

随着对地观测技术的发展,不同波段的高分辨率遥感影像越来越普及;海洋遥感影像数据量显著增加,呈现几何级增长;数据的获取速度较快,更新周期短,时效性越来越强,导致遥感数据呈现出明显的“大数据”特征,因此对计算和存储的性能提出了更高的要求。

目前正处于研究阶段的遥感影像分布式处理技术包括FPGA、CUDA、MPI和MapReduce等。FPGA和CUDA的处理性能较高,但依赖于专用的硬件设备,成本高昂,一般应用于大型生产环境中;MPI是一种基于消息传递的并行编程模型,具有较好的可扩展性,但由于编程较为烦琐,限制了其应用;MapReduce是一种新兴的分布式编程模型,能够对计算数据集进行划分,并将计算任务分发到多个节点上,实现分布式计算

Hadoop的框架在很大程度上简化了分布式编程设计,但由于大数据处理平台刚刚兴起,Hadoop也不够成熟,存在很多不足:首先,其采用的MapReduce框架运行的中间结果写回文件系统,严重影响性能;其次,MapReduce框架不能有效处理交互式计算和迭代计算;最后,MapReduce框架实现多种功能可能需要多个MapReduce程序,降低性能的同时也浪费了资源。(www.xing528.com)

在大数据追求处理速度快的需求下,越来越多的应用无法由Hadoop满足,迫切需要一个新的大数据平台解决此需求。鉴于Spark在交互式计算和迭代计算具有非常大的优势,而对于海洋遥感大数据特征分析与提取方面,迭代计算又非常普遍,因此Spark能够满足此类需求,更好地解决海洋遥感大数据处理面临的问题。常见遥感影像处理技术比较分析见表6-5。

表6-5 常见遥感影像处理技术比较分析

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈