首页 理论教育 云计算技术在海洋大数据中的应用

云计算技术在海洋大数据中的应用

时间:2023-08-21 理论教育 版权反馈
【摘要】:云计算这一概念由Google公司于2006年首先提出,是一种建立在计算机集群系统之上,包含并行计算、分布式计算以及虚拟技术在内的商业概念。图4-1云计算关键技术其中,云存储技术为大数据分析与数据密集型计算提供了基础。还有许多研究单位针对这种需求,研究相关的技术,整合分散的存储资源,在此基础上形成资源可调度的模式,为云计算中大数据存储提供技术条件[5]

云计算技术在海洋大数据中的应用

云计算(cloud computing)作为一种网络应用模式,为大数据存储与管理提供了有效的解决方案。云计算这一概念由Google公司于2006年首先提出,是一种建立在计算机集群系统之上,包含并行计算分布式计算以及虚拟技术在内的商业概念。云计算是一个为用户提供可配置的、共享基础资源的计算模型,它使得用户能够在云服务提供商很少参与的情况下,方便、实时地访问存储、计算等资源。云计算提供商通过把大量的节点和网络设备连接在一起,构建一个或若干个大规模的数据中心,然后以数据中心为基础向用户提供各种层次的服务,例如基础设施服务、平台服务、存储服务和软件服务等。

云计算涉及的关键技术包括虚拟化技术、群组管理技术、数据存储/管理技术、Web技术、并行编程技术以及负载均衡、并行计算等其他相关技术[1-4],具体如图4-1所示。其中,海量分布式存储技术即为广泛意义上的云存储(cloud storage),云存储是云计算概念上延伸和发展出来的一个新的概念。云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。

(www.xing528.com)

图4-1 云计算关键技术

其中,云存储技术为大数据分析与数据密集型计算提供了基础。随着存储技术的快速发展,以及对海量数据的存储需求,出现了适应于大数据的分布式存储技术。云存储技术广泛采用分布的存储单元,利用先进的信息化技术,包括网络互联技术、虚拟化技术等,形成高性能和可伸缩的存储资源池,满足大数据的存储需求,同时利用动态资源分配实现数据的冗余存储,确保存储的可靠性。在大量非结构化数据出现之前,主要采用传统的关系数据库管理结构化数据,但当有大量的结构化数据和非结构化数据时,需要发展新的数据管理技术,例如Google采用的GFS和BigTable技术,开源软件Hadoop采用的HDFS和HBase技术,可以有效地解决大数据存储需求。还有许多研究单位针对这种需求,研究相关的技术,整合分散的存储资源,在此基础上形成资源可调度的模式,为云计算中大数据存储提供技术条件[5]

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈