首页 理论教育 云计算与大数据应用研究成果

云计算与大数据应用研究成果

时间:2023-11-16 理论教育 版权反馈
【摘要】:人们普遍认为,云计算是一种新的技术体系和产业模式,在网络技术发展到一定阶段后必然会出现。2012年,中国计算机学会成立了大数据专家委员会,并发布了一份关于大数据技术的白皮书。网络技术在云计算和大数据的发展中发挥了重要作用。当前移动互联网的出现和迅速普及,对推动云计算和大数据的发展起到了一定的推动作用。同时,也改变了数据的生成方式,促进了全球数据的快速增长,促进了大数据技术和应用的发展。

云计算与大数据应用研究成果

(一)云计算和大数据的开发

许多人认为云计算是近年来推出的,事实上早在1958年,人工智能之父约翰·麦卡锡(John McCarthy)发明了功能语言LISP,后来成为Map Reduce的来源。约翰·麦卡锡在1960年预测,“未来计算机将作为公共设施向公众开放”,这一概念与我们现在定义的云计算非常相似。但是当时的技术条件决定了这个想法仅仅是对未来技术发展的一个预测。直到这项技术发展到一定阶段,云计算才真正出现。人们普遍认为,云计算是一种新的技术体系和产业模式,在网络技术发展到一定阶段后必然会出现。很难想象像云计算这样的技术变革,1986年中国第一封电子邮件以560 bps的网络传输速度发送。1984年,Sun提出了“网络就是计算机”的思想,这是云计算的特点。2006年,Google公司首席执行官埃里克·施密特提出云计算的概念,2008年云计算概念传入中国,2009年,第一届中国云计算大会召开,云计算技术和产品发展迅速。

随着社会网络、物联网等技术的发展,数据以前所未有的速度增长和积累。根据IDC的数据,全球数据量每年增长50倍,在两年内翻一番,这意味着世界在过去两年中产生的数据将超过以往所有数据的总和。2011年,全球数据总数达到1.8 ZB。到2020年,全球数据量将达到35 ZB。2008年,Naure杂志发行了大数据特刊,2011年《科学》杂志推出了大数据特刊,讨论了科学研究数据的问题。2012年,大数据的关注度和影响力迅速增长,成为当年达沃斯世界经济论坛(World Economic Forum)的主题。2012年,中国计算机学会成立了大数据专家委员会,并发布了一份关于大数据技术的白皮书

网络技术在云计算和大数据的发展中发挥了重要作用。可以认为,信息技术的发展经历了硬件开发和网络技术两个阶段。在这一阶段,硬件技术的水平决定了整个信息技术的发展水平,硬件的每一个进步都对信息技术的发展产生了强烈的影响。从管技术到晶体管技术到大规模集成电路,这种技术变革已成为工业发展的核心动力。然而,网络技术的出现已经逐渐打破了简单的硬件能力决定了技术的发展,通信带宽的发展为信息技术的发展提供了新的动力。在这一阶段,通信带宽已经成为信息技术发展的决定性力量之一。云计算和大数据技术的出现就是这一阶段的产物。它的广泛应用不仅仅是依靠一个人的发明,而是由于技术发展的必然结果,决定生产关系的生产力规律仍在这里建立。

当前移动互联网的出现和迅速普及,对推动云计算和大数据的发展起到了一定的推动作用。移动客户端与云计算资源库的结合极大地扩展了移动应用的思想。云计算资源可以在任何时间、任何地点和任何资源在移动终端上实现。移动互联网扩展了以网络资源交付为特征的云计算技术的应用能力。同时,也改变了数据的生成方式,促进了全球数据的快速增长,促进了大数据技术和应用的发展。

云计算是一种新兴的、领先的信息技术,它结合了IT技术和互联网实现超级计算和存储的能力。云计算崛起背后的驱动力是高速互联网和虚拟化技术的发展,更廉价、更强大的芯片硬盘驱动器数据中心。云计算作为下一代企业数据中心,其基本形式是将大量共享的IT基础设施连接在一起,不受本地和远程计算机资源的限制,可以方便地访问云中的虚拟资源。使用户和云服务提供商能够像访问网络一样进行交互。具体来说,云计算的兴起有以下几个因素。

1.高速互联网技术的发展

网络用于信息发布、信息交换、信息搜集、信息处理。互联网内容已不再像往年那样一成不变,门户网站随时更新网站内容,网络功能、网络速度也在急剧变化,网络成为人们学习、工作和生活的一部分。但网站只是云计算应用和服务的缩影,云计算强大的功能是移动互联网、大数据时代的萌芽。

云计算可以利用现有的IT基础设施,在很短的时间内处理大量的信息,以满足动态网络的高性能要求。

2.资源利用需求

能源消耗是企业特别关注的问题。大多数企业服务器的计算能力都很低,但也需要消耗大量的能量来冷却数据中心。云计算模型的引入可以通过整合资源或租用存储空间、租用计算能力等服务来降低企业运营成本,节约能源

同时,利用云计算集中资源提供可靠的服务,可以降低企业成本,增强企业的灵活性,企业可以花更多的时间为客户服务,并进一步研发新产品。

3.简单创新需求

在实际的业务需求中,越来越多的个人和企业用户期待着计算机操作的简化,直接通过购买软件或硬件服务,而不是软件或硬件实体。这将为他们的学习、生活和工作带来更多的便利,可以在学习场所、工作场所、住所建立方便的文献或信息共享链接。资源的使用可以简化为你想要通过网络实现的目标,你需要在技术上进行创新,使用云计算来提供这一点。同步我们在云中需要的所有数据、文档和程序。

4.其他所需经费

连接设备、实时数据流、SOA和移动互联网应用(如搜索、开放协作、社交网络和移动商务)的使用急剧增加。数字组件性能的提高也大大增加了IT环境的规模。这进一步加强了对统一云管理的需求。

个人或企业希望能够在不同的地方进行项目和文档的协同工作,在复杂的信息中方便地找到他们所需要的信息,这也是云计算的原因之一。(www.xing528.com)

人类历史不断证明生产力决定生产关系,技术发展史也证明技术能力决定技术形态。纵观信息技术的发展历史,可以看出,信息产业的发展在不同时期有两个重要的内在动力,即硬件驱动力、网络驱动力。这两种驱动力的对比和变化决定了不同产品在行业中的出现时间和不同形式的企业出现和消亡的时间。正是这两种动力力量的变化导致了信息产业技术体系的分离和融合,技术形式也经历了两个过程:从一体化到分工,从分工到一体化。从最早的集中式计算到个人计算机的分散计算,再到集中式云计算。这也是解决许多行业混乱的关键

硬件驱动时代催生了IBM、微软、英特尔等企业。20世纪50年代,最早的网络开始出现,网络的力量开始在信息产业发展的动力中显现出来。但当时的网络性能很弱,网络并不是推动信息产业发展的主要动力,而处理器等硬件的影响仍然占据绝对主导地位。然而,随着网络的发展,网络通信的带宽逐渐增加。从20世纪80年代的局域网到90年代的Internet,网络逐渐成为推动信息产业发展的主导力量。这一时期催生了百度、Google、亚马逊等企业。直到云计算的出现,网络才成为信息产业发展的主要动力。

(二)为发展云计算和大数据做出贡献的科学家

在云计算和大数据的发展过程中,许多科学家做出了重要的贡献,让我们对这些科学家表示高度的敬意。

Seymour Clay,超级计算机之父,成为解决计算和存储问题的纪念碑,被称为超级计算机之父。Seymour Clay生于1925年9月28日,美国人,1958年设计并制造了世界上第一台基于晶体管的超级计算机,这是计算机发展史上的一个重要里程碑。同时,它也为(RISC)高端微处理器的产生做出了巨大贡献。1972年,他创立了克莱研究公司,一家专为生产超级计算机而设计的公司。从那时起十多年来,克莱已经创造了克莱-1,克莱-2和其他模型,成为高性能计算领域的重要成员之一。

他亲自设计了Clay的所有硬件和操作系统。Clay机器已经成为高性能计算学者的永久记忆。到1986年1月,世界上已有130台超级计算机投入使用,其中约90台由克莱的上市公司Clay Institute开发。美国商业周刊在1990年的一篇文章中写道,“Seymour Clay的才华和非凡的干劲给本世纪的科技留下了不可磨灭的印记”。2013年11月,高性能500强中排名第2和第6的都是Clay机器。

约翰·麦卡锡,云计算之父。约翰·麦卡锡于1927年生于美国,1951年在普林斯顿大学获得数学博士学位。他因在人工智能领域的贡献而于1971年获得图灵奖,麦卡锡被誉为“人工智能之父”,因为他在1955年的数据会议上引入了“人工智能”的概念。人工智能已成为一门新兴学科。LISP语言是1958年发明的,几十年后,LISP语言Map Reduce成为谷歌云计算和大数据系统的核心技术。麦卡锡更有远见的预测,他在1960年提出,“计算机将作为一个公共事业在未来提供给公众”与云计算的想法没有什么不同。因为他早在半个多世纪前就预言了云计算的新模式,所以我们称他为“云计算之父”。

蒂姆·伯纳斯-李,互联网之父。云计算的出现得益于网络的发展,特别是互联网的出现,极大地促进了网络技术的发展,使用户可以通过网络获得资源和服务。蒂姆·伯纳斯-李(Tim Berners-Lee)1955年出生于英国,是英国皇家学会会员、英国皇家工程师学会会员和国家科学院院士。1989年3月,他正式提出了万维网的想法,1990年12月25日,他在日内瓦欧洲粒子物理实验室开发了世界第一个网页。最令人尊敬的是,他让这项技术免费提供,并传播到世界各地。

让我们向http:/info.cern.ch致敬,这是世界上第一个网页。由于他的杰出贡献,他被称为“互联网之父”。

云计算和大数据是两个不可分割的概念。每个人都成了数据的生产者,物联网的发展使得数据随时随地出现,具有自动化、海量化的特点。大数据不可避免地出现在云计算时代。大数据之父吉姆·格雷(Jim Gray)生于1944年,在加州大学伯克利分校获得计算机科学博士学位。他是一位享有盛誉的数据库专家和1998年图灵奖的获得者。2007年1月11日,美国国家研究委员会计算机科学和通信处的吉姆·格雷阐述了科学研究的第四种范式,认为依靠数据分析和挖掘也可以找到新的知识。目前云计算大数据系统中应用于数据计算的观点已经有了大量的表现。

(三)云计算与大数据的国内发展

自从云计算和大数据概念传入中国,中国对云计算产业和技术的发展给予了极大的重视。中国电子学会率先成立了云计算专业委员会,并于2009年召开了首届中国云计算会议。委员会随后举行了一次年度会议,成为云计算领域的一次重要会议,并发表了一份年度云计算技术发展报告,报告了该年云计算的发展情况。2012年,中国计算机学会成立了大数据专家委员会,2013年发表了“中国大数据技术与产业发展白皮书”,并主办了首届CCF大数据学术会议

国内研究机构还开展了云计算、大数据研究工作,如清华大学中国科学院计算研究所、华中科技大学、成都信息工程学院并行计算实验室等正在开展相关的研究工作。研究人员逐渐发现,云计算系统中存在着大量的问题需要解决,如理论框架、安全机制、调度策略、能耗模型、数据分析、虚拟化、迁移机制等。自第四范式提出以来,数据已经成为科学研究的对象,大数据概念成为继云计算之后的信息产业的又一个热点,并成为科学研究领域的研究热点。

云计算在2008年进入中国,2009年出现了项目,随后数量开始迅速增长,成为三个方向上项目数量最多的国家。大数据的概念自2012年提出以来,有6个项目,2013年,这一数字迅速攀升到53项,充分反映了大数据在科研领域受到的重视程度。随着云计算和大数据的发展,数据中心的规模越来越大,数据中心的建设和运行面临着许多新的问题,数据中心已经成为研究的热点。

国内企业也高度重视云计算、大数据,华为、中兴、阿里腾讯等公司宣布了庞大的云计算计划。这些年来他们积累的数据将在大数据的时间里发挥很大的作用。揭示了数据分析和数据操作的作用。拥有用户数据的IT企业对传统行业产生了巨大的冲击。“数据为王”的时代即将到来。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈