首页 理论教育 历程与前景展望Spark未来展望:发展历程与前景

历程与前景展望Spark未来展望:发展历程与前景

时间:2023-06-28 理论教育 版权反馈
【摘要】:Spark的发展速度非常迅速。2013年起,Spark进入了一个高速发展期,代码库提交与社区活跃度都有显著增长。图9-2Spark代码库活跃度与其他大数据框架的比较从2013年6月到2014年6月,Spark的开发人员从原来的68位增长到255位,参与开发的公司也从17家上升到50家。图9-3为截至2014年Spark的开发人员数量每个月的增长曲线。

历程与前景展望Spark未来展望:发展历程与前景

Spark的发展速度非常迅速。2009年,Spark诞生;2010年,Spark正式开源;2013年成为Apache基金项目;2014年成为Apache基金的顶级项目。整个过程不到5年时间。

2013年起,Spark进入了一个高速发展期,代码库提交与社区活跃度都有显著增长。相较于其他大数据平台或框架而言,Spark的代码库最为活跃,如图9-2所示。

图9-2 Spark代码库活跃度与其他大数据框架的比较(www.xing528.com)

从2013年6月到2014年6月,Spark的开发人员从原来的68位增长到255位,参与开发的公司也从17家上升到50家。在这50家公司中,有来自中国的阿里巴巴、百度网易腾讯搜狐等公司。当然,代码库的代码行也从原来的63 000行增加到75 000行。图9-3为截至2014年Spark的开发人员数量每个月的增长曲线。

图9-3 Spark的开发人员数量每个月的增长曲线

Spark广泛应用在国内外各大公司,比如国外的谷歌亚马逊雅虎、微软和国内的百度、腾讯、爱奇艺、阿里等公司。如阿里巴巴将Spark应用在双十一购物节中,处理当中产生的大量的实时的数据;爱奇艺应用Spark对其业务量日益增长的视频服务提供数据分析和存储的支持;百度利用Spark进行大数据量网页搜索优化的实践。随着各行业数据量的与日俱增,相信Spark会应用到越来越多的生产场景中去。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈