首页 理论教育 使用Maven构建Spark应用程序

使用Maven构建Spark应用程序

时间:2023-06-20 理论教育 版权反馈
【摘要】:没有POM的话,Maven是毫无用处的,因为POM是Maven的核心,是POM实现并驱动了这种以模型来描述的构建方式。Maven除了以程序构建能力为特色之外,还提供高级项目管理工具。由于Maven的缺省构建规则有较高的可重用性,所以常常用两三行Maven构建脚本就可以构建简单的项目。图3-28 选择源码存放目录剩下Maven会自动完成项目构建,搭建好的源码阅读环境如图3-29所示。

使用Maven构建Spark应用程序

Spark源码除了用sbt/sbt assembly编译,也可用Maven进行编译。Maven是基于项目对象模型(POM),并可以通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。其中POM是Maven对一个单一项目的描述。没有POM的话,Maven是毫无用处的,因为POM是Maven的核心,是POM实现并驱动了这种以模型来描述的构建方式。

Maven除了以程序构建能力为特色之外,还提供高级项目管理工具。由于Maven的缺省构建规则有较高的可重用性,所以常常用两三行Maven构建脚本就可以构建简单的项目。由于Maven的面向项目的方法,许多Apache Jakarta(Jakarta是Apache组织下的一套Java解决方案的开源软件的名称,它包括了很多子项目)项目发文时使用Maven,而且公司项目采用Maven的比例在持续增长

下面我们用Maven在Intellij IDEA中构建Spark源代码的阅读环境

(1)首先用git命令,把Spark源码从网上克隆下来。命令如下:

978-7-111-52860-9-Chapter03-126.jpg

(2)选择“File”菜单栏→“New Project”选项,然后选择“Maven”选项,点击“next”按钮进入下一个界面(如图3-26所示)。

978-7-111-52860-9-Chapter03-127.jpg

图3-26 用Maven搭建工程

(3)这里有两个选项要填,GroupID是项目组织唯一的标识符,实际对应JAVA的包的结构,是main目录里java的目录结构。ArtifactID就是项目的唯一的标识符,实际对应项目的名称,就是项目根目录的名称。在这里我们两个都填入“Spark-1.2”,然后点击“next”按钮(如图3-27所示)。(www.xing528.com)

978-7-111-52860-9-Chapter03-128.jpg

图3-27 填写GroupId和ArtifactId

(4)这里选择从网上下载下来的源码存放目录,点击“OK”按钮,最后再点击“Fin-ish”按钮(如图3-28所示)。

978-7-111-52860-9-Chapter03-129.jpg

图3-28 选择源码存放目录

(5)剩下Maven会自动完成项目构建,搭建好的源码阅读环境如图3-29所示。

978-7-111-52860-9-Chapter03-130.jpg

图3-29 搭建成功的源码阅读环境

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈