下载和运行Spark：详细步骤和注意事项

1.下载Spark安装包

Spark官方（http：//spark.apache.org/downloads.html）提供了Spark二进制包和源码的下载，页面如图2-1所示，如无特殊需求，建议读者直接下载预先编译好的二进制包。此外，Spark支持读写HDFS中的文件，如果读者希望后期使用HDFS来做数据存储，则需要根据Hadoop的版本选择合适的预构建版本，若未能找到对应Hadoop版本的Spark安装包，可以考虑手动编译源码，本书将在第2.3节具体介绍Spark源码编译的流程。

下载压缩包到本地目录中，执行如下命令进行解压缩，其中1.x.y为Spark版本号，z.w为Hadoop版本号。

图2-1 Spark下载页面

2.安装与运行测试应用

进入解压缩得到的Spark安装目录，执行命令“./bin/run-example SparkPi 10”运行Spark提供的Example程序，该程序用于计算π值。执行结果如下图2-2所示，可以看到Spark计算得到的Pi值约等于3.139516。

图2-2 Example程序运行结果(www.xing528.com)

运行Example程序时，如果系统报错提示找不到java文件，说明JDK未能被正确安装，或者环境变量没有被正确配置。

3.设置环境变量

在使用Spark之前，建议读者将Spark的bin目录加入到系统PATH环境变量当中，这样以设置后在执行bin目录下的程序时，可以直接使用程序名，例如“spark-shell”，而无须指定程序的路径，如“./bin/spark-shell”，具体设置步骤如下。

1）以管理员权限编辑文件/etc/profile，在文件尾部加入如下语句，保存并退出。其中/path/to/spark需要替换成用户的完整的Spark安装路径。

export SPARK_HOME="/path/to/spark/"

export PATH="$SPARK_HOME/bin：$PATH"

2）执行指令“source/etc/profile”，完成后在任意目录下执行命令“spark-shell-help”，若没有提示命令找不到，则说明设置成功。