Spark应用程序的部署清单

图2.1描述了Spark应用程序在集群上的部署架构。

图2.1 Spark应用程序的部署架构图

在图2.1中，应用程序在集群上的部署架构包含以下内容：

1.Spark应用程序，对应图中的Driver Program，由于SparkContext包含在Driver Program中，因此通常也用SparkContext表示Spark应用程序。(www.xing528.com)

2.集群管理器，对应图中的Cluster Manager，负责封装不同的集群管理器，包括Spark Standalone集群管理器、YARN集群管理器等；Driver Program通过Cluster Manager为其分配资源，然后将任务发送到多个Worker Node上执行。

3.节点集群中多个Worker Node，这是应用程序运行时真正执行应用代码的地方。这是分布式环境，应用程序在运行时的Task是在Worker Node上的Executor中执行。

部署的应用程序在逻辑上由Driver Program和运行在多个Worker Node上的Executor组成。

需要注意的是Spark Driver所在的计算机需要和Spark集群位于同一个网络环境中，因为Driver中的SparkContext实例要发送任务给不同Worker Node的Executor并接受Executor的一些执行结果信息，一般而言，在企业实际的生产环境中Driver所在计算机的性能配置往往都是比较不错的，尤其是其CPU的处理能力往往都很强悍。