本地及本地集群部署优化建议

对于分布式集群，通常都会提供一种方便初学者入门学习和测试的部署模式，也就是在Hadoop框架中常说的Local（本地）模式。同样的，Spark框架也不例外，而且相对于其他框架，比如Hadoop，Spark框架提供了更丰富的Local模式。

在进一步解析之前，首先来看下SparkSubmit提交应用程序时，一些不支持的组合形式，对应代码如下。

即，在使用Local与Local-Cluster这两种Local方式时，不支持以CLUSTER的部署模式提交应用程序。

了解SparkContext执行的主要流程后，再以Local与Local-Cluster部署为主线，分析本地集群部署模式下的处理细节。

可以从前面的分析中抽取出本地模式部署的TaskScheduler与SchedulerBackend的具体子类的实例构建信息，如表3-7所示。(www.xing528.com)

表3-7 Local模式部署时的TaskScheduler与SchedulerBackend的具体子类

本地部署模式可以分为本地模式和本地伪分布式模式，其中，本地模式又分3种，而Local-Cluster这种则对应本地伪分布式模式。在3种本地模式中，内部实现的实例相同，仅仅是启动的线程数与任务失败重试的次数不同；本地伪分布式模式中，通过提供与Spark Standalone部署集群对应的信息来模拟完全分布式的集群。

下面分别针对这几种本地部署模式进行分析。