首页 理论教育 如何配置Worker节点?

如何配置Worker节点?

时间:2023-07-01 理论教育 版权反馈
【摘要】:同样,编辑/software/spark-2.3.1/conf/spark-env.sh 文件,在后面追加如下配置:以上配置中配置的信息解释如下:·SPARK_WORKER_CORES:配置Worker 节点所能支配的核心数,这里的核心数决定这未来在Spark Worker 节点上能并行运行的task 个数。除了上面的配置,还需编辑/software/spark-2.3.1/conf/slaves 文件,配置将哪些节点指定为Worker 节点。至此,Spark 集群搭建Worker 节点配置完成。

如何配置Worker节点?

同样,编辑/software/spark-2.3.1/conf/spark-env.sh 文件,在后面追加如下配置:

以上配置中配置的信息解释如下:

·SPARK_WORKER_CORES:配置Worker 节点所能支配的核心数,这里的核心数决定这未来在Spark Worker 节点上能并行运行的task 个数。

·SPARK_WORKER_MEMORY:配置Worker 节点所能使用的内存大小,内存越大越好,给足Worker 内存是保证Spark 运行任务顺利的前提。

除了上面的配置,还需编辑/software/spark-2.3.1/conf/slaves 文件,配置将哪些节点指定为Worker 节点。conf 目录下没有slaves 文件,只有slaves.template 文件,可以复制一份slaves.template 文件,修改名称为slaves 并编辑:(www.xing528.com)

slaves 的编辑内容如下:

slaves 文件中编辑的内容是指定“mynode2”“mynode3”节点为Spark 集群中的Worker节点,未来提交到Spark 集群中的任务就可以运行在这些Worker 节点上。

至此,Spark 集群搭建Worker 节点配置完成。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈