MapReduce的运行模式探析

Hadoop 的MapReduce Job 的运行模式可以分为本地运行模式和集群运行模式。

（1）本地运行模式

在编写MapReduce 程序时不带集群的配置文件，也就是MapReduce 程序不要配置YARN作为运行框架，配置“mapreduce. framework. name = local”，就可以实现程序的本地运行。MapReduce的本地运行模式无须启动远程的Hadoop 集群，MapReduce 程序会被提交给本地执行器LocalJobRunner 在本地以单进程的形式运行。输入数据及输出结果可以放在本地文件系统，也可以放在HDFS 上。本地运行模式非常便于进行业务逻辑调试，只要在Eclipse 中设置断点即可。

（2）集群运行模式(www.xing528.com)

首先需要启动YARN，Job 会提交到YARN 框架中去执行，访问“http：/ /master：8088”可以查看Job 执行状态。在MapReduce 的集群运行模式下，MR 程序将会提交给YARN 集群ResourceManager，分发到多个节点上并发执行。输入数据和输出结果一般位于HDFS 文件系统。

将MapReduce 程序提交集群的实现方法有以下几种：①将程序打包成jar 包，上传到服务器，然后在集群的任意节点上调用Hadoop 命令启动集群执行。②在Linux 的Eclipse 中直接运行main 方法，将程序提交到集群中去运行，但采用此种方法，项目中要带YARN 的配置。③在Windows 的Eclipse 中直接运行main 方法，也可以提交给集群去运行，但需要作更多的修改。