如何在Eclipse中创建MapReduce项目及实现步骤

（1）项目创建。

1）在任意目录下运行start-all.sh.启动hadoop，输入jps检查是否启动成功。

2）创建Map Reduce项目，创建一个MapReduce Project，点击eclipse主菜单上的File→New→Project→other，在弹出的对话框中选择MapReduce Project，输入Project的名称PhoneFlowClean。如图4-17所示。

图4-17　创建Project名称

3）创建包，选中src右键创建包，如图4-18所示。

4-18　创建包

4）输入包名称为：com.xpjy.mr，如图4-19所示。

图4-19　创建包名称

5）在包下新建一个类，如图4-20所示。(www.xing528.com)

图4-20　创建新类

6）创建类名为PhoneFlowDC，如图4-21所示。

图4-21　创建类名

（2）代码实现。

用户手机流量数据集存放在HDFS的“//master：9000/user/Phone_data/input_path”目录下；统计结果保存在“HDFS：//master：9000/user/Phone_data/output_path/”目录下的part-r-00000文件中；类MyMapper对数据格式进行转换，提取用户的IP地址、上行数据包数、下行数据包、上行总流量和下行总流量等信息，并进行Map操作；myreducers类依据Map的结果，进行reduce操作。类MyWriterble将读取的字符串转化为可序列化文本类型；PhoneFlowDC类具体实现代码如下。