使用Hadoop进行文件处理的命令

Hadoop 对于文件处理包括很多种类型的命令，比如hadoop fs、hadoop dfs 和hdfs dfs 都是HDFS 最常用的Shell 命令，用来查看HDFS 文件系统的目录结构、上传和下载数据、创建文件等。这三个命令既有联系有又区别：

①hadoop fs：适用于任何不同的文件系统，比如本地文件系统和HDFS 文件系统。

②hadoop dfs：只能适用于HDFS 文件系统。

③hdfs dfs：与“hadoop dfs”命令的作用一样，也只能适用于HDFS 文件系统。

在本书中，统一使用“hadoop fs”命令，对HDFS 进行操作。所有的Hadoop 命令均使用的是“/home/apache/soft/hadoop-2.7.7/bin”目录下的Hadoop 脚本，直接输入“hadoop fs”查看命令，该脚本的使用方法如下：

“hadoop fs”的使用方法有还有很多，以上只是列举出其中一些，该命令与Linux 命令基本相同，这里区分大小写。如果熟悉Linux 操作命令基本不需要解释。下面从实践出发，列举出场景中常用的一些命令。(www.xing528.com)

（1）输出命令参数“-help”

查看命令“rm”的使用方法，输入“hadoop fs -help rm”。除此之外，该命令可以查看很多其他的命令，包括mkdir、put、get 等。

（2）显示目录信息“-ls”

查看HDFS 中根路径下的文件目录，输入命令“hadoop fs -ls /”。除此之外，还可以使用命令“hadoop fs -lsr”递归列出匹配Pattern 的文件信息，类似ls，只不过递归列出所有子目录信息。