Hadoop 对于文件处理包括很多种类型的命令,比如hadoop fs、hadoop dfs 和hdfs dfs 都是HDFS 最常用的Shell 命令,用来查看HDFS 文件系统的目录结构、上传和下载数据、创建文件等。这三个命令既有联系有又区别:
①hadoop fs:适用于任何不同的文件系统,比如本地文件系统和HDFS 文件系统。
②hadoop dfs:只能适用于HDFS 文件系统。
③hdfs dfs:与“hadoop dfs”命令的作用一样,也只能适用于HDFS 文件系统。
在本书中,统一使用“hadoop fs”命令,对HDFS 进行操作。所有的Hadoop 命令均使用的是“/home/apache/soft/hadoop-2.7.7/bin”目录下的Hadoop 脚本,直接输入“hadoop fs”查看命令,该脚本的使用方法如下:
“hadoop fs”的使用方法有还有很多,以上只是列举出其中一些,该命令与Linux 命令基本相同,这里区分大小写。如果熟悉Linux 操作命令基本不需要解释。下面从实践出发,列举出场景中常用的一些命令。(www.xing528.com)
(1)输出命令参数“-help”
查看命令“rm”的使用方法,输入“hadoop fs -help rm”。除此之外,该命令可以查看很多其他的命令,包括mkdir、put、get 等。
(2)显示目录信息“-ls”
查看HDFS 中根路径下的文件目录,输入命令“hadoop fs -ls /”。除此之外,还可以使用命令“hadoop fs -lsr”递归列出匹配Pattern 的文件信息,类似ls,只不过递归列出所有子目录信息。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。