首页 理论教育 使用Hadoop进行文件处理的命令

使用Hadoop进行文件处理的命令

时间:2023-06-24 理论教育 版权反馈
【摘要】:Hadoop 对于文件处理包括很多种类型的命令,比如hadoop fs、hadoop dfs 和hdfs dfs 都是HDFS 最常用的Shell 命令,用来查看HDFS 文件系统的目录结构、上传和下载数据、创建文件等。在本书中,统一使用“hadoop fs”命令,对HDFS 进行操作。显示目录信息“-ls”查看HDFS 中根路径下的文件目录,输入命令“hadoop fs -ls /”。除此之外,还可以使用命令“hadoop fs -lsr”递归列出匹配Pattern 的文件信息,类似ls,只不过递归列出所有子目录信息。

使用Hadoop进行文件处理的命令

Hadoop 对于文件处理包括很多种类型的命令,比如hadoop fs、hadoop dfs 和hdfs dfs 都是HDFS 最常用的Shell 命令,用来查看HDFS 文件系统的目录结构、上传和下载数据、创建文件等。这三个命令既有联系有又区别:

①hadoop fs:适用于任何不同的文件系统,比如本地文件系统和HDFS 文件系统。

②hadoop dfs:只能适用于HDFS 文件系统。

③hdfs dfs:与“hadoop dfs”命令的作用一样,也只能适用于HDFS 文件系统。

在本书中,统一使用“hadoop fs”命令,对HDFS 进行操作。所有的Hadoop 命令均使用的是“/home/apache/soft/hadoop-2.7.7/bin”目录下的Hadoop 脚本,直接输入“hadoop fs”查看命令,该脚本的使用方法如下:

“hadoop fs”的使用方法有还有很多,以上只是列举出其中一些,该命令与Linux 命令基本相同,这里区分大小写。如果熟悉Linux 操作命令基本不需要解释。下面从实践出发,列举出场景中常用的一些命令。(www.xing528.com)

(1)输出命令参数“-help”

查看命令“rm”的使用方法,输入“hadoop fs -help rm”。除此之外,该命令可以查看很多其他的命令,包括mkdir、put、get 等。

(2)显示目录信息“-ls”

查看HDFS 中根路径下的文件目录,输入命令“hadoop fs -ls /”。除此之外,还可以使用命令“hadoop fs -lsr”递归列出匹配Pattern 的文件信息,类似ls,只不过递归列出所有子目录信息。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈