hdfs 进入文件夹_HDFS常用命令

在 hdfs 文件系统上创建一个 input 文件夹

bin/hdfs dfs -mkdir -p /user/anna/input

将测试文件内容上传到文件系统上

bin/hdfs dfs -put wc.input /user/anna/input

查看上传的文件是否正确

bin/hdfs dfs -cat /user/anna/input/wc.input

运行 mapreduce 程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/anna/input/ /user/anna/output

查看输出结果

命令行查看：

bin/hdfs dfs -cat /user/anna/output/p*

将测试文件内容下载到本地

hadoop fs -get /user/output/p* /opt/module/hadoop

删除输出结果

hdfs dfs -rmr /user/anna/output

递归查看根目录下下所有文件和文件夹

hadoop fs -lsr /

从本地剪切粘贴到hdfs

hadoop fs -moveFromLocal test /user/anna/test

追加一个文件到已经存在的文件的末尾

hadoop fs -appendToFile appendTest.txt /user/anna/test/test(将appendTest.txt追加到hdfs中的test文件下)

显示文件的末尾

hadoop fs -tail /user/anna/test/test

修改文件所属权限

-chgrp

-chown

-chmod

hadoop fs -chown anna:anna /user/anna/test/test

从本地文件系统中拷贝文件到 hdfs 路径去

-copyFromLocal：

hadoop fs -copyFromLocal copy.txt /user/anna/test

从 hdfs 拷贝到本地

-copyToLocal：

hadoop fs -copyToLocal /user/anna/test/copy.txt /opt/module

从 hdfs 的一个路径拷贝到 hdfs 的另一个路径

-cp

hadoop fs -cp /user/anna/input/wc.input /user/anna/test

在 hdfs 目录中移动文件

-mv：

hadoop fs -mv /user/anna/test/wc.input /

-get：等同于 copyToLocal，就是从 hdfs 下载文件到本地

hadoop fs -get /user/anna/input/wc.input /opt/module

-getmerge ：合并下载多个文件，比如 hdfs 的目录 /aaa/下有多个文件:log.1,log.2,log.3,...

hadoop fs -getmerge /user/anna/input /opt/module/new.txt

注意只能合并文件夹下的文件

-put：等同于 copyFromLocal

hadoop fs -put data/ /user/anna/test

-rm：删除文件

-rmdir：删除空目录

-df ：统计文件系统的可用空间信息

hadoop fs -df -h /

Filesystem Size Used Available Use%

hdfs://master:9000 43.9 G 204 K 28.7 G 0%

-du 统计文件夹的大小信息

hadoop fs -du /

186 /user

100 /wc.input

hadoop fs -du -s /

统计根目录下文件夹大小总数

-setrep：设置 hdfs 中文件的副本数量

hadoop fs -setrep 2 /user/anna/input/wc.input