hadoop常用shell命令

一、查看hadoop命令帮助手册

hadoop -help hadoop命令
hadoop fs -help hadoop文件系统命令

二、查看文件

hadoop fs -ls / 查看hdfs根节点下所有文件
hadoop fs -ls /test1 查看hdfs跟几点下的test1文件夹下的所有文件

三、创建目录

hadoop fs -mkdir /test2 在hdfs根节点下创建test2文件夹
hadoop fs -mkdir /test3 在hdfs根节点下创建test3文件夹
hadoop fs -mkdir /test4 在hdfs根节点下创建test4文件夹

四、上传文件

hadoop fs -put ./MinghanSui.txt /test1 将本地当前文件夹中的MinghanSui.txt文件复制到hdfs中test1文件夹
hadoop fs -moveFromLocal ./MinghanSui.txt /test1 将本地当前文件夹中的MinghanSui.txt文件剪切到hdfs中test1文件夹
hadoop fs -appendToFile ./1.txt /test1/MinghanSui.txt 将本地当前文件夹中的1.txt文件追加到hdfs中MinghanSui.txt文件中

五、复制文件

hadoop fs -cp /test1/MinghanSui.txt /test2/ 将test1文件夹下的MinghanSui.txt复制到test2文件夹中
hadoop fs -cp /test1/MinghanSui.txt /test4/ 将test1文件夹下的MinghanSui.txt复制到test4文件夹中

六、移动文件

hadoop fs -mv /test1/MinghanSui.txt /test3/ 将hdfs中test1文件夹下MinghanSui.txt文件移动到test3文件夹中

七、删除文件或文件夹

hadoop fs -rm /test2/Minghansui.txt 删除hdfs中test2文件夹中的MinghanSui.txt文件
hadoop fs -rm -r test2 删除test2文件夹
hadoop fs -rmr /test2 删除test2文件夹（不推荐）

八、下载文件

hadoop fs -get /test3/MinghanSui.txt /home/hadoop 将hdfs中的MinghanSui.txt文件复制到本地hadoop文件夹中
hadoop fs -moveToLocal /test3/MinghanSui.txt /home/hadoop 将hdfs中的MinghanSui.txt文件剪切到本地hadoop文件夹中
hadoop fs -getmerge /test3/MinghanSui.txt /test4/MinghanSui.txt /home/hadoop/2.txt 
将hdfs中的两个MinghanSui.txt文件合并生成成a.txt到本地dadoop文件夹中

九、查看文件

hadoop fs -cat /test3/MinghanSui.txt 查看MinghanSui.txt内容
hadoop fs -tail /test3/MinghanSui.txt 查看MinghanSui.txt内容
hadoop fs -text /test3/MinghanSui.txt 查看MinghanSui.txt内容

十、统计文件数量

hadoop fs -count /test3 统计hdfs中test3文件夹中的文件数量