Hadoop学习（五）：HDFS的shell操作
1. HDFS的Shell命令简介
HDFS是存取数据的分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作，如ls、mkdir、rm等。
2. HDFS的Shell命令语法
（1）调用文件系统(HDFS)Shell命令语法格式为：
bin/hadoop fs <args>
args解释：
1. args使用URI路径作为值。
2. URI格式是scheme://authority/path。HDFS的scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。
3. 例如：/parent/child可以表示成hdfs://namenode:namenodePort/parent/child，或者更简单的/parent/child（假设配置文件是namenode:namenodePort）
（2）HDFS的具体shell命令解析
1. –mkdir创建空白文件夹
-mkdir:创建空白文件夹,该命令选项表示创建文件夹，后面跟的路径是在hdfs将要创建的文件夹：
语法： hadoop fs -mkdir < hdfs path>
实例：
hadoop fs -mkdir /hadoop
hadoop fs –mkdir hdfs://Hadoop1:9000/hadoop/dir1
2. –put 上传文件
-put:该命令选项表示把linux上的文件复制到hdfs中：
语法： hadoop fs -put < local file > < hdfs file >
实例：
hadoop fs -put LICENSE.txt /hadoop/LICENSE.txt
hadoop fs –put logs/aa.log hdfs://Hadoop1:9000/hadoop/
3. –copyFromLocal上传文件
-copyFromLocal:该命令除了限定源路径是一个本地文件外,操作与-put一致。
语法：hadoop fs -copyFromLocal < local src > ... < hdfs dst >
实例：
hadoop fs –copyFromLocal logs/tt.out /hadoop/
4. –ls显示当前目录结构
-ls:该命令选项表示查看指定路径的当前目录结构，参数：-R递归显示目录结构，后面跟hdfs路径：
语法：hadoop fs -ls /
实例：
hadoop fs -ls hdfs://Hadoop1:9000/hadoop/
hadoop fs -ls -R hdfs://Hadoop1:9000/
5. –get递归显示当前目录结构
-get:复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息：
语法：hadoop fs -get < hdfs file > < local file or dir>
实例：
hadoop fs –get /hadoop/rr.out /home/rr.out
6. –du统计目录下各文件大小
-du:显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小：
语法： hadoop fs –du < hdfs file >
实例：
hadoop fs –du /hadoop
7. -count统计文件(夹)数量
-count:该命令选项显示指定路径下的文件夹数量、文件数量、文件总大小信息：
语法： hadoop fs –count < hdfs file >
实例：
hadoop fs -count /hadoop
8. –mv移动
-mv:将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件：
语法：hadoop fs -mv < hdfs file > < hdfs file >
实例：
hadoop fs –mv /hadoop/aa.log /hadoop/dir1
9. –cp复制
-cp:将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录：
语法：hadoop fs -cp < hdfs file > < hdfs file >
实例：
hadoop fs –cp /hadoop/ee.out /hadoop/dir2
10. -moveFromLocal从本地移动
-moveFromLocal:将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件：
语法：hadoop fs -moveFromLocal < local src > ... < hdfs dst >
实例：
hadoop fs –move FromLocal /home/localfile1.txt /hadoop
11. -getmerge合并到本地
-moveFromLocal:该命令选项的含义是把hdfs指定目录下的所有文件内容合并到本地linux的文件中将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件:
语法：hadoop fs -getmerge < hdfs dir > < local file >
实例：
hadoop fs -getmerge /hadoop/ /home/localfile2.txt
12. –cat查看文件内容
-cat:将路径指定文件的内容输出到stdout:
语法： hadoop fs –cat < hdfs file >
实例：
hadoop fs –cat /hadoop/ff.log
13. -touchz创建空白文件
-touchz:创建空白文件:
语法： hadoop fs –touchz < hdfs file >
实例：
hadoop fs -touchz /hadoop/touchzFile.txt
14. -tail查看文件尾部内容
-tail:该命令选项显示文件最后1K字节的内容。一般用于查看日志。如果带有选项-f，那么当文件内容变化时，也会自动显示:
语法：hadoop fs -tail –f < hdfs file >
实例：
hadoop fs -tail –f /hadoop/dir1/yy.log
15. -rm删除文件/空白文件夹
-rm:删除指定的文件。只删除非空目录和文件。
语法：hadoop fs –rm < hdfs file >
实例：
hadoop fs –rm /hadoop/dir1/rr.log
16. –rm -r递归删文件
-rm -r :该命令选项表示递归删除指定目录下的所有子目录和文件。
语法： hadoop fs –rm -r < hdfs dir>
实例：
hadoop fs -rm -r /hadoop/dir2