HDFS
HDFS基本操作
hdfs dfsadmin查看命令
hdfs基本操作
查看目录
hdfs dfs -ls/ [-d] [-h] [-r] 大写
-d:将path作为一个普通文件输出文件信息
-h格式化输出文件及目录信息
-r递归列出目录下的内容
新建文件 创建 递归创建
hdfs dfs -mkdir -p /usr/root/txtdir
上传文件
hdfs dfs -put [-f] [-p] [-l] <本地路径> <目标路径> hdfs dfs -put /opt/a.txt /usr/root//txtdir
-f覆盖目标路径，如果存在的话
-p保留文件原有的属性及权限
-l允许DataNode延迟持久化文件到磁盘
查看文件
hdfs dfs -cat /usr/root/txtdir/a.txt
合并本地小文件并上传
hdfs dfs -appendToFile a.txt b.txt /usr/root/txtdir/merge.txt
把服务器上的文件合并下载到本地
hdfs dfs -getmerge /usr/root/txtdir /opt/merge
直接下载用-get
删除文件
hdfs dfs [-rm [-f] [-r] <src>]
[-r]递归删除
[-f]文件不存在不要显示诊断信息
1、HDFS的基本命令格式为：
命令：hdfs dfs -cmd <args>
注：cmd就是具体的命令，cmd前面的“-”千万不能省略。
本人已经设置了环境变量，则可以在任意的路径下可直接使用hdfs，否则进入hadoop安装路径HADOOP_HOME后，使用如下指令：./bin/hdfs dfs -cmd <args>
2、列出文件目录：
命令：hdfs dfs -ls 路径
3、在HDFS创建文件夹：
命令：hdfs dfs -mkdir 文件夹名称
命令：级联创建一个文件夹，即类似这样一个目录：/mybook/input，则 hdfs fs -mkdir -p 文件夹名称
4、上传文件至HDFS
命令：hdfs dfs -put 源路径 目标存放路径
5、从HDFS上下载文件
命令：hdfs dfs -get HDFS文件路径 本地存放路径
6、查看HDFS上某个文件的内容
命令：hdfs dfs -text(或cat) HDFS上的文件存放路径
7、统计目录下各文件的大小（单位：字节B）
命令：hdfs dfs -du 目录路径
8、删除HDFS上某个文件或者文件夹
命令：hdfs dfs -rm 文件存放文件
hdfs dfs -rm -r 文件存放文件
9、使用help命令寻求帮助
命令：hdfs dfs -help 命令