Hadoop HDFS分布式文件系统
引言:我们维护Hadoop系统的时候,必不可少需要对HDFS分布式文件系统做操作,例如拷贝一个文件/目录,查看HDFS文件系统目录下的内容,删除HDFS文件系统中的内容(文件/目录),还有HDFS管理信息,单独启动停止 namenode datanode jobtracker tasktracker等等一系列的操作。大家跟着做一遍呢!就会对HDFS的体系架构有更加深入的理解,不多说我们开始吧。
环境
操作系统:CentOS 6.0
hadoop版本:0.20.2
部署目录:/home/grid/hadoop-0.20.2
名称节点元数据位置:/home/grid/hadoop-0.20.2/tmp
数据节点数据位置:/home/grid/hadoop-0.20.2/data
master节点:h1
slave节点:h2 h4
master 和 slave 节点进程状态 ,现在进程都在启动着
[grid@h1 bin]$ jps
5182 Jps
4600 NameNode
4791 JobTracker
4728 SecondaryNameNode
[grid@h2 ~]$ jps
4471 Jps
3935 DataNode
4012 TaskTracker
[grid@h4 ~]$ jps
4001 TaskTracker
4508 Jps
3924 DataNode
[grid@h1 grid]$ mkdir input linux命令,创建一个input目录
[grid@h1 grid]$ ll
总用量 44
drwxr-xr-x. 14 grid hadoop 4096 9月 2 20:29 hadoop-0.20.2
drwxr-xr-x. 2 grid hadoop 4096 9月 16 19:56 input
drwxr-xr-x. 7 grid hadoop 4096 10月 22 2009 vmware-tools-distrib
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 公共的
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 模板
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 视频
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 图片
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 文档
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 下载
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 音乐
drwxr-xr-x. 3 grid hadoop 4096 9月 2 18:50 桌面
[grid@h1 grid]$ cd input/ linux命令,进入目录
[grid@h1 input]$ echo "hello leonarding" > test1.txt linux命令,把字符串"hello leonarding"重定向到test1.txt
[grid@h1 input]$ echo "hello world" > test2.txt linux命令,把字符串"hello world"重定向到test2.txt
[grid@h1 input]$ cat test1.txt linux命令,查看test1.txt文件内容
hello leonarding
[grid@h1 input]$ cat test2.txt linux命令,查看test2.txt文件内容
hello world
[grid@h1 input]$ cd ../hadoop-0.20.2/ linux命令,进入hadoop-0.20.2目录
[grid@h1 input]$ cd /usr/java/jdk1.6.0_25/bin
[grid@h1 bin]$ jps 直接输入jps=java进程统计
28037 NameNode 名称节点
32455 Jps
28220 SecondaryNameNode 辅助名称节点
28259 JobTracker 作业跟踪器
环境
操作系统:CentOS 6.0
hadoop版本:0.20.2
部署目录:/home/grid/hadoop-0.20.2
名称节点元数据位置:/home/grid/hadoop-0.20.2/tmp
数据节点数据位置:/home/grid/hadoop-0.20.2/data
master节点:h1
slave节点:h2 h4
master 和 slave 节点进程状态 ,现在进程都在启动着
[grid@h1 bin]$ jps
5182 Jps
4600 NameNode
4791 JobTracker
4728 SecondaryNameNode
[grid@h2 ~]$ jps
4471 Jps
3935 DataNode
4012 TaskTracker
[grid@h4 ~]$ jps
4001 TaskTracker
4508 Jps
3924 DataNode
[grid@h1 grid]$ mkdir input linux命令,创建一个input目录
[grid@h1 grid]$ ll
总用量 44
drwxr-xr-x. 14 grid hadoop 4096 9月 2 20:29 hadoop-0.20.2
drwxr-xr-x. 2 grid hadoop 4096 9月 16 19:56 input
drwxr-xr-x. 7 grid hadoop 4096 10月 22 2009 vmware-tools-distrib
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 公共的
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 模板
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 视频
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 图片
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 文档
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 下载
drwxr-xr-x. 2 grid hadoop 4096 9月 1 13:55 音乐
drwxr-xr-x. 3 grid hadoop 4096 9月 2 18:50 桌面
[grid@h1 grid]$ cd input/ linux命令,进入目录
[grid@h1 input]$ echo "hello leonarding" > test1.txt linux命令,把字符串"hello leonarding"重定向到test1.txt
[grid@h1 input]$ echo "hello world" > test2.txt linux命令,把字符串"hello world"重定向到test2.txt
[grid@h1 input]$ cat test1.txt linux命令,查看test1.txt文件内容
hello leonarding
[grid@h1 input]$ cat test2.txt linux命令,查看test2.txt文件内容
hello world
[grid@h1 input]$ cd ../hadoop-0.20.2/ linux命令,进入hadoop-0.20.2目录
[grid@h1 input]$ cd /usr/java/jdk1.6.0_25/bin
[grid@h1 bin]$ jps 直接输入jps=java进程统计
28037 NameNode 名称节点
32455 Jps
28220 SecondaryNameNode 辅助名称节点
28259 JobTracker 作业跟踪器
相关推荐
WeiHHH 2020-09-23
tomli 2020-07-26
eternityzzy 2020-07-19
飞鸿踏雪0 2020-07-09
swazerz 2020-06-22
ViMan0 2020-06-21
zzjmay 2020-06-08
sujins 2020-06-05
strongyoung 2020-06-01
sujins 2020-05-30
sujins 2020-05-29
archive 2020-05-28
憧憬 2020-08-21
zzjmay 2020-07-04
zzjmay 2020-05-17
ViMan0 2020-05-06
zzjmay 2020-04-09