hadoop安装及配置流程

Hadoop环境配置以及安装过程：

<!--[1、Linux系统安装，以及网络的搭建

1.1 网络的选择为host-only模式

1.2 启动vmwave的虚拟网络配置器

1.3修改ip地址，将VMware网络配置器中的iP地址设置成192.168.80.1，在Linux中网络连接中将连接更改为manual（自定义），并设定ip地址192.168.80.X，只需要网关为192.168.80.1

1.4 验证ip地址设定是否成功，在本机cmd模式下，ping 192.168.80.X，并在Linux中终端ping 192.168.80.1,若能ping通，则网络设置成功。

2、主机名的更改，绑定iP与主机名

2.1 执行命令hostname demo1,将主机名修改为demo1

2.2 执行命令vi /etc/hosts ,并将192.168.80.9  demo1, 添加至文件中，保存并退出

2.3 执行命令 vi /etc/sysconfig/network ,将hostname 的值修改为demo1，保存退出

2.4 执行命令source /etc/sysconfig/network ，激活文件

3、安装jdk

3.1 拷贝文件，使用winscp将jdk文件、Hadoop文件拷贝至/usr/local 文件下

3.2 执行命令 ./jdk-6u24-linux-i585.bin得到文件jdk-----

3.3 执行命令mv jdk----   jdk 将文件名修改为jdk

3.4 配置环境变量 执行vi /etc/profile 打开文件profile，并添加

Export JAVA_HOME=/usr/local/jdk

Export PATH=.:$PATH:$JAVA_HOME/bin

3.4 保存关闭后，在shell命令下执行source  /etc/profile 来激活配置文件

3.5 使用Java、javac、Java -version来验证是否安装成功

4、关闭防火墙

4.1 执行命令service iptables status 来查看防火墙的状态消息

4.2 执行命令 service iptables stop 来关闭防火墙

4.3 执行命令chkconfig iptables off 来关闭防火墙的自动运行

4.4 执行命令chkconfig --list | grep iptables 来查看是否关闭服务自动启动设置

5、设置SSH免密码登陆

5.1 执行命令 cd /root/.ssh 切换到文件.ssh文件下

5.2 执行命令ssh-keygen -t rsa 来创建公钥，ssh-keygen -t  rsa”表示使用 rsa 加密方式生成密钥

5.3 执行命令cp id_rsa.pub authorized_keys 将文件复制至authorized_keys中

5.4 验证连接 ssh localhost ,并执行exit返回至.ssh文件下

6、安装Hadoop

6.1 执行命令 tar -zxvf hadoop-1.1.2.tar.gz 解压Hadoop压缩文件

6.2 执行命令mv hadoop-1.1.2 hadoop 将文件名修改为Hadoop

6.3 修改环境变量 ：执行命令 vi  /etc/profile，添加

Export  HADOOP_HOME=/usr/local/hadoop

修改　　ＰＡＴＨ＝．：＄ＨＡＤＯＯＰ＿ＨＯＭＥ／ＢＩＮ：＄ＪＡＶＡ＿ＨＯＭＥ／ＢＩＮ：＄ＰＡＴＨ(在配置环境变量时PATH=.....必须放在最后，否则将无法识别在PATH后面的变量)

2014-08-18

Hdfs文件系统下的命令：

Hadoop fs -ls:显示hdfs下的文件

Hadoop fs -lsr:递归查询hdfs系统下所有的文件

Hadoop fs -mkdir ./d1:在hdfs系统的home目录下创建一个文件夹d1

Hadoop fs -put <原路径> <目的路径>：把数据上传到目的路径

Hadoop fs -get <原路径> <目的路径> ：把数据从原路径下载到目的路径下

Hadoopfs -tetx <文件>：查看文件

Hadoop fs -rm:删除文件

Hadoop fs -rmr :删除目录