hadoop的搭建

one night in Beijing,地铁挤得要命.........

重新梳理下hadoop的搭建吧,毕竟有人说过,没搭过4、5遍hadoop的人不能算是真的会搭建

这次搭建的方法是利用VMWare10和CentOS的虚拟机环境,因为有些人感觉利用Linux的vi编辑不好用,所以我们可以利用winscp来对几个配置文件内容进行修改。

下面是搭建的过程:

1.修改主机名

1.1查看主机名:  hostname

1.2修改主机名:  vi /etc/sysconfig/network

1.3将主机名hostname与ip绑定:  vi /etc/hosts,增加一行内容例如:

  192.168.80.100   hadoop验证:ping hadoop

2.关闭防火墙

2.1查看防火墙状态:service iptables status

2.2关闭:service iptables stop

2.3关闭防火墙自动启动功能:chkconfig iptables off

3.设置ssh无密码登陆

3.1产生秘钥:ssh-keygen -t rsa 位于~/.ssh文件夹

3.2cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3.3验证:ssh localhost

exit (localhost退出)

exit (终端退出)

4.安装jdk

4.1用winscp将hadoop压缩包和jdk复制到/root/Downloads目录下

4.2  cd /usr/local

    rm -rf *  (删除所有)

4.3复制文件:  cp /root.Downloads/*  .

4.4给文件添加执行权限:chmod u+x jdk-6u24-linux-i586.bin

4.5安装jdk:  ./jdk-6u24-linux-i586.bin

4.6重命名:mv jdk1.6.0_24  jdk

4.5配置变量:vi etc/profile

  在# /etc/profile下添加export JAVA_HOME=/usr/lcoal/jdk

                        export PATH=.:$JAVA_HOME/bin:$PATH

  保存退出之后执行命令  source /etc/profile  让文件生效

  java -version检查jdk信息

5.安装hadoop

5.1解压:tar -zxvf hadoop-1.1.2.tar.gz

5.2重命名:mv hadoop-1.1.2  hadoop

5.3配置到环境中:vi etc/profile

  在# /etc/profile下添加export HADOOP_HOME=/usr/local/hadoop

  将export PATH=.:$JAVA_HOME/bin:$PATH

  修改为export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

  保存退出之后执行命令  source /etc/profile  让文件生效

5.4修改/usr/local/hadoop/conf下的配置文件hadoop-env.sh、core-site.xml

  hdfs-site.xml、mapred-site.xml(参考博客,用winscp改,注意主机名的区别)

6.运行

6.1格式化:hadoop  namenode  -format

6.2启动:start-all.sh

6.3检查进程启动情况:jps

6.4更改hosts文件:/system32/drivers/etc  添加一行:192.168.80.100  hadoop

        然后可以在windows下访问   hadoop:50030   hadoop:50070 检查mr任务执行情况

以上是单机情况下的伪分布式搭建,至于真正的集群搭建的注意事项等以后总结了在 继续更新博客。

补充:网上的介绍ssh的文章:http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.html

          安装pig hbase hive可以用wget 例如:

          wget http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.3.0-cdh5.0.2.tar.gz(需要下载的文件地址)

相关推荐