hadoop集群环境的搭建
hadoop集群环境的搭建
此处所用hadoop版本为2.5.2 可以从官网上下载 然后解压
我是解压在了/usr/hadoop 下 (目录随自己习惯)
设备
192.168.159.31 NameNode
192.168.159.32 DataNode
192.168.159.33 DataNode
================================================================
第一步: 在hdfs-env.sh中 添加 JAVA_HOME
第二步:在yarn-env.sh中 添加 JAVA_HOME
第三步:vim core-site.xml 在<configuration></configuration>中添加
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.159.31:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
第四步:vim hdfs-site.xml 在<configuration></configuration>中添加
<property>
<name>dfs.nameservices</name>
<value>hadoop-cluster1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.159.31:50090</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
第五步:vim marped-site.xml 在<configuration></configuration>中添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>192.168.159.31:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.159.31:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.159.31:19888</value>
</property>
第六步:vim yarn-site.xml 在<configuration></configuration>中添加
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.159.31:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.159.31:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.159.31:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.159.31:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.159.31:8088</value>
</property>
第七步:vim slaves
192.168.159.32
192.168.159.33
第八步:(此步骤需要在各个虚拟机上执行)
在每个虚拟机上 vim /etc/hosts 这样设置的后可以防止hdfs找不到主机
IP 主机名
比如在: 192.168.159.31虚拟机上:
192.168.159.31 node1
=====================================
注意:在启动之前,先设置好NameNode到 DataNode ssh免密码 (很简单 网上都是答案,我不在介绍);防火墙关闭
第九步:
把配置好的hadoop scp到DataNode上即可
最后:在NameNode上
hadoop namenode -format (这个只是格式化下namenode的环境)
启动: sbin目录下 sh start-all.sh
检验:
在NameNode上jps 可以得到类似于这样
3542 Jps
3291 ResourceManager
3063 NameNode
在DataNode上jps得到类似于
2134 NodeManager
2041 DataNode
2247 Jps
最后可以在页面上输入网址:http://192.168.159.31:50070
http://192.168.159.31:8088
结束.