hadoop的部署总共有3种类型

基于yarn平台的Hadoop2.2.0在前几天已经发布稳定版本了 
新版本解决了1.x中的NameNode,JobTracker单点故障问题,使用yarn统一了分布式开发的集群平台,给集群的资源管理及部署大大提供了便利。目前大多数公司使用的还是1.x的hadoop,那么散仙今天伪分布式的部署,使用的是Apache1.2的hadoop稳定版本,关于2.x的hadoop的部署,散仙会在后面的文章中给出例子。下面进入正题。



hadoop的部署总共有3种类型,分别是单机版,单机伪分布式版,以及完全分布式集群三种类型,只要熟悉一些Linux的一些基本操作就能很快上手,当然前提是你还有一定的Java基础,毕竟Hadoop的就是用Java编写的。


关于JDK环境变量的设置及SSH无验证登陆的配置(可以参考的我的上一篇文章),散仙就不在这里详细说明了,
网上搜一下,有很多讲解的。单机版以及伪分布式的部署,只需要一个节点即可,首先我们要在在设置主机名,使用vi /etc/sysconfig/network 进行修改并保存。


hadoop的部署总共有3种类型

然后,我们在hosts文件里配置,主机名与IP的映射关系
使用命令 vi /etc/hosts进行保存修改即可


hadoop的部署总共有3种类型

然后拷贝已经下载的好的hadoop压缩包,至根目录,并解压,首先我们需要配置的是在conf下的hadoop-env.sh这个文件,使用vi  hadood-env.sh进行取消注释的JAVA HOME,然后把我们自己的JDK路径设置上,并保存

hadoop的部署总共有3种类型

接下来需要配置的是conf下的core.site.xml这个文件
,添加
<property>
<name>fs.default.name</name>
<value>hdfs://Master:9000</value>
</property>


hadoop的部署总共有3种类型

下一步需要配置的是hdfs的副本个数,因为我们是单机的所以副本数应该为1,默认是3,如果节点数比3少那么hadoop会启动报错。编辑文件
hdfs.site.xml添加
<property>
<name>dfs.replication</name>
<value>1</value>
</property>



hadoop的部署总共有3种类型
到这一步,其实已经可以启动HDFS的集群了,但是为了演示完整,我们把JobTracke也配置一下。编辑文件mapred-site.xml添加

<property>
<name>mapred.job.tracker</name>
<value>Master:9001</value>
</property>

hadoop的部署总共有3种类型

到此步,我们已经配置完毕,再准备启动我们的集群前,还有一项重要的工作要做,就是需要格式化我们的namenode,进行hadoop根目录,然后执行bin/hadoop namenode -format即可

hadoop的部署总共有3种类型

hadoop的部署总共有3种类型
现在就可以启动我们的hadoop了,执行命令,
bin/start-all.sh


hadoop的部署总共有3种类型
使用JPS命令查看端口情况,检测启动是否成功

hadoop的部署总共有3种类型

最后,为了方便测试,散仙把防火墙关闭了,如果是在生产环境中,可以在IP里设置Hadoop的对外开放端口,千万不能关闭防火墙,很危险的一件事,当然我们这里是测试,才这么做的,执行命令  service iptables stop

hadoop的部署总共有3种类型
最后,我们在Win上访问Linux的服务,访问地址如下
:master:50030,以及master:50070,查看Hadoop的Web管理页面。


hadoop的部署总共有3种类型

hadoop的部署总共有3种类型

至此,我们的伪分布式模式就部署成功了,如果想要停止集群服务,可以使用bin/stop-all.sh命令,来停止服务。

相关推荐