集群hadoop装机步骤(2)

集群hadoop装机步骤小结 (2)

第五:配置ip

(1)

  打开网络连接中——>编辑连接选项——>选择你当前的网络(出现如下图的窗体)

 集群hadoop装机步骤(2)

 

(2)

   接上——>编辑选项——>ipv4设置(出现如下图的窗体)

集群hadoop装机步骤(2)

地址(添加你们协定好的各自分配的ip)

第六:添加节点(在主机处)

(1)在/etc/hosts文件中添加你的ip和代号形式如下所示:

192.168.1.2  master 

192.168.1.3 s2

192.168.1.3 s3

192.168.1.4 s4

(2)在/usr/local/hadoop/conf/slaves中添加s20(我这台机子的代号)

 

 

 

 

 

 

 

 

 

第七:拷贝密钥

 (1)

   进入master

集群hadoop装机步骤(2)

(2)

   从master那里拷贝密钥实现无密码登录

集群hadoop装机步骤(2)

第八:配置文件

 

(1)用u盘在master机子的/usr/local/hadoop/conf文件夹下拷贝master slaves core-site.xml

Hadf-site.xml mapred-site.xml 以及/etc/hosts文件到同目录下覆盖你的文件

 

注意:如果你的权限存在问题请在命令行运行拷贝过程 示例如下(这里是先移到桌面) 

 

集群hadoop装机步骤(2)

 

第九:启动datanode

包括赋权限给hadoop用户 切换目录 启动datanode 启动tasktracker  jps查看进程

 集群hadoop装机步骤(2)

这里展示的是集群hadoop单个结点(datanode)的配置步骤,这里的配置文件时是直接从master那里拷贝,而master自己是要配置的所以这里展示一下需要配置的文件的具体内容

 首先是/usr/local/hadoop/conf文件夹下的几个文件

core-site.xml

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://master:9000</value>

</property>

</configuration>

 

mapred-site.xml

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>master:9001</value>

</property>

</configuration>

 

hdfs-site.xml

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>dfs.name.dir</name>

<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

 

masters

secondaryname

 

slaves

s2

s3

s4

s5

s20 

另外还有一个/etc/hosts文件的配置比较简单文章已介绍过,不再赘述 

(最后一点:因为我的机子是配过单机版的haoop的所以如果出现的部分结果与我的不同是正常情况)

相关推荐