Hadoop伪分布搭建图文教程
Hadoop伪分布搭建
环境：Centos6.5、jdk1.6.45、hadoop2.2.0
当前环境：基于windows8.1系统的VMware虚拟机
安装Centos6.5linux系统
……
Linux环境配置
1. 设置IP
Hadoop伪分布环境搭建的网络模式采用主机模式(Host-only)
设置windows虚拟机网卡VMware Network Adapter VMnet1的IP，如下图：
设置虚拟网络编辑器的VMnet1的网卡信息，如下图所示：
请注意：虚拟网卡的IP与windows系统的VMware Network Adapter VMnet1的IP必须在同一网段，这是为了可以在windows系统下使用浏览器查看HDFS界面。
设置linux系统的IP，执行如下图所示的命令：
编辑内容，新增和修改内容内容如下红色标注的部分
修改完成后，退出保存。如果出现下图提示，说明当前账户没有权限修改内容。
然后需要为当前账户增加权限。强制退出vim编辑模式(q!)
执行下图命令，为当前账户增加修改系统文件的权限
修改内容如下：
保存退出后(wq!)，重新设置linux系统的IP，如下图：
重启linux系统之后，配置的IP生效。
2. 设置主机名
配置主机名的文件为系统文件，在/etc/network文件中，修改的时候，需要使用sudo命令，如下图
重启linux系统后，配置的主机名生效。
3. 设置主机名与IP的映射关系
执行如下图的命令：
重启linux系统之后生效。
4. 重启linux系统使配置生效
安装jdk
……(安装后需要重启linux系统)
(Centos系统环境变量在“/etc/profile”中设置；Ubuntu系统的环境变量在“~/.bashrc”中设置。设置完成之后，都需要“source”下)
Hadoop源码编译
Apache Hadoop官网上放出的hadoop2.2.0安装包是基于32位操作系统的，在64位操作系统上使用是会出为题的，需要重新编译hadoop2.2.0的64位安装包。
1. 安装Maven
请注意：hadoop2.2.0源码编译请使用apache-maven-3.0.5-bin.tar.gz版本，使用其他版本编译可能会出现问题。
解压maven安装与/home/hadoop/hadoop目录下。
执行命令：tar –zxvf apache-maven-2.0.5-bin.tar.gz解压maven安装包
配置maven的环境变量
执行命令：source /etc/profile是配置文件生效
2. 安装fingbugs
findbugs是用于生成文档的。如果不需要编译生成文档，可以不执行该步骤。
执行命令：tar –zxvf findbugs-2.0.3.tar.gz –C /home/hadoop/hadoop解压findbugs到指定目录下。
配置findbugs环境变量
执行命令：source /etc/profile使配置文件生效
3. 安装必须的基本工具
如下图所示，使用命令：rpm –qa|grep xxx检查是否已安装了软件。
如果没有安装，这是用命令：sudo yum install xxx安装软件(注意：需要联网)。
按照下图顺序安装软件
(Ubuntu14.04版本的linux系统可以只安装sudo apt-get install cmake、sudo apt-get install g++、sudo apt-get install libssl-dev)
4. 安装protoc
hadoop使用protocol buffer通信。为了编译安装protoc，需要下载几个工具，顺序执行以下命令：yum install gcc 、yum intall gcc-c++ 、 yum install make
(Ubuntu系统这需要sudo apt-get install g++)
执行命令：tar -zxvf protobuf-2.5.0.tar.gz解压安装包到当前目录
进入到解压文件夹的目录下，依次执行命令：
1) ./configure --prefix=/home/hadoop/hadoop/protoc/
2) make
3) make install
执行完上述三条命令后，会在/home/hadoop/hadoop/生成一个protoc文件夹
然后配置环境变量
5. Hadoop源码编译(注意：需要联网)
执行以下命令解压缩hadoop2.2.0
tar -zxvf hadoop-2.2.0-src.tar.gz
会生成一个文件夹 hadoop-2.2.0-src。源代码中有个bug，这里需要修改一下，编辑目录/usr/local/hadoop-2.2.0-src/hadoop-common-project/hadoop-auth中的文件pom.xml，执行以下命令
vim pom.xml
在第55行下增加以下内容
<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jetty-util</artifactId>
<scope>test</scope>
</dependency>
保存退出即可。
现在进入到目录/../hadoop-2.2.0-src中，执行命令
mvn package -DskipTests -Pdist,native,docs –Dtar
在执行命令之前，需要确定源码包的所属用户和所属组，如果使用的是一般用户，这需要修改源码包的所属用户和所属组为一般用户。
如果没有执行第2步，把上面命令中的docs去掉即可，就不必生成文档了。等待命令执行完成。如果命令执行失败，可以再次使用：
mvn clean package -DskipTests -Pdist,native,docs –Dtar再次编译源码
编译后的代码在/../hadoop-2.2.0-src/hadoop-dist/target文件夹中。
安装Hadoop
将hadoop2.2.0.tar.gz解压到/home/hadoop/hadoop目录下。
使用命令：tar –zxvf hadoop2.2.0.tar.gz –C /home/hadoop/hadoop
修改配置文件:
1) 修改hadoop-env.sh文件
修改JAVA_HOME的路径
2) 修改core-site.xml文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/tmp</value>
</property>
</configuration>
3) 修改hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4) 修改mapred-site.xml文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5) 修改yarn-site.xml文件
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
配置环境变量
执行命令：sudo vim /etc/profile
使用命令：source /etc/profile使配置生效。
使用命令：hdfs namenode -format格式化hadoop
启动hadoop(入股哦没有配置免密码登陆，启动过程中需要输入密码)
启动YARN
测试50070、8088