Ubuntu 12.04 LTS 下Hadoop 伪分布式搭建

怎么在Ubuntu 12.04 LTS 下搭建伪分布式的Hadoop不是一个问题，问题是配好了让这玩意启动真是头疼了。 

1. 创建那几个配置xml

=================

这个网页：传送门上面是怎么在独立模式和伪分布式模式下创建hadoop要用的站点，hdfs和mapred的简单配置文件 

2. 格式化一个hdfs namenode出来

=================

用

hadoop namenode -format

直接能格式化一个namenode

3. 格式化一个hdfs namenode出来

=================

启动hadoop

在终端上输入：（Hadoop为1.1.2版本）

start-all.sh

自动就能启动hadoop几个守护进程

4. 查看启动状态

=================

键入jps，如果启动成功，能够看到：

15287 DataNode
15029 NameNode
15649 JobTracker
15904 TaskTracker
15548 SecondaryNameNode

5.查错

=================

1. 权限问题：

在启动的时候，可能会看到一系列 没有访问权限的错误。

打开hadoop-env.sh

注意以下几个被环境变量标注的文件夹的读写权限：

必须有读权限的：HADOOP_CONF_DIR

必须有写权限的：HADOOP_LOG_DIR、HADOOP_SECURE_DN_LOG_DIR、HADOOP_PID_DIR、 HADOOP_SECURE_DN_PID_DIR

HADOOP_CONF_DIR如果没有读权限，则无法读取配置文件

HADOOP_LOG_DIR、HADOOP_SECURE_DN_LOG_DIR、HADOOP_PID_DIR、 HADOOP_SECURE_DN_PID_DIR没有写权限，则无法写入日志和一些重要数据

2. 没有权限问题，但是貌似也没有启动

这种情况多数是由于配置文件没有找到导致的。

HADOOP_CONF_DIR是hadoop的配置文件存放的地方，如果你没有额外制定，则脚本中的这句话中

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"} 加粗的部分就是默认的配置目录，上面编辑的那几个XML必须放这个目录里，不然hadoop找不到，守护进程无法启动！

相关阅读：