Ubuntu 14.04下Hadoop 2.7.2安装配置详述

cache00

2017-11-10

关注关注

注意：以下实践实在Ubuntu 14.0.4以及Hadoop2.7.2所做的，如果环境不同，效果可能不理想。

首先，以下默认我们已经下载好了jdk以及hadoop的压缩包，没有的话，需要这里->JDK下载 | Hadoop下载下载

一. 配置jdk

Ubuntu默认是使用的OpenJDK，似乎也可以，不过因为惯性，我还是先配置了Sun的JDK，以防万一。

修改环境文件

运行命令：sudo gedit ~/.bashrc
末尾另起一行加入

export JAVA_HOME=[your_jdk_path]
    export  PATH=$JAVA_HOME/bin:$PATH
    export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib

例如：

二. 设为默认jdk

命令行中输入命令

sudo update-alternatives --install /usr/bin/java java [your_jdk_path]/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac [your_jdk_path]/bin/javac 300

例如：

sudo update-alternatives --install /usr/bin/java java /home/lq/jdk1.8/bin/java 300`
sudo update-alternatives --install /usr/bin/javac javac /home/lq/jdk1.8/bin/javac 300`

三. 配置ssh:

因为是hadoop伪分布试配置，hadoop需要设置ssh登录，一般设为无密码登录
1. 安装SSH server

运行命令：sudo apt-get install openssh-server
2. 登录

运行命令：ssh localhost
3. 配置无密码登录

运行以下4条命令：

exit #退出刚才的 ssh localhost

cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost

ssh-keygen -t rsa # 会有提示，都按回车就可以

cat ./id_rsa.pub >> ./authorized_keys # 加入授权

四. 配置Hadoop环境

运行命令：
sudo gedit ~/.bashrc
末尾加入如下语句：

export HADOOP_HOME=[your_hadoop_path]
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

例如：

export HADOOP_HOME=/home/lq/hadoop-2.7
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

五. 修改Hadoop默认的配置文件

修改hadoop-env.sh文件

在文件中找到export JAVA_HOME=${JAVA_HOME}，修改为export JAVA_HOME=[your_jdk_path]

例如： export JAVA_HOME=/home/lq/jdk1.8

在hadoop的目录中找文件夹etc，修改其中的core-site.xml

<configuration>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>file:[your_hadoop_temp_path]</value>//这里填写的是你的hadoop的临时文件夹，一般放到hadoop_home文件夹的目录下
    <description>Abase for other temporary directories.</description>
    </property>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
    </property>
</configuration>

例如：

<configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/home/lq/hadoop-2.7/tmp</value>
            <description>Abase for other temporary directories.</description>
        </property>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

修改hdfs-site.xml文件

<configuration>
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>file:[your_hadoop_temp_path]/tmp/dfs/name</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>file:[your_hadoop_temp_path]/tmp/dfs/data</value>
       </property>
   </configuration>

例如：

<configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/home/lq/hadoop-2.7/tmp/dfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/home/lq/hadoop-2.7/tmp/dfs/data</value>
        </property>
    </configuration>