第一个hadoop配置过程

软件环境:
OS:RHEL 6
JDK:openjdk
eclipse:kepler



1.安装JDK
    1.配置环境变量,打开/etc/profile,添加下列代码:
    export JAVA_HOME=/usr/lib/jvm/java-openjdk
    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin

2.安装hadoop
    1.下载hadoop-2.2.0.tar.gz,解压到/hadoop
    2.配置环境变量,打开/etc/environment,添加下列代码:
    export HADOOP_HOME=/hadoop
    export PATH=/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin:/root/bin:/hadoop/bin:/hadoop/sbin

3.写入两批环境变量
# source /etc/profile
# source /etc/environment

4.查看是否安装hadoop成功
# hadoop version

5.安装hadoop-eclipse插件
    1.下载hadoop-eclipse-kepler-plugin-2.2.0.jar  (必须和安装的hadoop是同一版本)
    2.拷贝到kepler-eclipse的plugins文件夹下

6.修改hadoop下的配置文件
core-site.xml修改为:

<configuration>
    <property> 
        <name>fs.default.name</name> 
        <value>hdfs://localhost:9000</value> 
    </property> 
</configuration>

hdfs-site.xml修改为:

<configuration>
    <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
</configuration>

mapred-site.xml修改为:

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:8021</value>
    </property>
</configuration>

hadoop-env.sh修改JAVA_HOME为:

export JAVA_HOME=/usr/lib/jvm/java-openjdk

7.配置SSH的localhost免密码登录
# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/autorized_keys

8.格式化hdfs文件系统
# hadoop namenode -format

9.启动守护进程
# start-all.sh
(关闭守护进程:# stop-all.sh)

10.配置eclipse里面的DFS Location
(1)打开Window-->Preferens,会发现Hadoop Map/Reduce选项,在这个选项里需要填写Hadoop安装目录。
(2)在Window-->Show View中打开Map/Reduce Locations。
(3)在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键-->New Hadoop Location。

(4)随意命名location name

(5)Map/Reduce master的配置按照mapred-site.xml的配置

(6)DFS master 的配置按照hdfs-site.xml的配置

(7)project explore 下的DFS loacations 下的DFS能打开,即可。


11.新建map/reduce项目
...
 

相关推荐