第一个hadoop配置过程
软件环境:
OS:RHEL 6
JDK:openjdk
eclipse:kepler
1.安装JDK
1.配置环境变量,打开/etc/profile,添加下列代码:
export JAVA_HOME=/usr/lib/jvm/java-openjdk
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
2.安装hadoop
1.下载hadoop-2.2.0.tar.gz,解压到/hadoop
2.配置环境变量,打开/etc/environment,添加下列代码:
export HADOOP_HOME=/hadoop
export PATH=/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin:/root/bin:/hadoop/bin:/hadoop/sbin
3.写入两批环境变量
# source /etc/profile
# source /etc/environment
4.查看是否安装hadoop成功
# hadoop version
5.安装hadoop-eclipse插件
1.下载hadoop-eclipse-kepler-plugin-2.2.0.jar (必须和安装的hadoop是同一版本)
2.拷贝到kepler-eclipse的plugins文件夹下
6.修改hadoop下的配置文件
core-site.xml修改为:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml修改为:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml修改为:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>
hadoop-env.sh修改JAVA_HOME为:
export JAVA_HOME=/usr/lib/jvm/java-openjdk
7.配置SSH的localhost免密码登录
# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/autorized_keys
8.格式化hdfs文件系统
# hadoop namenode -format
9.启动守护进程
# start-all.sh
(关闭守护进程:# stop-all.sh)
10.配置eclipse里面的DFS Location
(1)打开Window-->Preferens,会发现Hadoop Map/Reduce选项,在这个选项里需要填写Hadoop安装目录。
(2)在Window-->Show View中打开Map/Reduce Locations。
(3)在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键-->New Hadoop Location。
(4)随意命名location name
(5)Map/Reduce master的配置按照mapred-site.xml的配置
(6)DFS master 的配置按照hdfs-site.xml的配置
(7)project explore 下的DFS loacations 下的DFS能打开,即可。
11.新建map/reduce项目
...