Ubuntu 14.04下Hadoop Eclipse 环境配置教程
学习Hadoop有两天了，配置Hadoop到环境也用了两天，将自己在Ubuntu 14.04下Hadoop Eclipse 环境配置过程写在这里，希望对大家有所帮助！
------------------------------------------分割线------------------------------------------
---------------安装jdk-------------------------------
1.
下载jdk1.6.0_45
2.解压到opt文件夹下，配置/etc/profile，在文件尾部加上
#set java environment
JAVA_HOME=/opt/jdk1.6.0_45
export JRE_HOME=/opt/jdk1.6.0_45/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
3.然后用source /etc/profile来重新执行刚修改的初始化文件(profile)
4.配置默认程序
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/java 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javac 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/jar 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javah 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javap 300
然后执行以下代码选择我安装到jdk版本：
update-alternatives --config java
5.之后就可以用java -version来查看java的版本了
---------------安装hadoop-------------------------------
1.修改机器名称，编辑/etc/hostname 修改为localhost
2.配置ssh无密码登录
ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
apt-get install openssh-server
3.如果命令 ssh localhost不成功，则需要启动ssh服务
通过以下命令启动ssh服务
service ssh start
/etc/init.d/ssh start
如果还是启动失败，那就重启吧，管用
3.配置hadoop
（1）编辑conf/hadoop-env.sh，修改JAVA_HOME的值：
export JAVA_HOME=/opt/jdk1.6.0_45
（2）编辑conf/mapred-site.xml，添加内容：
<property>
<name>mapred.job.tracker</name>
<value>http://localhost:9001</value>
</property>
(3)编辑conf/hdfs-site.xml，添加内容：
<property>
<name>dfs.name.dir</name>
<value>/home/simon/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/simon/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
(4)编辑conf/core-site.xml，添加内容：
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.0.0/tmp</value>
</property>
(5)
格式化hdfs： bin/hadoop namenode -format
启动hadoop： bin/start-all.sh
如果显示没有权限，可能是文件无权限，或者文件到用户不是当前用户（root）
可以尝试 chmod +x 文件名
chown root:root bin/*
-------------------配置eclipse插件---------------
1.将hadoop-eclipse-plugin-1.0.0.jar复制到eclipse目录下到plugins文件夹下
2.打开eclipse
window-showview-other... 对话框中选择MapReduce Tools - Map/Reduce Locations
如果对话框中没有，则：%eclispe_dir%/configration/config.ini文件，发现里面有一项org.eclipse.update.reconcile=false配置，改成true后重新进入eclipse
3.在Project Explorer中就可以看到DFS Locations了，如果可以向下点开几个文件夹，说明配置成功
启动eclipse：
env UBUNTU_MENUPROXY= /home/simon/eclipse/eclipse启动eclipse，注意等号和eclipse路径之间有个空格
1.配置输入输出到路径
在程序中右击--Run As--Run Configurations..--Argument
里填入
hdfs://localhost:9000/test/input hdfs://localhost:9000/test/output
中间用空格间隔，分别为输入输出到路径
2.导入hadoop中到jar包，右击项目--Properties--左边选Java Build Path--右边选Libraries--右边点击Add External JARs...
在hadoop/lib/ 这个路径中选需要到jar包，如果不知道选哪个，那就全选！～（无奈）
3.在程序中右击--Run As--Run on hadoop 运行程序