在XP系统下配置eclipse集成hadoop开发
一、目的：
由于hadoop只能在Linux环境下运行，所以对于在windwos系统下使用IDE工作的开发人员来说，调试是件麻烦的工作，所以我们今天要配置的Hadoop开发环境是在WindowsXP系统下，并集成eclipse使开发人员在做hadoop开发时更容易调试。
二、本人配置的版本信息：
windowsXP系统，
jdk1.6.0_05，
eclipse-jee-indigo-win32Release3.7.0，
cygwin1.7.9-1，
hadoop-0.20.2，
三、配置步骤：
1、安装cygwin：
cygwin网上的资料很多，这里就不再详述。
2、JAVA安装
对于JAVA的安装与环境配置这里也不再详述，如果不清楚的话，百度一下你就知道了。
JAVA_HOME=C:/Java/jdk1.6.0_05
3、配置Hadoop
3.1、配置hadoop-env.sh文件，设置exportJAVA_HOME=C:/Java/jdk1.6.0_05
3.2、配置HADOOP_HOME=D:\adsitcloud\hadoop-0.20.2
3.3、配置core-site.xml
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/adsitcloud/temporary</value>
</property>
</configuration>
3.4、配置hdfs-site.xml
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<!--Putsite-specificpropertyoverridesinthisfile.-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3.5、配置mapred-site.xml
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
3.6、Hadoop启动和一些基本命令
在cygwin环境中，进入Hadoop安装目录，
cd/cygdrive/d/adsitcloud/hadoop-0.20.2
a、格式化hadoop命名节点：bin/hadoopnamenode-format
b、启动Hdfs和MapReduce，在这里可以全部启动：bin/start-all.sh
c、以下是基本命令
bin/hadoopdsfadmin–report查看运行状况，验证配置是否成功，查看datanodes中正常和不正常的个数
bin/hadoopdfs–mkdiryesq创建名为yesq的目录
bin/hadoopdfs–put.bin/*.txtyesq把上一目录下所有的txt文件上传到yesq目录
bin/hadoopdfs–lsyesq列出yesq目录下的文件,输出文件列表信息，此时可以看到刚上传的txt文件。表时已经配置成功。
3.7、输入以下网址查看是否配置成功。
http://localhost:50070/dfshealth.jsp
点击:Browsethefilesystem，并一直点击目录文件，此时也可以看到刚才上传的txt文件。
四、安装eclipse以hadoop-eclipse-plugin
4.1、eclipse的下载安装这里不再详述，如果不清楚的话，google一下你就知道的太多了。
4.2、安装hadoop-eclipse-plugin
a、在eclipse的安装目录下新建文件夹：links
b、新建链接文件，hadoop.link，内容为：path=E:\\eclipsePlugins\\hadoop
c、在path目录下新建文件夹：plugins，并把hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar放在该目录下，即:E:\eclipsePlugins\hadoop\plugins，hadoop-0.20.2的插件一定要用这个，如果用本身自带的0.20.2插件的话，eclipse调试时无法弹出RunonHadoop
d、删除E:\ProgramFiles\eclipse\configuration下的org.eclipse.update文件夹
五、Eclipse结合Hadoop环境
a、启动eclipse
b、点击OpenPerspective>Other，此时可以看到Map/Reduce的小蓝像，点击选择，此时可以看到DFSLocations的一个树形目录，下面有localhost的大象以及在上面新建的目录，以及该新建目录下的txt文件。
c、点击左下角的ShowViewasaFastView，再点击Other，此时可以看到Map/ReduceLocations的小黄色大象，
此时右建选择NewHadooplocation...，弹出圣诞框。
d、点击General选项卡>输入Locationname:localhost>Map/ReduceMaster下Host:localhostPort：9001>
DFSMaster下输入Port:9000>在Username下输入yesq>点击Finish。
e、在eclipse下配置HADOOPHOME，选择Window>Preferences>选择HadoopMAP/Reduce>点击Browse...选择Hadoop安装目录，我的安装目录是：D:\adsitcloud\hadoop-0.20.2>点击OK。
六、结束语
到此在XP系统下配置eclipse集合Hadoop已经配置完成，可以进行开发了，在FileNew的时候可以看到Map/Reduce等图标。