编译eclipse下的hadoop插件

     操作系统为ubuntu14.0  

     eclipse版本为4.4

     hadoop版本为hadoop-1.2.1

     hadoop环境为本地的伪分布是环境。

  网络上虽然有很多的hadoop-x.xx.x-eclipse-plugin.jar包,但是很多时候跟你的eclipse版本并不匹配,所以自己编译eclipse插件就很必要。

hadoop eclipse 插件的源代码位于$HADOOP_HOME/src/contrib/eclipse-plugin 下面。 

当然不能直接编译,编译之前需要对相关文件进行修改(首先你要有ant,没有的话需要下载并配置)

1 修改build.xml

    打开eclipse-plugin下面的build.xml, 添加一些properties.如下,第一个为Hadoop的版本,ant下会使用到这个版本来打开获取一些JAR包,所以这个版本要跟你的hadoop版本一致,hadoop目录下的jar包名称也不能够修改,不然会导致找不到jar包,第二个参数是配置eclipse.home的值

  1.   <property name='version' value='1.1.2'/>  
  2.   <property name='eclipse.home' location='/home/cheney/soft/eclipse'/>  

接下来在 classpath下添加上hadoop目录下的所有jar包,不然编译的时候会找不到很多类

  1.  <path id="classpath">  
  2.    <fileset dir="${hadoop.root}">  
  3.     <include name="*.jar"/>  
  4.    </fileset>  
  5.     <path refid="eclipse-sdk-jars"/>  
  6.   </path>  

 接着修改,(注意默认配置下,hadoop-core-${version}.jar包在Hadoop根目录下,但是配置文件中却指向了hadoop根目录下的build目录下,所以如果不修改xml配置文件去掉build的话,那么就需要在hadoop下简历build目录,并拷贝根目录下的hadoop-core-${version}.jar到build目录,,同样默认配置下commons-cli-1.2.jar取包位置也不是在根目录下的lib下,而hadoop1.2.1是放在lib下的 也需要修改,而且还要添加很多的jar包进来)修改xml配置文件进行添加是,注意别写错了版本,导致找不到jar文件

  1.   <target name="jar" depends="compile">  
  2.     <mkdir dir="${build.dir}/lib"/>  
  3.     <copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>  
  4.     <copy file="${hadoop.root}/lib/commons-cli-1.2.jar"  todir="${build.dir}/lib" verbose="true"/>  
  5.     <copy file="${hadoop.root}/lib/commons-configuration-1.6.jar"  todir="${build.dir}/lib" verbose="true"/>  
  6.     <copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar"  todir="${build.dir}/lib" verbose="true"/>  
  7.     <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar"  todir="${build.dir}/lib" verbose="true"/>  
  8.     <copy file="${hadoop.root}/lib/commons-lang-2.4.jar"  todir="${build.dir}/lib" verbose="true"/>  
  9.     <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar"  todir="${build.dir}/lib" verbose="true"/>  
  10.     <jar  
  11.       jarfile="${build.dir}/hadoop-${name}-${version}.jar"  
  12.       manifest="${root}/META-INF/MANIFEST.MF">  
  13.       <fileset dir="${build.dir}" includes="classes/ lib/"/>  
  14.       <fileset dir="${root}" includes="resources/ plugin.xml"/>  
  15.     </jar>  
  16.   </target>

2 修改 eclipse-plugin目录下/META-INF/下的MANIFEST.MF,默认情况下MANIFEST.MF文件下的bundle-ClassPath只有如下所示

Bundle-ClassPath: classes/,

 lib/hadoop-core.jar

没有包含所有的需要的jar包,需要修改为:

Bundle-ClassPath: classes/,

 lib/hadoop-core.jar,

 lib/commons-cli-1.2.jar,

 lib/commons-configuration-1.6.jar,

 lib/commons-httpclient-3.0.1.jar,

 lib/commons-lang-2.4.jar,

 lib/commons-jackson-core-asl-1.8.8.jar,

 lib/commons-jackson-mapper-asl-1.8.8.jar

注意jar包的文件名不要写错,因为你的Hadoop可能跟我的hadoop使用的版本不同,导致文件名也不同,需要修改

以上修改完后,就可以进行ant了,切换到eclipse-plugin下ant即可,完成后,拷贝到eclipse下的plugins下,重启eclipse即可

存在的问题:

1 网上很多人写的文章中没有配置过第二步,没有第二步也能编译出来plugin jar包,但是在使用的时候会报错,说找不到Configuration类等,虽然你将需要的jar一起打包到了plugin jar包里面,但是因为你没有在MANIFEST.MF引用,还是不会加载。ubuntu下打完jar包在进行修改MANIFEST.MF也不行,可能是因为文件修改后文件MD5不对了导致他还是使用以前的还是什么其他原因,反正不会生效。window下是否可以没有进行测试。所以最好开始的时候就把jar包给配置好,这样就不会出很多问题了。

2 本人配置过eclipse4.4 加 hadoop 0.20.11U版本的plugin,除了以上步骤外,还需要修改

$HADOOP_HOME/src/contrib/eclipse-plugin/src/java/org/apache/hadoop/eclipse/launch/HadoopApplicationLaunchShortcut.java

import org.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;  

改为

import org.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;

但是eclipse3.3 + hadoop0.20.x则不需要修改以上代码,而且还需要在path初将json.jar包导入才行

相关推荐