hadoop 环境

liboxue

2013-04-01

关注关注

1. 下载 hadoop 1.1.2 ...

2. 参考 http://hadoop.apache.org/docs/r1.1.2/single_node_setup.html 安装伪分布节点.

遇到各种狗血问题.(服务器启动看 log)

1)端口被占了,没root 权限不能看进程号,也不能kill ... 只有改端口.

hdfs-site.xml

<property>
<name>dfs.datanode.http.address</name>
<value>0.0.0.0:60075</value>
<description>defalut 50075</description>
</property>

<property>
<name>dfs.datanode.ipc.address</name>
<value>0.0.0.0:60020</value>
<description>50020</description>
</property>

mapred-site.xml

<property>
    	<name>mapred.job.tracker.http.address</name>
       <value>0.0.0.0:60030</value>
	<description>
	The job tracker http server address and port the server will listen on.If the port is 0 then the server  will start on a free port.
	</description>
     </property>

     <property>
    	<name>mapred.task.tracker.http.address</name>
       <value>0.0.0.0:60060</value>
	<description>
	50060
	</description>
     </property>

2) 遇到了 could only be replicated to 0 nodes, instead of 1

改temp.. 目录. (配了2次一次改了一次没改.) 更新完毕主要是先去删除temp 目录然后再去执行

hadoop namenode -format

好不容易启动完毕了. 看看 Hadoop server起来了. 就去配Eclipse了.

3)网上下了个Eclipse hadoop 插件. 按照说明配好.但是发觉 HDFS 怎么也连不上错误是

Call to /10.221.62.68:9000 failed on local exception: Connection refused

10.221.62.68 是Hadoop的linux ip.

找了半天又要去改 config 文件.

去修改 mapred-site.xml

<property>
         <name>mapred.job.tracker</name>
         <value>10.221.62.68:9001</value>
     </property>

和 core-site.xml

<property>
         <name>fs.default.name</name>
         <value>hdfs://10.221.62.68:9000</value>
     </property>

本来是localhost的.. 不知道为啥一定要写 linux 本机的ip. 反正改了之后就换了一个excption.算是解决了这个问题. ..我的2天时间就这么浪费在这里.. 各种艰辛啊

4) 又来了个新问题..HDFS 提示我 permission denied

再改 hdfs-site.xml .

<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

删除temp 目录后 .再次使用 hadoop namenode -format.

5)又有问题了.错误改成了.

10.221.62.68:9000 failed on local exception:

google 说是啥Eclipse 插件的版本不对.. 我XXX 又要解决这个问题.

重新下了个叫 hadoop-eclipse-plugin-1.1.1.jar 的替换老的 hadoop-0.20.3-dev-eclipse-plugin.jar. 发觉还是不行..

只能自己去编译插件了.参考了 http://tianwenbo.iteye.com/blog/1464242 ,

用ant 编译又出错了

ivy-download:
      [get] Getting: http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar
      [get] To: D:\hadoop-1.1.2\ivy\ivy-2.1.0.jar
      [get] Error getting http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar to D:\hadoop-1.1.2\ivy\ivy-2.1.0.jar

BUILD FAILED
D:\hadoop-1.1.2\src\contrib\eclipse-plugin\build-contrib.xml:465: java.net.UnknownHostException: repo2.maven.org
        at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:177)
        at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:366)
        at java.net.Socket.connect(Socket.java:519)

Google了下感觉网络问题, 不知道是单位网不行还是maven有问题. 就引掉了一段(把ivy-retrieve-common 所有都杀了.).

build.xml

<!--
 <target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">
 -->
  <target name="compile" depends="init" unless="skip.contrib">
    <echo message="contrib: ${name}"/>
    <javac
     encoding="${build.encoding}"
     srcdir="${src.dir}"

之后再编译又说少了 jar. 自己下了下放在他说少的地方. 最好编译通过. 生成了个 1.1.2版本的 plagin.

6) 新的问题又来了因为我引掉了一段出现了error: failure to login错误

于是参考 http://blog.csdn.net/chengfei112233/article/details/7252404

再次往plugin 里面加jar. 问题解决.

终于可以通过 Eclipse的 HDFS看文件了. 万里长征第一步. 但愿开发环境配好.

hadoop 服务器端口