Hadoop应用笔记-入门伪分布式配置(Mac OS,0.21.0,Eclipse 3.6

说实话,Hadoop的入门学习配置比我想像中的要简单,当然,Hadoop本身是比较复杂的(那么厚厚的一本书就能说明问题)。

开发环境:Mac OS(Unix)
Hadoop版本:0.21.0
Eclipse版本: 3.6.0

第一步:下载Hadoop
下载地址:http://hadoop.apache.org/common/releases.html#Download
注意,当前21版本的Hadoop是不稳定、不支持并且不保证安全的最新版本。

第二步:配置Hadoop
将下载的Hadoop压缩文件解压缩,找到conf目录,打开core-site.xml,修改代码如下所示:

Xml代码

  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6. <configuration>  
  7.     <property>  
  8.         <name>fs.default.name</name>  
  9.         <value>localhost:9000</value>  
  10.     </property>  
  11. </configuration>  

找到mapred-site.xml修改代码如下所示:
Xml代码

  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6. <configuration>  
  7.   <property>  
  8.     <name>mapred.job.tracker</name>  
  9.     <value>localhost:9001</value>  
  10.   </property>  
  11. </configuration>  

找到hdfs-site.xml修改代码如下所示:

  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6. <configuration>  
  7.   <property>  
  8.     <name>dfs.replication</name>  
  9.     <value>1</value>  
  10.   </property>  
  11. </configuration>  

找到hadoop-env.sh打开,加入以下配置

export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home
export HADOOP_INSTALL=/Users/alex/Documents/DevRes/hadoop-0.21.0
export PATH=$PATH:$HADOOP_INSTALL/bin

其中,具体的目录根据你的实际情况配置。

相关推荐