hadoop安装

mac中如何设置java 环境变量?
/Library/Java/JavaVirtualMachines/jdk1.7.0_10.jdk/Contents/Home/
首先 cd /Library/java/JavaVirtualMachines
mac下java默认安装到Library/java/JavaVirtualMachines,进去后查看安装的java的版本,修改下版本即可
参考文献:http://www.coderli.com/install-hadoop-on-mac
建立ssh无密码登录环境
做这一步之前首先建议所有的机子全部转换为hadoop用户,以防出现权限问题的干扰。
ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。
创建ssh-key,这里我们采用rsa方式;
ssh-keygen -t rsa -P ""
 (注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的)
进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的;
cd ~/.ssh
cat id_rsa.pub >> authorized_keys

 可以使用ssh 主机名测试一下是否成功。 
找到core-site.xml,配置信息如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property> 
    <name>dfs.replication</name> 
    <value>1</value> 
  </property>
</configuration>

 修改hdfs-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
        <name>fs.default.name</name>
        <value>localhost:9000</value>
        <description>change your own hostname</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property> 
</configuration>

温馨提示:需要在本机器上创建/usr/local/hadoop/tmp文件夹


修改mapred-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property> 
    <name>mapred.job.tracker</name> 
    <value>localhost:9001</value> 
  </property>

</configuration>

启动hadoop
在主机上的hadoop安装目录下的bin目录下,执行格式化
./hadoop namenode -format
启动所有结点:
./start-all.sh
在操作的过程中遇到了DataNode不能启动的问题,经过查看node的hadoop的日志,发现提示错误信息:
org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
经过查找是因为权限的问题,于是
sudo chmod 755 “你配置的data目录



参考文献:http://cache.baiducontent.com/c?m=9d78d513d99912f905b0d6690d67d471182497634bc0d1657fc39339c5371d12506692ac56280777d9d20d1316d93e48adb0687d6d4566f58cc9fb57c0fed76d388850652c4cd81c47920eafbc17789e3dd103a2f04efaf8ed3390a8d5d5da5e44ca245f3cdfae&p=8d66da5686cc41ac52bcc7710f5583&newp=aa7ec64ad4970af908e2947d075797231610db2151d2da152b9fc5&user=baidu&fm=sc&query=hadoop+1%2E2+data+%C8%A8%CF%DE&qid=&p1=8

相关推荐