hadoop安装
mac中如何设置java 环境变量?
/Library/Java/JavaVirtualMachines/jdk1.7.0_10.jdk/Contents/Home/
首先 cd /Library/java/JavaVirtualMachines
mac下java默认安装到Library/java/JavaVirtualMachines,进去后查看安装的java的版本,修改下版本即可
参考文献:http://www.coderli.com/install-hadoop-on-mac
建立ssh无密码登录环境
做这一步之前首先建议所有的机子全部转换为hadoop用户,以防出现权限问题的干扰。
ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。
创建ssh-key,这里我们采用rsa方式;
ssh-keygen -t rsa -P ""
(注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的)
进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的;
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
可以使用ssh 主机名测试一下是否成功。
找到core-site.xml,配置信息如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
修改hdfs-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>localhost:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
温馨提示:需要在本机器上创建/usr/local/hadoop/tmp文件夹
修改mapred-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
启动hadoop
在主机上的hadoop安装目录下的bin目录下,执行格式化
./hadoop namenode -format
启动所有结点:
./start-all.sh
在操作的过程中遇到了DataNode不能启动的问题,经过查看node的hadoop的日志,发现提示错误信息:
org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
经过查找是因为权限的问题,于是
sudo chmod 755 “你配置的data目录
参考文献:http://cache.baiducontent.com/c?m=9d78d513d99912f905b0d6690d67d471182497634bc0d1657fc39339c5371d12506692ac56280777d9d20d1316d93e48adb0687d6d4566f58cc9fb57c0fed76d388850652c4cd81c47920eafbc17789e3dd103a2f04efaf8ed3390a8d5d5da5e44ca245f3cdfae&p=8d66da5686cc41ac52bcc7710f5583&newp=aa7ec64ad4970af908e2947d075797231610db2151d2da152b9fc5&user=baidu&fm=sc&query=hadoop+1%2E2+data+%C8%A8%CF%DE&qid=&p1=8