hadoop单节点部署
下面我们来一步步的进行hadoop安装部署：
从零开始
机器环境
DistributorID:CentOS
Description:CentOSrelease5.8(Final)
Release:5.8
Codename:Final
jdk版本
javaversion"1.6.0_45"
hadoop版本
2.5.2
http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/
安装jdk:
从甲骨文官方下载：
http://www.oracle.com/technetwork/java/javasebusiness/downloads/java-archive-downloads-javase6-419409.html#jdk-6u45-oth-JPR
jdk-6u45-linux-i586.bin
在linux下面运行命令./jdk-6u45-linux-i586.bin
配置环境变量
vi/etc/profile
exportJAVA_HOME=/snwz/java/install/jdk1.6.0_45
exportJAVA_BIN=/snwz/java/install/jdk1.6.0_45/bin
exportPATH=$PATH:$JAVA_HOME/bin
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
exportJAVA_HOMEJAVA_BINPATHCLASSPATH
运行java-version检查是否jdk安装成功
解压缩hadoop安装包，配置环境变量
$cd/snwz/hadoop/install/hadoop-2.5.2/etc/hadoop
$vihadoop-env.sh
配置java和hadoop的目录
#settotherootofyourJavainstallation
exportJAVA_HOME=/usr/java/latest
#Assumingyourinstallationdirectoryis/usr/local/hadoop
exportHADOOP_PREFIX=/usr/local/hadoop
配置完成后运行bin/hadoop
显示hadoop信息后，说明环境配置完成，下面开始我们的hadoop之旅！！！！！！
首先使用hadoop自带的mapreduce实例实测一下
$mkdirinput
$cpetc/hadoop/*.xmlinput
$bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jargrepinputoutput'dfs[a-z.]+'
$catoutput/*
成功后进入到output目录下
-rw-r--r--1hadoophadoop1101-0814:04part-r-00000
-rw-r--r--1hadoophadoop001-0814:04_SUCCESS
如果看到这两个文件，则说明mapreduce任务运行成功。
下面我们来部署一个假分布模式
在分布模式下，因为其他hadoop服务器要通过ssh访问本机hadoop，我们配置ssh免密码登陆
$sshlocalhost
如果登陆不成功则执行下列命名
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
在测试sshlocalhost
如果还是需要输入密码，从网上搜的解决办法，有一大堆呢：
http://lunae.cc/tag/authorized_keys
为什么叫假分布呢？因为我们配置副本冗余为1，就是只存放在一个节点上，配置如下：
etc/hadoop/core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置完成后需要将hadoop的名称节点格式化
$bin/hdfsnamenode-format
启动dfs
$sbin/start-dfs.sh
$netstat-an|grep9000
如果出现什么异常，日志都存放在/snwz/hadoop/install/hadoop-2.5.2/logs
hadoop还提供了可视化界面来让用户更好了解当前hadoop各个节点情况，在浏览器中输入
http://IP:50070
目前推荐使用yarn框架进行hadoop的部署，关于yarn框架，我在后面会慢慢学习并和大家分享！！！！
今天因为任务提前完成，才有时间记录下忙里偷闲学习的内容，改天继续，下一篇文章要详细介绍集群环境下的配置，在下一章，一个基本的大框架就要搭建起来了，我们拭目以待吧