hadoop部署实践操作
hadoop部署实践操作（伪分布式）
环境ubuntu
操作：
1安装好JDK（java基础，非本文重点）
2修改主机名，并绑定ip，关闭防火墙
假设修改主机名为aly
~#hostnamealy(此方法及时生效，重启还原)
(此方法永久生效，包括重启，没测试)
#vi/etc/hostname
修改为aly，保存退出。
现在ping主机名，ping不通，需要绑定ip
#pingaly(找不到)
#vi/etc/hosts
加上：(你的ip)aly，如114.215.104.**aly保存退出。
#pingaly(是否ping的通)
关闭防火墙(这里测试以防万一，正式环境一般开启)
#sudoufwstatus(查看状态)
#sudoufwdisable(关闭)
#sudoufwenable(开启)
3配置ssh免密码登录模式
首先确定已经安装ssh，没有输入命令#sudoapt-getinstallssh(安装)
#cd~/.ssh(进入根目录的ssh隐藏文件夹，如果没有创建一个)
#ssh-keygen-trsa(生成私钥id_rsa公钥id_rsa.pub给对方，这里对方是自己)
#cpid_rsa.pubauthorized_keys(意思是把公钥加到用于认证的公钥文件中，这里的authorized_keys是用于认证的公钥文件)
#sshlocalhost(验证登录ssh)
#exit(退出)
4安装hadoop
下载hadoop-1.1.2并上传到服务器
#tar-zxvfhadoop-1.1.2.tar.gz(解压)
#vi/etc/profile(添加环境变量)
exportHADOOP_HOME=/home/hadoop-1.1.2
exportPATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
#source/etc/profile
修改/home/hadoop-1.1.2/conf下的4个文件
1.hadoop-env.sh(第9行exportJAVA_HOME=/usr/java/jdk1.7.0_51##jdk安装路径)
注意：sh文件不要下载下来修改，这样会影响格式类型转换，直接使用vi修改
2.core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://aly:9000</value><!--主机名-->
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value><!--指定文件系统依赖的基础配置路径-->
</property>
</configuration>
3.hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4.mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>aly:9001</value><!--主机名-->
</property>
</configuration>
root@aly:/home/hadoop-1.1.2/bin#hadoopnamenode-format(启动格式化)
注意：多次格式化也是错误的，方法：删除/usr/local/hadoop/tmp文件夹，重新格式化
#start-all.sh(启动)
#stop-all.sh(关闭)
#jps(查看启动的java进程)
8450SecondaryNameNode
8639TaskTracker
8232NameNode
8525JobTracker
8341DataNode
输入ip加端口
http://114.215.104.**:50070/(NameNode)
http://114.215.104.**:50030(Map/Reduce)
修改启动时警告
Warning:$HADOOP_HOMEisdeprecated.
在/etc/profile中加上
exportHADOOP_HOME_WARN_SUPPRESS=1