《自己动手写云盘》 – 搭建Hadoop环境

个人主页：http://www.tongtongxue.com/archives/4578.html

  软件准备

（1） hadoop-2.6.0.tar.gz
（2） jdk-7u67-linux-x64.tar.gz
（3） VMware Workstation Pro
（4） CentOS-6.4-x86_64-minimal.iso
注意：此次是利用VM搭建Hadoop的伪分布模式

  新建CentOS虚拟机

（1）创建新的虚拟机

（2）选择“自定义”

（3）选择ISO镜像文件

（4）命名

（5）指定虚拟机安装位置

（6）一直下一步，到要“完成”时，将“创建后开启此虚拟机”的选项去掉

（7）编辑虚拟机设置

（8）移除“autoinst.iso”

（9）开启虚拟机

 

（10）“Disc Found”中选择“Skip”

（11）语言选择“English”

（12）键盘选择“U.S. English”

（13）编辑HostName

（14）时区选择“上海“

（15）设置密码

   新建yun用户

先用root用户进入后，输入如下操作：

useradd yun

按回车，接下来输入

passwd yun

按回车后，系统会提示设置密码

安装JDK

（1）将jdk-7u67-linux-x64.tar.gz通过Xshell工具上传后
（2）解压文件

tar -zxvf jdk-7u67-linux-x64.tar.gz

（3）设置环境变量

export JAVA_HOME=/opt/jdk1.7.0_67
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

  安装Hadoop

（1）配置SSH无密码登录节点，首先安装openssh-server

yum install openssh-server

（2）执行

ssh-keygen -t rsa

（3）将公钥名修改成authorized_keys

cd ~/.ssh
mv id_rsa.pub authorized_keys

（4）配置core-site.xml

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://yunpan:9000</value>
  </property>
</configuration>

（5）配置hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/opt/hadoop/dfs/name</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/opt/hadoop/dfs/data</value>
</property>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>

（6）yarn-site.xml配置

<configuration><!-- Site specific YARN configuration properties -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

（7）配置slaves
在该文件中输入datanode节点的ip，由于是伪分布式的，则里面只要配置目前的centos的ip或者域名

（8）配置环境变量

export HADOOP_HOME=/opt/hadoop
然后加入到PATH中
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

（9）格式化

hdfs namenode -format

（10）启动
由于我们只需要HDFS分布式系统，以启动时只要输入

sbin/start-dfs.sh

  关注微信公众号