安科网

Centos 6.5 hadoop2.5

fhxyxzw

fhxyxzw

2014-12-09

关注 关注

hadoop2.5.0

【步骤】

1. 准备条件

（1）集群规划

主机类型IP地址域名
master192.168.3.132hadoop01
slave1192.168.3.134hadoop02
slave2192.168.3.136hadoop03
slave3192.168.3.138hadoop04

　

   　　　　　

（2）以root身份登录操作系统

（3）在集群中的每台主机上执行如下命令，设置主机名。

  hostname hadoop0＊

  编辑文件/etc/sysconfig/network如下

  HOSTNAME= hadoop0＊

（4）修改文件/etc/hosts如下

192.168.86.10 master.hadoop.com
　　　　　　　　 192.168.86.11 slave1.hadoop.com
　　　　　　　　 192.168.86.12 slave2.hadoop.com
　　　　　　　　 192.168.86.13 slave3.hadoop.com

  执行如下命令，将hosts文件复制到集群中每台主机上

　 　 scp /etc/hosts 192.168.50.*:/etc/hosts 

（5）安装jdk

  rpm -ivh jdk-7u67-linux-x64.rpm 

创建文件

  echo -e "JAVA_HOME=/usr/java/default\nexport PATH=\$JAVA_HOME/bin:\$PATH" > /etc/profile.d/java-env.sh 

  . /etc/profile.d/java-env.sh 

（6）关闭iptables

service iptables stop  

chkconfig iptables off 

（7）关闭selinux。修改文件/etc/selinux/config，然后重启操作系统

SELINUX=disabled

2. 安装 （with YARN）

（1）在master.hadoop.com主机上执行

 　　　　　　　   yum install hadoop-yarn-resourcemanager hadoop-mapreduce-historyserver hadoop-yarn-proxyserver hadoop-hdfs-namenode

 yum install hadoop-hdfs-secondarynamenode  可选，如果使用HA，就不要安装此包

（2）在所有的slave*.hadoop.com主机上执行

 　　　　　　　   yum install hadoop-yarn-nodemanager hadoop-mapreduce hadoop-hdfs-datanode

 　　　　3. 配置。将以下文件修改完毕后，用scp命令复制到集群中的所有主机上

（1）创建配置文件

Centos 6.5 hadoop2.5
cp -r /etc/hadoop/conf.empty /etc/hadoop/conf.my_cluster
alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.my_cluster 50
alternatives --set hadoop-conf /etc/hadoop/conf.my_cluster

（2）创建必要的本地文件夹

Centos 6.5 hadoop2.5
sudo -u hdfs hadoop fs -mkdir -p /tmp && sudo -u hdfs hadoop fs -chmod -R 1777 /tmp
sudo -u hdfs hadoop fs -mkdir -p /tmp/hadoop-yarn && sudo -u hdfs hadoop fs -chown -R mapred:mapred /tmp/hadoop-yarn
sudo -u hdfs hadoop fs -mkdir -p /tmp/hadoop-yarn/staging/history/done_intermediate && sudo -u hdfs hadoop fs -chown -R mapred:mapred /tmp/hadoop-yarn/staging && sudo -u hdfs hadoop fs -chmod -R 1777 /tmp
sudo -u hdfs hadoop fs -mkdir -p /var
sudo -u hdfs hadoop fs -mkdir -p /var/log && sudo -u hdfs hadoop fs -chmod -R 1775 /var/log && sudo -u hdfs hadoop fs -chown yarn:mapred /var/log
sudo -u hdfs hadoop fs -mkdir -p /var/log/hadoop-yarn/apps && sudo -u hdfs hadoop fs -chmod -R 1777 /var/log/hadoop-yarn/apps && sudo -u hdfs hadoop fs -chown yarn:mapred /var/log/hadoop-yarn/apps
sudo -u hdfs hadoop fs -mkdir -p /user
sudo -u hdfs hadoop fs -mkdir -p /user/history && sudo -u hdfs hadoop fs -chown mapred /user/history
sudo -u hdfs hadoop fs -mkdir -p /user/test && sudo -u hdfs hadoop fs -chmod -R 777 /user/test && sudo -u hdfs hadoop fs -chown test /user/test
sudo -u hdfs hadoop fs -mkdir -p /user/root && sudo -u hdfs hadoop fs -chmod -R 777 /user/root && sudo -u hdfs hadoop fs -chown root /user/root

（3）修改配置文件

1）core-site.xml

Centos 6.5 hadoop2.5
<property>
     <name>fs.defaultFS</name>
     <value>hdfs://master.hadoop.com:8020</value>
  </property>

  <property>
     <name>fs.trash.interval</name>
     <value>1440</value>
  </property>

  <property>
     <name>fs.trash.checkpoint.interval</name>
     <value>720</value>
  </property>

  <property>
     <name>hadoop.proxyuser.mapred.groups</name>
     <value>*</value>
  </property>

  <property>
     <name>hadoop.proxyuser.mapred.hosts</name>
     <value>*</value>
  </property>

  <property>
     <name>io.compression.codecs</name>
     <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.SnappyCodec</value>
  </property>

2）hdfs-site.xml

Centos 6.5 hadoop2.5
<property>
     <name>dfs.permissions.superusergroup</name>
     <value>hadoop</value>
  </property>

  <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:///data/1/dfs/nn</value>
  </property>

  <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:///data/1/dfs/dn,file:///data/2/dfs/dn,file:///data/3/dfs/dn,file:///data/4/dfs/dn</value>
  </property>

  <property>
     <name>dfs.datanode.failed.volumes.tolerated</name>
     <value>3</value>
  </property>

  <property>
     <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
     <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
  </property>

  <property>
     <name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold</name>
     <value>10737418240</value>
  </property>

  <property>
     <name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction</name>
     <value>0.75</value>
  </property>

  <property>
     <name>dfs.webhdfs.enabled</name>
     <value>true</value>
  </property>

  <property>
     <name>dfs.webhdfs.user.provider.user.pattern</name>
     <value>^[A-Za-z0-9_][A-Za-z0-9._-]*[$]?$</value>
  </property>

3）yarn-site.xml

Centos 6.5 hadoop2.5
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master.hadoop.com</value>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <property>
    <description>List of directories to store localized files in.</description>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/1/yarn/local,/data/2/yarn/local,/data/3/yarn/local,/data/4/yarn/local</value>
  </property>

  <property>
    <description>Where to store container logs.</description>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/1/yarn/logs,/data/2/yarn/logs,/data/3/yarn/logs,/data/4/yarn/logs</value>
  </property>

  <property>
    <description>Where to aggregate logs to.</description>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>hdfs://master.hadoop.com:8020/var/log/hadoop-yarn/apps</value>
  </property>

  <property>
    <description>Classpath for typical applications.</description>
     <name>yarn.application.classpath</name>
     <value>
        $HADOOP_CONF_DIR,
        $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
        $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
        $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
        $HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*
     </value>
  </property>

  <property>
    <name>yarn.web-proxy.address</name>
    <value>master.hadoop.com</value>
  </property>

  <property>
    <description>It's not the memory the physical machine totally has, but that allocated to containers</description>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>5120</value>
  </property>

  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>512</value>
  </property>

  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>10240</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.resource.mb</name>
    <value>512</value>
  </property>

  <property>
    <name>yarn.app.mapreduce.am.command-opts</name>
    <value>-Xmx512m</value>
  </property>

  <property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
  </property>

  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value>
  </property>

  <property>
    <name>yarn.scheduler.minimum-allocation-vcores</name>
    <value>1</value>
  </property>

  <property>
    <name>yarn.scheduler.maximum-allocation-vcores</name>
    <value>10</value>
  </property>

  <property>
    <name>yarn.scheduler.increment-allocation-mb</name>
    <value>512</value>
  </property>

  <property>
    <name>yarn.scheduler.increment-allocation-vcores</name>
    <value>1</value>
  </property>

4）mapred-site.xml

Centos 6.5 hadoop2.5
<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
  </property>

  <property>
     <name>mapreduce.jobhistory.address</name>
     <value>master.hadoop.com:10020</value>
  </property>

  <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>master.hadoop.com:19888</value>
  </property>

  <property>
     <name>yarn.app.mapreduce.am.staging-dir</name>
     <value>/user/history</value>
  </property>

  <property>
     <name>mapreduce.jobhistory.intermediate-done-dir</name>
     <value>/user/history/intermediate-done-dir</value>
  </property>

  <property>
     <name>mapreduce.jobhistory.done-dir</name>
     <value>/user/history/done-dir</value>
  </property>

（4）复制配置文件到集群中的所有主机上

  scp /etc/hadoop/conf.my_cluster/*-site.xml  192.168.50.*:/etc/hadoop/conf.my_cluster/ 

4. 格式化HDFS

 sudo -u hdfs hdfs namenode -format 

5. 启动HDFS

 for x in `cd /etc/init.d ; ls hadoop-hdfs-*`; do service $x start; done 

6. 在HDFS上创建必要的文件夹

Centos 6.5 hadoop2.5
sudo -u hdfs hadoop fs -mkdir -p /tmp && sudo -u hdfs hadoop fs -chmod -R 1777 /tmp
sudo -u hdfs hadoop fs -mkdir -p /tmp/hadoop-yarn && sudo -u hdfs hadoop fs -chown -R mapred:mapred /tmp/hadoop-yarn
sudo -u hdfs hadoop fs -mkdir -p /tmp/hadoop-yarn/staging/history/done_intermediate && sudo -u hdfs hadoop fs -chown -R mapred:mapred /tmp/hadoop-yarn/staging && sudo -u hdfs hadoop fs -chmod -R 1777 /tmp
sudo -u hdfs hadoop fs -mkdir -p /var
sudo -u hdfs hadoop fs -mkdir -p /var/log && sudo -u hdfs hadoop fs -chmod -R 1775 /var/log && sudo -u hdfs hadoop fs -chown yarn:mapred /var/log
sudo -u hdfs hadoop fs -mkdir -p /var/log/hadoop-yarn/apps && sudo -u hdfs hadoop fs -chmod -R 1777 /var/log/hadoop-yarn/apps && sudo -u hdfs hadoop fs -chown yarn:mapred /var/log/hadoop-yarn/apps
sudo -u hdfs hadoop fs -mkdir -p /user
sudo -u hdfs hadoop fs -mkdir -p /user/history && sudo -u hdfs hadoop fs -chown mapred /user/history
sudo -u hdfs hadoop fs -mkdir -p /user/test && sudo -u hdfs hadoop fs -chmod -R 777 /user/test && sudo -u hdfs hadoop fs -chown test /user/test
sudo -u hdfs hadoop fs -mkdir -p /user/root && sudo -u hdfs hadoop fs -chmod -R 777 /user/root && sudo -u hdfs hadoop fs -chown root /user/root

7. 操作YARN 

　  在集群中每台机器上执行如下命令：

（1）启动  

Centos 6.5 hadoop2.5
service hadoop-yarn-resourcemanager start;service hadoop-mapreduce-historyserver start;service hadoop-yarn-proxyserver start;service hadoop-yarn-nodemanager start

（2）查看  

Centos 6.5 hadoop2.5
service hadoop-yarn-resourcemanager status;service hadoop-mapreduce-historyserver status;service hadoop-yarn-proxyserver status;service hadoop-yarn-nodemanager status

（3）停止  

Centos 6.5 hadoop2.5
service hadoop-yarn-resourcemanager stop;service hadoop-mapreduce-historyserver stop;service hadoop-yarn-proxyserver stop;service hadoop-yarn-nodemanager stop

 　　　　　  （4）重启  

Centos 6.5 hadoop2.5
service hadoop-yarn-resourcemanager restart;service hadoop-mapreduce-historyserver restart;service hadoop-yarn-proxyserver restart;service hadoop-yarn-nodemanager restart

8. 安装Hadoop客户端

（1）安装CentOS 6.5

（2）以root身份登录，执行以下命令：

Centos 6.5 hadoop2.5
rpm -ivh jdk-7u67-linux-x64.rpm

yum install hadoop-client

cp -r /etc/hadoop/conf.empty /etc/hadoop/conf.my_cluster
alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.my_cluster 50
alternatives --set hadoop-conf /etc/hadoop/conf.my_cluster

scp 192.168.50.10:/etc/hadoop/conf.my_cluster/*-site.xml /etc/hadoop/conf.my_cluster/
scp 192.168.50.10:/etc/hosts /etc/
scp 192.168.50.10:/etc/profile.d/hadoop-env.sh /etc/profile.d/
. /etc/profile

useradd -u 700 -g hadoop test
passwd test <test用户密码>

  　　　 9. 测试Hadoop with YARN

Centos 6.5 hadoop2.5
su - test

#计算Pi
hadoop fs -mkdir input
hadoop fs -put /etc/hadoop/conf/*.xml input
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount input output
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 2 100

#执行grep任务
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar grep input output 'dfs[a-z.]+'
hadoop fs -ls output
hadoop fs -cat output/part-r-00000 | head

text-align td centos

fhxyxzw

fhxyxzw

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

如何在Fedora上安装Google Chrome浏览器

Fedora 的默认网页浏览器是 Firefox。尽管它是一个优秀的网络浏览器，你可能更喜欢流行的 Google Chrome 浏览器。如果你想知道如何在 Fedora 上安装 Google Chrome 浏览器，让我告诉你两种安装 Google Chro

86417413 2020-11-25

Chrome 87新特性解读，多年来Chrome性能最大提升！

近日Chrome更新了 87 最新版，这是今年最后一次 Chrome 更新了，这个版本是多年来 Chrome 性能获得最大提升的一次，开发者工具也进行了大幅度更新。有用户认为，原本 Chrome 的性能问题诟病已久，然而在新 Edge 出来了以后，性能突然

simonzhao0 2020-11-23

软件架构设计分层模型和构图思考

对于架构思维本身仍然是类似系统思维，结构化思维，编程思维等诸多思维模式的一个合集。由于架构的核心作用是在业务现实世界和抽象的IT实现之间建立起一道桥梁，因此架构思维最核心的就是要理解到业务驱动技术，技术为最终的业务服务。要真正通过架构设计来完成业务和技术，

rise 2020-11-22

Golang中Delve版本太低无法Debug的问题

打开 Hele->Edit Customer Properties,若提示文件不存在，点击创建。

窗前废雨 2020-11-16

关于go语言编码需要放到src 文件夹下的问题

配置GOPATH的用意是为了方便项目的部署和构建，以及可以直接使用go get 命令下载第三方的包到自己的项目的src下和相关的执行文件bin目录，和中间文件pkg. 问1：index entire GOPATH:如果你选中那么我就把你在环境变量中配置的G

wfs 2020-10-29

Navicat如何远程连接云服务器数据库

本来没有开启秘钥的远程服务器端数据库连接非常方便，就在新建连接上填入数据就ok了，但是开启SSH秘钥后的服务器连接有一个大坑，下面来详细讲讲。这里的SSH部分就好了，千万别急着测试。对了最后还要说一句，测试成功之后按确定之后，当你双击数据库的时候，有一件很

projava 2020-11-14

mysql 8.0.22 安装配置图文教程

解压后的目录并没有的my.ini文件，没关系可以自行创建在安装根目录下添加的my.ini ，写入基本配置：。# 允许连接失败的次数。初始化MySQL，在安装时，避免权限问题出错我们尽量使用管理员身份运行CMD，否则在安装时会报错，会导致安装失败的情况，如下

aydh 2020-11-12

基于postman实现http接口测试过程解析

无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。HTTP的接口测试工具有很多，可以进行http请求的方式也有很多，但是可以直接拿来就用，而且功能还支持的不错的

huimeiad 2020-11-23

最新PyCharm从安装到PyCharm永久激活再到PyCharm官方中文汉化详细教程

如下图所示，进入官方下载页面，选择与您系统相应的PyCharm版本。这里我们选择使用Windowns系统下的PyCharm专业版，点击上图标注2中的Download按钮进入下载页面，如下图所示。选择完PyCharm安装目录后进入PyCharm快捷方式与运行

NANGEBOKE 2020-11-23

Linux安装Nginx步骤详解

修改完成之后,重启nginx服务器.

liuchen0 2020-11-13

如何将Pycharm中调整字体大小的方式设置为\"ctrl+鼠标滚轮上下滑\"

对于字体大小的调整，我们比较习惯的方式是ctrl+鼠标滚轮上下滑，这也是我们在大多数软件中对页面进行放大缩小的方式。但当我发现Pycharm中的字体偏小想要进行调整时，却发现使用ctrl+鼠标滚轮上下滑的方式没有反应。下面介绍一下设置过程，分为字体放大的设

wuguangbin0 2020-11-17

Pycharm中使用git进行合作开发的教程详解

为了开发过程中尽量减少冲突，master分支用作最终的release，dev分支作为每日的开发和合并代码，然后每个人建立自己的分支，在自己的分支上进行开发，比如我的个人分支是dev_wyb，然后点右下角分支图标，选择dev_wyb,选择push，此时整个d

skyplay0 2020-11-17

Linux安装Nginx步骤详解

修改完成之后,重启nginx服务器.

LUOPING0 2020-11-11

Docker使用Portainer搭建可视化界面的方法

Portainer是Docker的图形化管理工具，提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理和控制等功能。功能十分全面，基本能满足中小型单位对容器管理的

魅惑青花瓷 2020-11-11

nginx proxy_cache 缓存配置详解

由于本人工作原因，涉及到网络直播领域，其中视频的回放下载，涉及到了一些视频下载方面的技术。针对于一个完整视频的下载，目前市面上的主流做法是，先将整个视频流切片，存储到文件服务器中，在用户需要观看回放视频时。通过一个视频回源服务器，去文件服务器中逐个请求切片

Freshairx 2020-11-10

浅析Linux之bash反弹shell原理

反弹shell往往是在攻击者无法直接连接受害者的情况下进行的操作，原因有很多，例如目标是局域网，或者开启防火墙的某些策略等情况，而这时，我们就可以让受害者主动向攻击者发起连接，被控端发起请求到控制端某端口，并将其命令行的输入输出转到控制端，从而实现交互。L

applecarelte 2020-10-16

详解docker-compose速度太慢解决方式

解决办法只有一个一个一个,那就是换源!gihub上下载docker-compose太慢了，下载不动，只能换成国内镜像来下载。

链块学院 2020-11-06

详解docker pull 下来的镜像都存到了哪里

docker pull 下来的命令都默认存在/var/lib/docker/文件夹下。正好和docker images的内容一致。可以看到上面 repositories.json 文件中记录的就是已拉取的镜像信息。

TaoTaoFu 2020-11-06

带你使用webpack快速构建web项目的方法

使用webpack构建web项目以及热部署插件的使用，按以下步骤，能帮助你快速构建和理解~详细学习还得靠官方文档！你得先安装了Node.js此处不赘述。使用此插件我们将会自动在打包的时候创建index.html，且无须关心bundle.js的文件路径。打包

不知道该写啥QAQ 2020-11-12

详解Navicat Premium基本使用

Navicat是一套数据库管理工具，专为简化数据库的管理及降低系统管理成本而设。Navicat 是以直觉化的图形用户界面而建的，可以安全和简单地创建、组织、访问并共用信息。Navicat Premium 是 Navicat 的产品成员之一，能简单并快速地在

amienshxq 2020-11-14
fhxyxzw

fhxyxzw

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号