安科网

Hadoop完全分布式集群搭建

WeiHHH

WeiHHH

2019-12-16

关注 关注

Hadoop的运行模式

Hadoop一般有三种运行模式，分别是：

  • 单机模式（Standalone Mode），默认情况下，Hadoop即处于该模式，使用本地文件系统，而不是分布式文件系统。，用于开发和调试。
  • 伪分布式模式（Pseudo Distrubuted Mode），使用的是分布式文件系统，守护进程运行在本机机器，模拟一个小规模的集群，在一台主机模拟多主机，适合模拟集群学习。
  • 完全分布式集群模式（Full Distributed Mode），Hadoop的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。

这里介绍的就是如何搭建一个Hadoop完全分布式集群。

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

安装环境介绍

准备了四个服务器，IP为192.168.0.236、192.168.0.237、192.168.0.238、192.168.0.239，其中192.168.0.236作为主节点，其他3个作为从节点。具体版本信息如下：

  • CentOS 7.4
  • JDK 8
  • Hadoop 2.10.0

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

准备安装环境

设置主机名

在各个服务器上修改对应的主机名：

#在192.168.0.236上执行：
hostnamectl set-hostname onemore-hadoop-master

#在192.168.0.237上执行：
hostnamectl set-hostname onemore-hadoop-slave1

#在192.168.0.238上执行：
hostnamectl set-hostname onemore-hadoop-slave2

#在192.168.0.239上执行：
hostnamectl set-hostname onemore-hadoop-slave3

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

关闭SELINUX

编辑/etc/selinux/config文件：

vi /etc/selinux/config

把

SELINUX=enforcing

修改为：

SELINUX=disabled

重启服务器

reboot

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

设置hosts

cat >> /etc/hosts <<EOF

192.168.0.236 onemore-hadoop-master
192.168.0.237 onemore-hadoop-slave1
192.168.0.238 onemore-hadoop-slave2
192.168.0.239 onemore-hadoop-slave3
EOF

关闭防火墙

停止防火墙

systemctl stop firewalld.service

禁止防火墙开机启动

systemctl disable firewalld.service

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

设置免密登录

分布式集群搭建需要主节点能够免密登录至各个从节点上。因此，需要在主节点上生成公钥，把将主节点的公钥在从节点中加入授权。

  1. 在192.168.0.236上生成公钥。
ssh-keygen -t rsa
  1. 在192.168.0.236上，把公钥发送到各个从节点
scp ~/.ssh/id_rsa.pub 192.168.0.237:~/.ssh
scp ~/.ssh/id_rsa.pub 192.168.0.238:~/.ssh
scp ~/.ssh/id_rsa.pub 192.168.0.239:~/.ssh

这时还不是免密登录登录的，需要输入用户名和密码。

  1. 将公钥追加到各个从节点的授权里。

在每个从节点执行一下命令：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

安装JDK

参见之前的《详解在Linux系统中安装JDK》，这里就不再赘述了。

Hadoop环境配置

主节点配置

下载Hadoop

从北京理工大学的镜像上下载Hadoop：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz

创建文件夹

mkdir /usr/local/hadoop

解压

tar -xzvf  hadoop-2.10.0.tar.gz -C /usr/local/hadoop

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

配置环境变量

追加Hadoop的环境变量到/etc/profile文件中

cat >> /etc/profile <<EOF

#Hadoop
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.10.0
export PATH=\$PATH:\$HADOOP_HOME/bin 
EOF

使环境变量生效

source /etc/profile

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

修改配置文件

修改core-site.xml配置文件

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/core-site.xml

修改其内容为：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://onemore-hadoop-master:9000</value>
    </property>
</configuration>

修改hdfs-site.xml配置文件

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/hdfs-site.xml

修改其内容为：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/usr/local/hadoop/hdfs/data</value>
    </property>
</configuration>

复制mapred-site.xml.template为mapred-site.xml

cp /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml

再修改mapred-site.xml配置文件

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml

修改其内容为：

<configuration>
  <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
  </property>
   <property>
      <name>mapred.job.tracker</name>
      <value>http://onemore-hadoop-master:9001</value>
  </property>
</configuration>

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

修改yarn-site.xml配置文件

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/yarn-site.xml

修改其内容为：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>onemore-hadoop-master</value>
    </property>
</configuration>

新建masters配置文件

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/masters

新增内容为：

onemore-hadoop-master

配置slaves文件

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/slaves

修改其内容为：

onemore-hadoop-slave1
onemore-hadoop-slave2
onemore-hadoop-slave3

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

从节点配置

下面以onemore-hadoop-slave1从节点为例进行叙述，您需参照以下步骤完成onemore-hadoop-slave2和onemore-hadoop-slave3从节点的配置。

下载Hadoop

还是从北京理工大学的镜像上下载Hadoop（如果下载速度慢，可以在主节点上发送到从节点）：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz

创建文件夹

mkdir /usr/local/hadoop

解压

tar -xzvf  hadoop-2.10.0.tar.gz -C /usr/local/hadoop

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

配置环境变量

追加Hadoop的环境变量到/etc/profile文件中

cat >> /etc/profile <<EOF

#Hadoop
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.10.0
export PATH=\$PATH:\$HADOOP_HOME/bin 
EOF

使环境变量生效

source /etc/profile

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

修改配置文件

删除slaves文件

rm -rfv /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/slaves

在主节点上把5个配置文件发送到从节点上

scp -r /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/core-site.xml onemore-hadoop-slave1:/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/
scp -r /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/hdfs-site.xml onemore-hadoop-slave1:/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/
scp -r /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml onemore-hadoop-slave1:/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/
scp -r /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/yarn-site.xml onemore-hadoop-slave1:/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/
scp -r /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/masters onemore-hadoop-slave1:/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

启动Hadoop集群

格式化namenode

第一次启动服务前需要执行词操作，以后就不需要执行了。

hadoop namenode -format

启动hadoop

/usr/local/hadoop/hadoop-2.10.0/sbin/start-all.sh

访问http://onemore-hadoop-master:50070/，就可以查看Hadoop集群的相关信息了，如图：

Hadoop完全分布式集群搭建

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

常用命令

查看Hadoop集群的状态

hadoop dfsadmin -report

重启Hadoop

/usr/local/hadoop/hadoop-2.10.0/sbin/stop-all.sh
/usr/local/hadoop/hadoop-2.10.0/sbin/start-all.sh

启动dfs服务

/usr/local/hadoop/hadoop-2.10.0/sbin/start-dfs.sh

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

常见错误

Error: JAVA_HOME is not set and could not be found.

这个错误大概意思是没有找到JDK的环境变量，可以修改hadoop-env.sh。

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/hadoop-env.sh

增加JDK的环境变量，比如：

export JAVA_HOME=/usr/local/java/jdk1.8.0_231

因为是在主节点上修改的，还需要发送到各个从节点：

scp -r /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/hadoop-env.sh onemore-hadoop-slave1:/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/
scp -r /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/hadoop-env.sh onemore-hadoop-slave2:/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/
scp -r /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/hadoop-env.sh onemore-hadoop-slave3:/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/

欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。

hadoop开发环境搭建 集群技术 分布式技术 集群服务器 分布式开发 hadoop ssh hadoop集群搭建

WeiHHH

WeiHHH

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

大数据入门第一课 Hadoop基础知识与电商网站日志数据分析

本课程从Hadoop核心技术入手，以电商项目为依托，带领你从0基础开始上手，逐步掌握大数据核心技术，并使用这些技术进行实战，最终完成电商行为日志分析项目，让你轻松入门大数据！系统讲解Hadoop 2.x中核心组件的原理及应用典型阶段案例+电商行为日志分析实

Elmo 2020-01-10

大佬三年精心整理这本Hadoop大数据挖掘：从入门到进阶实战文档

本篇采用“理论+实战&#34;的形式编写，全面介绍了Hadoop大数据挖掘的相关知识。秉承循序渐进、易于理解，学以致用和便于查询的讲授理念，讲解时结合了大量实例和作者多年积累的一线开发经验。不但适合初学者系统学习Hadoop的各种基础语法和开发技巧

lhfredfly 2019-12-09

hadoop的快速大规模的集群分发安装

本脚本的主要作用：给hadoop的快速大规模的集群分发安装提供了准备，能够很快的完成部分基础设施工作，本脚本能够快速在Linux上安装JAVA环境，并部署hadoop，其中关于hadoop，hbase和Zookeeper的配置。分别在压缩包内的conf目录

xiyf0 2016-01-09

分布式计算Hadoop近期学习总结

（一）Hadoop是什么？Hadoop框架中最核心设计就是：HDFS和MapReduce，HDFS实现存储，而MapReduce实现原理分析处理，这两部分是hadoop的核心。数据在Hadoop中处理的流程可以简单的按照下图来理解：数据通过Haddop的集

GMCWXH 2013-01-14

学习hadoop需要什么基础

“学习hadoop需要什么基础”这已经不是一个新鲜的话题了，随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗？用一句特别让人无语的话回答就是：难不会，会不难！今年3月初的时候，一个做程

GMCWXH 2018-09-13

PyCharm搭建Spark开发环境的实现步骤

新建系统变量CLASSPATH，值为 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;在CMD中输入：java或者java -version，不显示不是内部命令等，说明安装成功。安装组件winutils

Jonechhc 2019-09-05

Hadoop基础入门之发行版本的选择

经常会看到这样的问题：零基础学习hadoop难不难？看到这样的答案不免觉得有些尴尬，这个问题算是白问了，因为这个回答似乎什么也没给出来。如果是第一种，其实学习hadoop的难度就会相对较小；但如果是第二种，那么难度就会非常大了。DKhadoop是大快搜索推

GMCWXH 2018-11-28

Linux搭建Sqoop开发环境

Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如：MySQL，Oracle到Hadoop的HDFS，并从Hadoop的文件系统导出数据到关系数据库。传统的应用管理系统，也就是与关系型数据库的使用RDBMS应用程序的交

一个人的世界 2018-04-29

Linux搭建Hadoop开发环境

[1].官网下载Hadoop-2.7.5安装包： hadoop-2.7.5/hadoop-2.7.5.tar.gz. [2].把Hadoop-2.7.5安装包利用Xftp5工具上传到：/usr/local/hadoop. 并使用tar -xvf解压：tar

一个人的世界 2018-03-31

hadoop2 window开发环境搭建

1 ant准备：a) ant安装在window环境下，并在lib下增加包： jsch-0.1.51.jarb) 在window环境下运行会依赖很多hadoop2的环境，因此建议使用ant打包部署到hadoop2集群中打包运行c) 在window环境变量中

李春春 2015-01-10

hive是基于Hadoop的一个数据仓库工具

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发

Shibuwodai 2016-01-16

利用Ant构建Hadoop高效开发环境

最近Hadoop的研究中，都是利用Mockito来模拟数据进行，下一个阶段需要在Hadoop服务器上做大量的运行进行验证，同时也要为正式使用做准备。今天考虑使用Ant来搭建一个Hadoop的开发和调试环境，不使用hadoop自带的插件。再扩展开来，可以利用

Shibuwodai 2012-08-22

自己搭建一套hadoop的运行环境

本脚本的主要作用：给hadoop的快速大规模的集群分发安装提供了准备，能够很快的完成部分基础设施工作，在这上面我们可以直接配置hadoop，hbase等，然后就能快速使用了。分别在压缩包内的conf目录，关于Hive，暂时没有安装。3，配置etc，hado

玻璃心 2016-10-20

Win7+Eclipse+Hadoop2.6.4开发环境搭建

执行“jdk-7u80-windows-x64.exe”，步骤选择默认下一步即可。解压hadoop-2.6.4.tar.gz、apache-ant-1.9.6-bin.zip、hadoop2.6V0.2.zip、hadoop-2.6.4-src.tar.g

laotumingke 2016-04-05

1：Hadoop安装环境搭建

第一次搭建Hadoop环境，可谓是千难万难。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统，简称HDFS。HDFS放宽了POSIX的要求，可以以流的形式访问文件系统中的数据。Hadoop的框架最核心的

totxian 2016-04-03

Hadoop2.2.0版本多节点集群及eclipse开发环境搭建

Hadoop2.2.0版本多节点集群及eclipse开发环境搭建 分类： Hadoop开发 2013-12-31 16:33 457人阅读 评论 收藏 举报目录(?鉴于部分网友在搭建hadoop2.2.0过程中遇到各种各样的问题，特记录本人搭建集群环境

system0 2014-01-08

学习hadoop需要什么基础

学习hadoop需要什么基础“学习hadoop需要什么基础”这已经不是一个新鲜的话题了，随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗？用一句特别让人无语的话回答就是：难不会，会不难

forjustice 2019-06-28

实用贴:hadoop系统下载安装教程

我是下载的一个大快搜索的DKhadoop发行版，三个节点的标准版本，个人研究或者学习hadoop三节点完全够用。本篇分享hadoop的安装步骤依然是也DKhadoop为例。五月份的时候跟和大二、大三的几个学生聊hadoop的事情，他们吐槽点都集中在环境的搭

大木行走 2019-06-28

hadoop视频教程

Hadoop是什么，为什么要学习Hadoop?Hadoop实现了一个分布式文件系统，简称HDFS。Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素

xuplus 2013-02-16

hadoop eclipse 2（转）

对于Hadoop开发者来讲，通过JAVAAPI编程是进入Map-Reduce分布式开发的第一步。由于Eclipse本身并没有提供对MapReduce编程模式的支持，所以需要一些简单的步骤来实现。本文的Hadoop是部署在虚拟机上的伪分布模式。相关软件环境如

shuyun00 2013-02-07
WeiHHH

WeiHHH

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号