Linux搭建Hadoop开发环境

一个人的世界

2018-03-31

关注关注

Linux搭建Hadoop开发环境

Hadoop环境搭建安装配置：

[1].官网下载Hadoop-2.7.5安装包： hadoop-2.7.5/hadoop-2.7.5.tar.gz

[2].把Hadoop-2.7.5安装包利用Xftp5工具上传到：/usr/local/hadoop

[3].登录Liunx服务器，利用Xhell5进入：cd /usr/local/hadoop：

[root@marklin hadoop]# cd /usr/local/hadoop

[root@marklin hadoop]#

并使用tar -xvf 解压：tar -xvf hadoop-2.7.5.tar.gz，

[root@marklin hadoop]# tar -xvf hadoop-2.7.5.tar.gz

[4].配置Hadoop环境变量，输入：vim /etc/profile

#Setting HADOOP_HOME PATH

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.5

export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin::${HADOOP_HOME}/lib

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export HADOOP_MAPARED_HOME=${HADOOP_HOME}

export HADOOP_COMMON_HOME=${HADOOP_HOME}

export HADOOP_HDFS_HOME=${HADOOP_HOME}

export YARN_HOME=${HADOOP_HOME}

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop

保存配置，输入：source /etc/profile

[root@marklin ~]# source /etc/profile

[root@marklin ~]#

PS：最总要的2个点：

【1】修改主机名称：vim /etc/hostname

【2】修改配置主机与Ip地址的映射：vim /etc/hosts

[5].Hadoop修改配置文件：

core-site.xml：Hadoop的核心配置，包含tmp临时配置文件和访问地址，默认端口9000

mapred-site.xml：Hadoop中相关数据处理模型的配置处理

yarn-site.xml：Hadoop中相关Job的配置处理

hdfs-site.xml：Hadoop配置的文件备份个数以及数据文件夹的配置

(1). 配置core-site.xml，在Hadoop安装目录[/usr/local/hadoop/hadoop-2.7.5/etc/hadoop]下输入： vim core-site.xml

[root@marklin ~]# cd /usr/local/hadoop/hadoop-2.7.5/etc/hadoop

[root@marklin hadoop]#

输入：vim core-site.xml

并配置：

<name>fs.default.name</name>

<value>hdfs://marklin.com:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/repository/hdfs/tmp</value>

</property>

<name>io.file.buffer.size</name>

</property>

<name>hadoop.proxyuser.hadoop.hosts</name>

</property>

<name>hadoop.proxyuser.hadoop.groups</name>

</property>

</configuration>

同时在文件路径：/usr/local/hadoop/repository/hdfs，创建tmp目录： mkdir tmp

（2）修改 hdfs-site.xml，并配置：vim hdfs-site.xml

[root@marklin hadoop]# vim hdfs-site.xml

[root@marklin hadoop]#

<name>dfs.namenode.name.dir</name> --dfs.namenode.name.dir定义名称节点路径

<value>/usr/local/hadoop/repository/hdfs/name</value>

</property>

<name>dfs.datanode.data.dir</name> --dfs.datanode.data.dir定义数据节点路径

<value>/usr/local/hadoop/repository/hdfs/data</value>

</property>

<name>dfs.permissions</name> --dfs.permissions定义权限认证

<value>false</value>

</property>

<name>dfs.replication</name>--dfs.replication定义文件副本数

</property>

<name>dfs.namenode.http-address</name>--dfs.namenode.http-address定义服务http的访问

<value>marklin.com:50070</value>

</property>

<name>dfs.namenode.secondary.http-address</name>--dfs.namenode.secondary.http-address定义服务http的访问

<value>marklin.com:50090</value>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

</configuration>

<name>dfs.namenode.name.dir</name>

<value>/usr/local/hadoop/repository/hdfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>/usr/local/hadoop/repository/hdfs/data</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.namenode.http-address</name>

<value>marklin.com:50070</value>

</property>

<name>dfs.namenode.secondary.http-address</name>

<value>marklin.com:50090</value>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

同时在文件路径：/usr/local/hadoop/repository/hdfs，创建name和data目录： mkdir name 和mkdir data

（3）创建mapred-site.xml文件，输入：cp mapred-site.xml.template mapred-site.xml

[root@marklin hadoop]# cp mapred-site.xml.template mapred-site.xml

编辑mapred-site.xml文件，并配置：

<name>mapreduce.framework.name</name>

</property>

<name>mapred.job.tracker</name>

<value>hdfs://marklin.com:8021/</value>

</property>

<name>mapreduce.jobhistory.address</name>

<value>marklin.com:10020</value>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>marklin.com:19888</value>

</property>

<name>mapreduce.reduce.java.opts</name>

</property>

<name>mapreduce.map.memory.mb</name>

</property>

<name>mapreduce.reduce.input.buffer.percent</name>

</property>

<name>mapreduce.reduce.memory.mb</name>

</property>

<name>mapred.tasktracker.reduce.tasks.maximum</name>

</property>

<name>mapred.system.dir</name>

<value>/usr/local/hadoop/repository/mapreduce/system</value>

</property>

<name>mapred.local.dir</name>

<value>/usr/local/hadoop/repository/mapreduce/local</value>

</property>

</configuration>

（4）修改 yarn-site.xml，并输入：:vim yarn-site.xml

[root@marklin hadoop]# vim yarn-site.xml

[root@marklin hadoop]#

并配置：

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<name>yarn.resourcemanager.hostname</name>

<value>marklin.com</value>

</property>

<name>yarn.resourcemanager.address</name>

<value>${yarn.resourcemanager.hostname}:8032</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>${yarn.resourcemanager.hostname}:8030</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>${yarn.resourcemanager.hostname}:8031</value>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>${yarn.resourcemanager.hostname}:8033</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>${yarn.resourcemanager.hostname}:8088</value>

</property>

<name>yarn.nodemanager.resource.memory-mb</name>

</property>

<name>yarn.app.mapreduce.am.staging-dir</name>

<value>/usr/local/hadoop/repository/mapreduce/staging</value>

</property>

<name>mapreduce.jobhistory.intermediate-done-dir</name>

<value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value>

</property>

<name>mapreduce.jobhistory.done-dir</name>

<value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>

</property>

</configuration>

【6】在Hadoop文件目录[/usr/local/hadoop/hadoop-2.7.5/etc/hadoop]下，

对应的 hadoop-env.sh,mapred-env.sh以及yarn-env.sh文件配置JAVA_HOME：export JAVA_HOME=/usr/local/java/jdk1.8.0_162

输入：vim hadoop-env.sh ：

[root@marklin hadoop]# vim hadoop-env.sh

[root@marklin hadoop]#

export JAVA_HOME=/usr/local/java/jdk1.8.0_162

输入：vim mapred-env.sh：

export JAVA_HOME=/usr/local/java/jdk1.8.0_162

[root@marklin hadoop]# vim mapred-env.sh

[root@marklin hadoop]#

输入：vim yarn-env.sh

export JAVA_HOME=/usr/local/java/jdk1.8.0_162

[root@marklin hadoop]# vim yarn-env.sh

[root@marklin hadoop]#

【6】开放端口：50070

（1）启动防火墙：systemctl start firewalld.service

[root@marklin ~]# systemctl start firewalld.service

[root@marklin ~]#

（2）启动防火墙：firewall-cmd --zone=public --add-port=50070/tcp --permanent

[root@marklin ~]# firewall-cmd --zone=public --add-port=50070/tcp --permanent

[root@marklin ~]#

(3)启动：firewall-cmd --reload

[root@marklin ~]# firewall-cmd --reload

[root@marklin ~]#

（4）格式化：hdfs namenode -format

[root@marklin ~]# hdfs namenode -format

[root@marklin ~]#

（5）启动脚本：start-all.sh

[root@marklin ~]# start-all.sh

[root@marklin ~]#

[root@marklin ~]# start-dfs.sh

Starting namenodes on [marklin.com]

marklin.com: starting namenode, logging to /usr/local/hadoop/hadoop-2.7.5/logs/hadoop-root-namenode-marklin.com.out

marklin.com: starting datanode, logging to /usr/local/hadoop/hadoop-2.7.5/logs/hadoop-root-datanode-marklin.com.out

Starting secondary namenodes [marklin.com]

marklin.com: starting secondarynamenode, logging to /usr/local/hadoop/hadoop-2.7.5/logs/hadoop-root-secondarynamenode-marklin.com.out

[root@marklin ~]# start-yarn.sh

starting yarn daemons

starting resourcemanager, logging to /usr/local/hadoop/hadoop-2.7.5/logs/yarn-root-resourcemanager-marklin.com.out

marklin.com: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.7.5/logs/yarn-root-nodemanager-marklin.com.out

[root@marklin ~]# jps

1122 QuorumPeerMain

6034 Jps

1043 QuorumPeerMain

5413 SecondaryNameNode

5580 ResourceManager

5085 NameNode

5709 NodeManager

5230 DataNode

1119 QuorumPeerMain

【7】输入测试地址：

【1】浏览器输入：http://192.168.3.4:50070/dfshealth.html#tab-overview

【2】浏览器输入：http://192.168.3.4:8088/cluster

hadoop hadoop开发环境搭建 linux系统 linux服务器 text-align

一个人的世界

0 关注 0 粉丝 0 动态

关注关注

Hadoop3.2.0集群搭建常见注意事项

hadoop-env.sh中不光需要配置java-home,还需要声明下面这些用户变量,不然无法启动:. 如果出现这个说明连接配置有问题,查看core-site.xml配置,这个是配置datanode和namnode通信的:. hdfs应该配置成namno

changjiang 2020-11-16

为什么Java仍将是未来的主流语言？

Java是一种通用编程语言，1995年由Sun Micro-systems公司开发。尽管已经有25年的历史，但它仍然统治着整个世界。根据Stack-overflow的开发者调查，它在2019年最受欢迎的语言中排名第5。超过41%的调查用户将Java标记为

minerd 2020-10-28

hadoop伪分布式环境搭建

core-site.xml文件主要配置了访问Hadoop集群的主要信息，其中master代表主机名称，也可以使用IP替换，9000代表端口。外部通过配置的hdfs：//master：9000信息，就可以找到Hadoop集群。hdfs-site.xml配置文

WeiHHH 2020-09-23

_服役新节点，退役旧节点，多目录配置。+_HDFS2.x的新特性

datanode会主动Namenode请求。这样服役新的节点就做完了。添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建

Aleks 2020-08-19

Hadoop（一）安装

################ hadoop fs 文件系统 ####################. ################ hadoop mapreduce 计算框架 ####################. #############

WeiHHH 2020-08-17

第四周练习

13、添加用户bash,testbash,basher,nologin,而后找出当前系统上其用户名和默认shell相同的用户的信息

jackydai 2020-07-28

Hadoop小练习

Hadoop和HDFS内容：1.什么是HDFS文件系统？HDFS是大数据开源框架hadoop的组件之一，全称，它是一个分布式文件系统，由多台服务器联合起来实现文件存储功能，通过目录树来定位文件，集群中的服务器都有有各自的角色.

飞鸿踏雪0 2020-07-26

hadoop框架三大组件hdfs、mapreduce、yarn 内容

1）分布式的运算程序往往需要分成至少2个阶段。2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。4）MapReduce编程

tomli 2020-07-26

Hadoop基础（三十三）：Zookeeper 分布式安装部署

在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper。A 是一个数字，表示这个是第几号服务器；就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比。较从而

deyu 2020-07-21

Hadoop基础（二十二）：Shuffle机制（三）

统计过程中对每一个MapTask的输出进行局部汇总，以减小网络传输量即采用Combiner功能。public class WordcountCombiner extends Reducer<Text, IntWritable, Text, IntWr

strongyoung 2020-07-19

hdfs、hive、hbase的搭建总结

-- 完全分布式文件系统的名称：schema ip port -->. -- 分布式文件系统的其他路径的所依赖的一个基础路径，完全分布式不能使用默认值，因为临路径不安全，linux系统在重启时，可能会删除此目录下的内容-->. --

eternityzzy 2020-07-19

NameNode和Zookeeper的format作用

在我们安装高可用hadoop集群时，我们会按照以下命令去执行启动操作；??在备namenode节点同步元数据??那么我们为什么要对NameNode和Zookeeper进行format操作；core-site.xml 是 NameNode 的核心配置文件，主

Elmo 2020-07-19

hadoop集群的启动与停止

漫长的启动时间…………思考：每次都一个一个节点启动，如果节点数增加到1000个怎么办？早上来了开始一个一个节点启动，到晚上下班刚好完成，下班？这些名称是我的三台机器的主机名，各位请改成自己的主机名！如果集群是第一次启动，需要格式化NameNode，这里使用

飞鸿踏雪0 2020-07-09

JStorm介绍

JStorm是一个类似于Hadoop MapReduce的系统，用户按照指定的接口实现一个任务，然后将这个任务交给JStorm系统，JStorm将这个任务跑起来，并按7*24小时运行。如果中间一个worker发生了意外故障，调度器立即分配一个新的worke

csdnhadoop 1评论 2020-07-04

Hadoop2.7.7 centos7 完全分布式配置与问题随记

三台机器之间的免密登陆ssh. 说明ip映射没有配置正确，正确的方式是在每一个节点上，都执行"内外外"的配置方式，即将本机与本机的内网ip对应，其他机器设置为外网ip. --SecondayNameNode默认与NameNode在同一台

飞鸿踏雪0 2020-07-04

Hadoop Yarn工作机制 Job提交流程

MR程序提交到客户端所在的节点。YarnRunner向ResourceManager申请一个Application。RM将该应用程序的资源路径返回给YarnRunner。RM将用户的请求初始化成一个Task。其中一个NodeManager领取到Task任务

xieting 2020-07-04

【赵强老师】大数据工作流引擎Oozie

工作流就是工作流程的计算模型，即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。Java的三大主流工作流引擎分别是：Shark，osworkflow，JBPM. Oozie Server负责接收客户端请求、调度

WeiHHH 2020-06-28

Hadoop

Zookeeper：用于 Hadoop 的分布式协调服务。Hadoop 的许多组件依赖于 Zookeeper，它运行在计算机集群中，用于管理 Hadoop 集群。像 Pig 一样，Hive 作为一个抽象层工具，吸引了很多熟悉 SQL 而不是 Java 编程

genshengxiao 2020-06-26

入门大数据---Spark开发环境搭建

Local 模式是最简单的一种运行方式，它采用单节点多线程方式运行，不用部署，开箱即用，适合日常测试开发。进入 spark-shell 后，程序已经自动创建好了上下文 SparkContext，等效于执行了下面的 Scala 代码：。安装完成后可以先做一个

Hhanwen 2020-06-25

hadoop创建目录

//1.vm arguments中添加后面的参数来修改用户 -DHADOOP_USER_NAME=hadoop

硅步至千里 2020-06-25

安科网

Linux搭建Hadoop开发环境

一个人的世界

一个人的世界

相关推荐

Hadoop3.2.0集群搭建常见注意事项

为什么Java仍将是未来的主流语言？

hadoop伪分布式环境搭建

_服役新节点，退役旧节点，多目录配置。+_HDFS2.x的新特性

Hadoop（一）安装

第四周练习

Hadoop小练习

hadoop框架三大组件hdfs、mapreduce、yarn 内容

Hadoop基础（三十三）：Zookeeper 分布式安装部署

Hadoop基础（二十二）：Shuffle机制（三）

hdfs、hive、hbase的搭建总结

NameNode和Zookeeper的format作用

hadoop集群的启动与停止

JStorm介绍

Hadoop2.7.7 centos7 完全分布式配置与问题随记

Hadoop Yarn工作机制 Job提交流程

【赵强老师】大数据工作流引擎Oozie

Hadoop

入门大数据---Spark开发环境搭建

hadoop创建目录

一个人的世界