Hadoop（一）安装

WeiHHH

2020-08-17

关注关注

####首先保证Node891或Node811等版本装成功了######

/opt/bigdata/elk/node891

################ 修改目录权限 ####################

[ hadoop]# chown -R root:root hadoop260/

################ JDK ####################

[ hadoop260]# vi etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/bigdata/java/jdk180

################ hadoop fs 文件系统 ####################

[ hadoop260]# vi etc/hadoop/core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://虚拟机的IP地址:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/opt/bigdata/hadoop/hadoop260</value>

</property>

<name>hadoop.proxyuser.root.hosts</name>

</property>

<name>hadoop.proxyuser.root.groups</name>

</property>

</configuration>

################ hadoop replicas 备份 ####################

[ hadoop]# pwd

/opt/bigdata/hadoop

[ hadoop]# mkdir hdfs

[ hadoop]# ls

hadoop260 hdfs

[ hadoop]# cd hdfs/

[ hdfs]# mkdir namenode datanode

[ hdfs]# ls

datanode namenode

[ hadoop260]# vi etc/hadoop/hdfs-site.xml

<name>dfs.replication</name>

</property>

<name>dfs.namenode.dir</name>

<value>/opt/bigdata/hadoop/hdfs/namenode</value>

</property>

<name>dfs.datanode.dir</name>

<value>/opt/bigdata/hadoop/hdfs/datanode</value>

</property>

</configuration>

################ hadoop mapreduce 计算框架 ####################

[ hadoop260]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

[ hadoop260]# vi etc/hadoop/mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

</configuration>

################ hadoop yarn 管理调度 ####################

[ hadoop260]# vi etc/hadoop/yarn-site.xml

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.log-aggregation-enable</name>

</property>

</configuration>

################ hadoop slaves 主机名 ####################

[ hadoop260]# vi etc/hadoop/slaves

vwmaster

################ hadoop 环境变量 ####################

###### 环境变量的配置顺序不能颠倒！######

[ hadoop260]# vi /etc/profile

export JAVA_HOME=/opt/bigdata/java/jdk180

export TOMCAT_HOME=/opt/bigdata/java/tomcat85

export NODE_HOME=/opt/bigdata/elk/node891

export HADOOP_HOME=/opt/bigdata/hadoop/hadoop260

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$NODE_HOME/bin:$JAVA_HOME/bin:$TOMCAT_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[ hadoop260]# source /etc/profile

################ hadoop 格式化 HDFS ####################

[ hadoop260]# cd bin

[ bin]# hdfs namenode -format

##见到以下信息说明格式化成功

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at vwmaster/自己的虚拟机IP

************************************************************/

##如果格式化失败：需要去检查之前各项配置

##且在此格式化必须：先把/opt/bigdata/hadoop/hdfs目录下的datanode和namenode和tmp删除了再去格式化。

################ hadoop-native库 ####################

[ bin]# cd /opt/install/hadoop

[ hadoop]# tar -xf hadoop-native-64-2.6.0.tar -C /opt/bigdata/hadoop/hadoop260/lib/native/

################ 启动 hadoop ####################

[ hadoop]# cd /opt/bigdata/hadoop/hadoop260/sbin

[ sbin]# start-all.sh （如果需要密码先进入下一步，成功再启动）

[ sbin]# stop-all.sh （表示关闭）

################ 启动或关闭 hadoop 需要输入密码的解决方法 ####################

[ bin]# cd ~

[ ~]# cd .ssh/

[ .ssh]# ls

authorized_keys id_rsa id_rsa.pub known_hosts

[ .ssh]# cat id_rsa.pub >> authorized_keys

[ .ssh]# ssh localhost

################ 启动 jobhistory ####################

[ sbin]# jps

[ sbin]# ./mr-jobhistory-daemon.sh start historyserver

################ 查看 hadoop 服务状态 ####################

[ sbin]# jps

6800 NodeManager

7329 Jps

6387 DataNode

6548 SecondaryNameNode

6264 NameNode ### 如果没有namenode，可能是曾经启动失败后没有删除hdfs的两个文件夹。需要删掉后重启。

6697 ResourceManager

7259 JobHistoryServer

http://20.0.0.100: 50070 8088 19888

hadoop

WeiHHH

0 关注 0 粉丝 0 动态

关注关注

Hadoop3.2.0集群搭建常见注意事项

hadoop-env.sh中不光需要配置java-home,还需要声明下面这些用户变量,不然无法启动:. 如果出现这个说明连接配置有问题,查看core-site.xml配置,这个是配置datanode和namnode通信的:. hdfs应该配置成namno

changjiang 2020-11-16

为什么Java仍将是未来的主流语言？

Java是一种通用编程语言，1995年由Sun Micro-systems公司开发。尽管已经有25年的历史，但它仍然统治着整个世界。根据Stack-overflow的开发者调查，它在2019年最受欢迎的语言中排名第5。超过41%的调查用户将Java标记为

minerd 2020-10-28

hadoop伪分布式环境搭建

core-site.xml文件主要配置了访问Hadoop集群的主要信息，其中master代表主机名称，也可以使用IP替换，9000代表端口。外部通过配置的hdfs：//master：9000信息，就可以找到Hadoop集群。hdfs-site.xml配置文

WeiHHH 2020-09-23

_服役新节点，退役旧节点，多目录配置。+_HDFS2.x的新特性

datanode会主动Namenode请求。这样服役新的节点就做完了。添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建

Aleks 2020-08-19

第四周练习

13、添加用户bash,testbash,basher,nologin,而后找出当前系统上其用户名和默认shell相同的用户的信息

jackydai 2020-07-28

Hadoop小练习

Hadoop和HDFS内容：1.什么是HDFS文件系统？HDFS是大数据开源框架hadoop的组件之一，全称，它是一个分布式文件系统，由多台服务器联合起来实现文件存储功能，通过目录树来定位文件，集群中的服务器都有有各自的角色.

飞鸿踏雪0 2020-07-26

hadoop框架三大组件hdfs、mapreduce、yarn 内容

1）分布式的运算程序往往需要分成至少2个阶段。2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。4）MapReduce编程

tomli 2020-07-26

Hadoop基础（三十三）：Zookeeper 分布式安装部署

在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper。A 是一个数字，表示这个是第几号服务器；就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比。较从而

deyu 2020-07-21

Hadoop基础（二十二）：Shuffle机制（三）

统计过程中对每一个MapTask的输出进行局部汇总，以减小网络传输量即采用Combiner功能。public class WordcountCombiner extends Reducer<Text, IntWritable, Text, IntWr

strongyoung 2020-07-19

hdfs、hive、hbase的搭建总结

-- 完全分布式文件系统的名称：schema ip port -->. -- 分布式文件系统的其他路径的所依赖的一个基础路径，完全分布式不能使用默认值，因为临路径不安全，linux系统在重启时，可能会删除此目录下的内容-->. --

eternityzzy 2020-07-19

NameNode和Zookeeper的format作用

在我们安装高可用hadoop集群时，我们会按照以下命令去执行启动操作；??在备namenode节点同步元数据??那么我们为什么要对NameNode和Zookeeper进行format操作；core-site.xml 是 NameNode 的核心配置文件，主

Elmo 2020-07-19

hadoop集群的启动与停止

漫长的启动时间…………思考：每次都一个一个节点启动，如果节点数增加到1000个怎么办？早上来了开始一个一个节点启动，到晚上下班刚好完成，下班？这些名称是我的三台机器的主机名，各位请改成自己的主机名！如果集群是第一次启动，需要格式化NameNode，这里使用

飞鸿踏雪0 2020-07-09

JStorm介绍

JStorm是一个类似于Hadoop MapReduce的系统，用户按照指定的接口实现一个任务，然后将这个任务交给JStorm系统，JStorm将这个任务跑起来，并按7*24小时运行。如果中间一个worker发生了意外故障，调度器立即分配一个新的worke

csdnhadoop 1评论 2020-07-04

Hadoop2.7.7 centos7 完全分布式配置与问题随记

三台机器之间的免密登陆ssh. 说明ip映射没有配置正确，正确的方式是在每一个节点上，都执行"内外外"的配置方式，即将本机与本机的内网ip对应，其他机器设置为外网ip. --SecondayNameNode默认与NameNode在同一台

飞鸿踏雪0 2020-07-04

Hadoop Yarn工作机制 Job提交流程

MR程序提交到客户端所在的节点。YarnRunner向ResourceManager申请一个Application。RM将该应用程序的资源路径返回给YarnRunner。RM将用户的请求初始化成一个Task。其中一个NodeManager领取到Task任务

xieting 2020-07-04

【赵强老师】大数据工作流引擎Oozie

工作流就是工作流程的计算模型，即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。Java的三大主流工作流引擎分别是：Shark，osworkflow，JBPM. Oozie Server负责接收客户端请求、调度

WeiHHH 2020-06-28

Hadoop

Zookeeper：用于 Hadoop 的分布式协调服务。Hadoop 的许多组件依赖于 Zookeeper，它运行在计算机集群中，用于管理 Hadoop 集群。像 Pig 一样，Hive 作为一个抽象层工具，吸引了很多熟悉 SQL 而不是 Java 编程

genshengxiao 2020-06-26

入门大数据---Spark开发环境搭建

Local 模式是最简单的一种运行方式，它采用单节点多线程方式运行，不用部署，开箱即用，适合日常测试开发。进入 spark-shell 后，程序已经自动创建好了上下文 SparkContext，等效于执行了下面的 Scala 代码：。安装完成后可以先做一个

Hhanwen 2020-06-25

hadoop创建目录

//1.vm arguments中添加后面的参数来修改用户 -DHADOOP_USER_NAME=hadoop

硅步至千里 2020-06-25

[AWS][大数据][Hadoop] 使用EMR做大数据分析

创建一个存储桶比如hadoop202006…这里我解释一下Hadoop集群中的一些组件，了解大数据的同学直接忽略就好。Apache Hadoop：在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。Ap

swazerz 2020-06-22

安科网

Hadoop（一）安装

WeiHHH

WeiHHH

相关推荐

Hadoop3.2.0集群搭建常见注意事项

为什么Java仍将是未来的主流语言？

hadoop伪分布式环境搭建

_服役新节点，退役旧节点，多目录配置。+_HDFS2.x的新特性

第四周练习

Hadoop小练习

hadoop框架三大组件hdfs、mapreduce、yarn 内容

Hadoop基础（三十三）：Zookeeper 分布式安装部署

Hadoop基础（二十二）：Shuffle机制（三）

hdfs、hive、hbase的搭建总结

NameNode和Zookeeper的format作用

hadoop集群的启动与停止

JStorm介绍

Hadoop2.7.7 centos7 完全分布式配置与问题随记

Hadoop Yarn工作机制 Job提交流程

【赵强老师】大数据工作流引擎Oozie

Hadoop

入门大数据---Spark开发环境搭建

hadoop创建目录

[AWS][大数据][Hadoop] 使用EMR做大数据分析

WeiHHH