自己搭建一套hadoop的运行环境
对于使用hadoop进行开发的朋友们,可能要自己搭建一套hadoop的运行环境,如果不是经常变动的还好,如果,经常搭建而且还是多台机器,那么我们一个个的安装,就显得有点捉襟见肘了,这也是这个脚本诞生的目的,主要帮助我们在快速搭建hadoop集群,以及安装底层的配置依赖环境如JDK,Maven,Ant等,在安装hadoop前,还有一些关于linux基础的工作需要做,包括SSH无密码登陆和批量用户创建,不过,别担心,散仙已经写好了,大家直接用就OK, 需要的朋友,请点击此处
如果ssh认证搞定和hadoop的用户创建完毕后,我们就可以,执行散仙的脚本进行安装了
说明如下:
脚本开发者:三劫散仙 技术交流群:376932160 本脚本的主要作用: 给hadoop的快速大规模的集群分发安装提供了准备,能够很快的完成部分基础设施工作, 在这上面我们可以直接配置hadoop,hbase等,然后就能快速使用了。 本hadoopsys的安装包,带了如下几种开源框架 1,Ant1.9.4 2,Maven3.0.5 3,JDK1.7u25 4,Hadoop2.2.0 5,Hbase0.96.2 6,Zookeeper3.4.5 7,Hive0.13.13 全是Java有关的框架,主要目的在于安装Hadoop,其他的都是附带的基本配置 本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,hbase和Zookeeper的配置 分别在压缩包内的conf目录,关于Hive,暂时没有安装。 脚本配置说明: 1,第一个要配置的是hosts文件,不是系统的hosts文件,而是我们集群安装的集群ip 2,默认的脚本是放在root根目录下,所有的文件压缩包解压到根目录下hadoopsys文件里 3,配置etc,hadoopconf文件,hbaseconf文件,zkconf文件,后,执行repack脚本,进行重新 打包。 4,然后执行pub脚本,进行机器分发压缩包,并解压 5,最后执行begin脚本,开始执行安装 6,注意一点,在etc/java.sh和begin.sh里面需要设置一个安装用户变量,目的 是给指定的用户目录路径下解压安装框架 一切完毕之后注意配置hadoop的nd,dd,tmp,hadooptmp,hbasetmp的文件夹,有些需要自己创建,完成之后在主的 机器上,进行格式化,然后启动hadoop集群即可。
脚本开发者:三劫散仙 技术交流群:376932160 本脚本的主要作用: 给hadoop的快速大规模的集群分发安装提供了准备,能够很快的完成部分基础设施工作, 在这上面我们可以直接配置hadoop,hbase等,然后就能快速使用了。 本hadoopsys的安装包,带了如下几种开源框架 1,Ant1.9.4 2,Maven3.0.5 3,JDK1.7u25 4,Hadoop2.2.0 5,Hbase0.96.2 6,Zookeeper3.4.5 7,Hive0.13.13 全是Java有关的框架,主要目的在于安装Hadoop,其他的都是附带的基本配置 本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,hbase和Zookeeper的配置 分别在压缩包内的conf目录,关于Hive,暂时没有安装。 脚本配置说明: 1,第一个要配置的是hosts文件,不是系统的hosts文件,而是我们集群安装的集群ip 2,默认的脚本是放在root根目录下,所有的文件压缩包解压到根目录下hadoopsys文件里 3,配置etc,hadoopconf文件,hbaseconf文件,zkconf文件,后,执行repack脚本,进行重新 打包。 4,然后执行pub脚本,进行机器分发压缩包,并解压 5,最后执行begin脚本,开始执行安装 6,注意一点,在etc/java.sh和begin.sh里面需要设置一个安装用户变量,目的 是给指定的用户目录路径下解压安装框架 一切完毕之后注意配置hadoop的nd,dd,tmp,hadooptmp,hbasetmp的文件夹,有些需要自己创建,完成之后在主的 机器上,进行格式化,然后启动hadoop集群即可。
解压后的文件如下:
脚本在最后会打包上传,关于各个安装包,就不上传了,上传的大小有限制,大家可以自己下载对应的版本。
相关推荐
changjiang 2020-11-16
WeiHHH 2020-09-23
飞鸿踏雪0 2020-06-12
minerd 2020-10-28
Aleks 2020-08-19
WeiHHH 2020-08-17
飞鸿踏雪0 2020-07-26
tomli 2020-07-26
deyu 2020-07-21
strongyoung 2020-07-19
eternityzzy 2020-07-19
Elmo 2020-07-19
飞鸿踏雪0 2020-07-09
飞鸿踏雪0 2020-07-04
xieting 2020-07-04
WeiHHH 2020-06-28
genshengxiao 2020-06-26