oozie 4.0.0 on hadoop2.4.1安装笔记(完整版)
oozie版本:4.0.0(开始在官网下载4.0.1的版本,编译一直无法通过,报错说oozie-hadoop-4.0.1的jar,换4.0.0竟然没报错,不解)
hadoop 2.4.1 由于测试集群用了改版本,无奈,原本github上有编译好的oozie,但是最高才3.0,只能支持hadoop 2.0
==================================华丽的分割====================================
1.下载oozie源码[http://archive.apache.org/dist/oozie/4.0.0/]
2.下载ext2.2.zip【http://oozie.apache.org/docs/4.0.1/DG_QuickStart.html】
3.下载http-client和http-core(oozie.war 需要该包,否则server起来后,访问页面会报错)
4.解压oozie包后修改pom.xml,jdk改为1.7,hadoop.version改为2.4.1(其它hbase,pig等相应修改)
5.添加环境变量;
------------------------------------------------------------------------------------------------------------------------------
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export OOZIE_HOME=/opt/oozie
export OOZIE_CONFIG=/opt/oozie/conf
PATH=$PATH:$HOME/bin:/usr/local/zookeeper-3.4.6/bin:$HADOOP_HOME/bin:$OOZIE_HOME/bin
------------------------------------------------------------------------------------------------------------------------------
6.编译oozie,进入bin,执行【mkdistro.sh -DskipTests】,进入漫长的编译过程,中间卡住,退出重新编译,直至全部success
7.将编译好的oozie-4.0.0-distro.tar.gz拷出来,解压,创建软链ln -s oozie-4.0.0 oozie[个人习惯,直接使用oozie-4.0.0也可以]
8.进入bin目录,打包可用war:
addtowar.sh -inputwar /opt/oozie/oozie.war -outputwar /opt/oozie/oozie-server/webapps/oozie.war -hadoop 2.4.1 /usr/local/hadoop -extjs /app/oozie/ext-2.2.zip
9.初始化db:
/ooziedb.sh create -sqlfile oozie.sql
接着执行如下命令,执行oozie数据库脚本文件,初始数据库
./oozie-setup.sh db create -run -sqlfile ./oozie.sql
10.启动oozie服务:
oozie-run.sh 或者 oozied.sh start
11.访问 http://localhost:11000/oozie/,应该会报错,将之前下载的httpclient和httpcore包拷到oozie-server/webapps/WEB_INF/lib下,重新启动,可以访问到页面了
===========================================测试oozie自带examples=============================
12.将oozie/oozie-examples.tar.gz 解压,这里我们测试shell示例,将job.propertis文件打开,修改下面两个参数:
nameNode=hdfs://hadoop6:9000
jobTracker=hadoop6:8032
改之前可以telnet下端口是否可用,不可用检查hadoop的配置
13.修改hadoop的core-site.xml配置,添加:(如果不是root用户,改成当前使用的用户)
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>root</value>
</property>
14.修改oozie下的配置,如下配置添加到【oozie/conf/hadoop-conf/core-site.xml】:(在hadoop的hadoop/etc/hadoop/mapred-site.xml中找到对应配置)
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop6:10020</value>
</property>
检查下改端口是否可用,不可用的话,登录到jobtracker所在机器,启动hadoop的服务:【mr-jobhistory-daemon.sh start historyserver】
15.重启下oozie-server服务,将shell下的文件put到hadoop上对应目录【oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/shell】
16.在命令行下提交oozie任务:【oozie job -oozie http://192.168.69.16:11000/oozie/ -config /app/tmp/shell/job.properties -run】
web界面上应该产生了一条job记录!不出意外,应该可以执行成功!