安科网

hue oozie再踩坑，workflow,coordinator终于都可以跑了

wendll

wendll

2018-09-28

关注 关注

前边总结 了些hue下sqoop1,oozie,hbase的一些坑，今日项目到期，一定要搞定oozie工作流和定时调度执行，以是skr skr skr ....

1.前边 的sqoop mysql 导入出的坑已都踩过了，后来发现除了cdh(5.15)没有自动配置好sqoop1之外也无关紧要，手动配置后，按装sharelib后在拷些不全的包（如 sqoop,hbase,mysql,oozie等），基本是也可以在hue里跑的（hue 用oozie跑sqoop ,python写的xml 转义bug不能带引号之类），开始一直找不到驱动，后边按网上OOZIE 下各lib libext libtools 和其它sqoop lib的目录下加了mysql驱动后依然不行，后来改了下hdfs 下的 core-site.xml 的代理用户后就好了：

<property><name>hadoop.proxyuser.hue.hosts</name><value>*</value></property>
<property><name>hadoop.proxyuser.hue.groups</name><value>*</value></property>
<property><name>hadoop.proxyuser.oozie.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.ozzie.groups</name><value>*</value></property>

sqoop1手动配置：

Sqoop 1 Client 服务环境高级配置代码段（安全阀）:

SQOOP_CONF_DIR=/etc/sqoop/conf
HADOOP_COMMON_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
HADOOP_MAPRED_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce
HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
ZOOCFGDIR=/opt/cloudera/parcels/CDH/lib/zookeeper

sqoop-conf/sqoop-env.sh 的 Sqoop 1 Client 客户端高级配置代码段（安全阀）：

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce
#set the path to where bin/hbase is available
export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
#Set the path to where bin/hive is available
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
#Set the path for where zookeper config dir is
export ZOOCFGDIR=/opt/cloudera/parcels/CDH/lib/zookeeper
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH::/opt/cloudera/parcels/SQOOP_TERADATA_CONNECTOR1.7c5//lib/tdgssconfig.jar:/opt/cloudera/parcels/SQOOP_TERADATA_CONNECTOR-1.7c5//lib/terajdbc4.jar:
export SQOOP_CONF_DIR=/etc/sqoop/conf

2.导入因为是关系数据库有修改，所以导到hbase解决数据修改后增量同步过来的数据重复，保证数据一致性，然后有些类型转化，如int float（11，2）datetime 要转成java类型，特别是int ，有的关系数据库是tinyint 不转到hbase会变成true false，后在hive数仓，还不报错， 到impala下才提示

3.数据 有了，hive建hbase外表入仓，后开始计算，因要增量计算所以要定时删除创建表并导出到Mysql，导出的坑也说 了，-columns 类型 null转化参数，和彻底解决类型问题自定义class，另一坑是因导出表在hdfs ，各人在hue 操作权限不同，虽hue 里有share 功能，但只能脚本共享，不能正确执行，还报ｈｄｆｓ权限错误，后来和上边一样ｃｏｒｅ－ｓｉｔｅ。ｘｍｌ加所有组员为代理用户，虽不报错了，但还是有问题，如dorp table ，因别人创建的hive里删了，ｈｄｆｓ　下目录并没有删，数据创建等都有问题，结论是ｈｕｅ 还是自己跑自己的程序和脚本，上线用一个帐号全部拷到一起在跑就没问题了，不能真正协作，只能过程中脚本共享查看，并不能一块在一流里，相互调用，因权限不同，一些临时目录创建，代理用户操作不了的

4.导入计算输出脚本ｓｑｌ都有了，要做成流并定时调用，但ｏｏｚｉｅ开始一直只能在命令行可跑和ｓｑｏｏｐ１ 一样，后来测试可跑Ｗｏｒｋｆｌｏｗ，按上说的在ｗｏｒｋｓｐａｓｅ下改配置后跑并不起作用，而且配置又还原了，了解到ＨＵＥ里的好多配置并不像开源安装的一样直接可以改配置文件，因它可能就不是用的那个配置，而自己有自己的目录，一些关键的参数都有默认值 ，如：oozie.ｗｆ.application.path　oozie.coord.application.path等，且从ｗｏｒｋｆｌｏｗ设计页的菜单里生成的ｃｏｒｎｄ调度根本提交不了，提示undefined　－－！，后来排除以上所有其它问题后，从头去跑ＯＯＺＩＥ－ｅｘａｍｐｌｅｓ，结果命令行下依然可以，拷上来的ｅｘａｍｐｌｅｓ 在ｈｕｅ里也不能跑，试了各种方式，后埋头看了几遍ＯＯＺＩＥ 原理操作，有几只得提下：http://shiyanjun.cn/archives/684.html

https://www.cnblogs.com/en-heng/p/5581331.html，最后了解ｗｏｒｋｆｌｏｗ 和ｃｏｒｎｄ是等同的不是包含从属关系，后就从ｈｕｅ菜单建了个新的ｃｏｒｎｄ 后再选ｗｏｒｋｆｌｏｗ，结果 竟然可以跑定时了，我擦 ，那ｗｏｒｋ ｆｌｏｗ里的ｃｏｒｎｄ 调整就是坑货，网上一些哪贴根本没能在ｈｕｅ　里跑，只是在ｈｕｅ里按命令行下写ｗｏｒｋｆｌｏｗ 文件，而实测ｈｕｅ4.1 （ｃｄｈ5.15.1）里根本不让跑，不是参数重了， 就 是提交后会还原你的配置

其它还有些小坑，时区大都网上还是ｕｔｃ，然而按官网改oozie-site.xml 的 Oozie Server 高级配置代码段（安全阀）

<property><name>oozie.processing.timezone</name><value>GMT+0800</value></property>

ｃｏｒｎｄ里变成上海时间：

<coordinator-app name="MY_APP" frequency="${coord:minutes(2)}" start="${start}" end="${end}" timezone="Asia/Shanghai" xmlns="uri:oozie:coordinator:0.2">
 <action>
 <workflow>
 <app-path>${workflowAppUri}</app-path>
 </workflow>
 </action>
</coordinator-app>

而提交时，提示格式不对要加 +0800 －－！

Error: E1003 : E1003: Invalid coordinator application attributes, parameter [start] = [2018-09-19T16:35] must be Date in GMT+08:00 format (yyyy-MM-dd'T'HH:mm+0800). Parsing error java.text.ParseException: Could not parse [2018-09-19T16:35] using [yyyy-MM-dd'T'HH:mm+0800] mask

于是ｊｏｂ．ｐｒｏｐｅｒｔｉｅｓ：

oozie.use.system.libpath=true
security_enabled=False
dryrun=False
send_email=False
jobTracker=master:8032
start=2018-09-27T16:35+0800
nameNode=hdfs://master:8020
end=2018-09-27T18:35+0800
workflowAppUri=${nameNode}/user/hue/oozie/apps/sqoop＃自生成的ｗｆ根本不写这两行
oozie.coord.application.path=${nameNode}/user/hue/oozie/apps/sqoop＃自生成的ｗｆ根本不写这两行
<workflow-app name="My Workflow" xmlns="uri:oozie:workflow:0.5">
 <start to="sqoop-ace0"/>
 <kill name="Kill">
 <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
 </kill>
 <action name="sqoop-ace0">
 <sqoop xmlns="uri:oozie:sqoop-action:0.2">
 <job-tracker>${jobTracker}</job-tracker>
 <name-node>${nameNode}</name-node>
 <command> list-databases --connect jdbc:mysql://ｍａｓｔｅｒ:3306/ --username bigdata --password ｘｘｘｘｘ </command>
 </sqoop>
 <ok to="End"/>
 <error to="Kill"/>
 </action>
 <end name="End"/>
</workflow-app>

ｈｕｅ里创建的ｗｏｒｋｆｌｏｗ 和ｊｏｂ．ｐｒｏｐｅｒｔｉｅｓ

<workflow-app name="Workflow-1" xmlns="uri:oozie:workflow:0.5">
 <start to="hive-d593"/>
 <kill name="Kill">
 <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
 </kill>
 <action name="hive-d593" cred="hive2">
 <hive2 xmlns="uri:oozie:hive2-action:0.1">
 <job-tracker>${jobTracker}</job-tracker>
 <name-node>${nameNode}</name-node>
 <jdbc-url>jdbc:hive2://master:10000/default</jdbc-url>
 <script>${wf:appPath()}/hive-d593.sql</script>
 </hive2>
 <ok to="hive-9e6a"/>
 <error to="Kill"/>
 </action>
 <action name="hive-9e6a" cred="hive2">
 <hive2 xmlns="uri:oozie:hive2-action:0.1">
 <job-tracker>${jobTracker}</job-tracker>
 <name-node>${nameNode}</name-node>
 <jdbc-url>jdbc:hive2://master:10000/default</jdbc-url>
 <script>${wf:appPath()}/hive-9e6a.sql</script>
 </hive2>
 <ok to="hive-016c"/>
 <error to="Kill"/>
 </action>
 <action name="hive-016c" cred="hive2">
 <hive2 xmlns="uri:oozie:hive2-action:0.1">
 <job-tracker>${jobTracker}</job-tracker>
 <name-node>${nameNode}</name-node>
 <jdbc-url>jdbc:hive2://master:10000/default</jdbc-url>
 <script>${wf:appPath()}/hive-016c.sql</script>
 </hive2>
 <ok to="hive-02ec"/>
 <error to="Kill"/>
 </action>
 <action name="hive-3c77" cred="hive2">
 <hive2 xmlns="uri:oozie:hive2-action:0.1">
 <job-tracker>${jobTracker}</job-tracker>
 <name-node>${nameNode}</name-node>
 <jdbc-url>jdbc:hive2://master:10000/default</jdbc-url>
 <script>${wf:appPath()}/hive-3c77.sql</script>
 </hive2>
 <ok to="hive-6ffa"/>
 <error to="Kill"/>
 </action>
 <action name="hive-02ec" cred="hive2">
 <hive2 xmlns="uri:oozie:hive2-action:0.1">
 <job-tracker>${jobTracker}</job-tracker>
 <name-node>${nameNode}</name-node>
 <jdbc-url>jdbc:hive2://master:10000/default</jdbc-url>
 <script>${wf:appPath()}/hive-02ec.sql</script>
 </hive2>
 <ok to="hive-3c77"/>
 <error to="Kill"/>
 </action>
 <action name="hive-6ffa" cred="hive2">
 <hive2 xmlns="uri:oozie:hive2-action:0.1">
 <job-tracker>${jobTracker}</job-tracker>
 <name-node>${nameNode}</name-node>
 <jdbc-url>jdbc:hive2://master:10000/default</jdbc-url>
 <script>${wf:appPath()}/hive-6ffa.sql</script>
 </hive2>
 <ok to="hive-bbd4"/>
 <error to="Kill"/>
 </action>
 <action name="hive-bbd4" cred="hive2">
 <hive2 xmlns="uri:oozie:hive2-action:0.1">
 <job-tracker>${jobTracker}</job-tracker>
 <name-node>${nameNode}</name-node>
 <jdbc-url>jdbc:hive2://master:10000/default</jdbc-url>
 <script>${wf:appPath()}/hive-bbd4.sql</script>
 </hive2>
 <ok to="End"/>
 <error to="Kill"/>
 </action>
 <end name="End"/>
</workflow-app>
oozie.use.system.libpath=True
security_enabled=False
dryrun=False
start_date=2018-09-27T17:28
end_date=2018-09-27T18:28

还有自动生的ｃｏｒｎｄ

<coordinator-app name="Schedule-1"
 frequency="0,33,40 * * * *"
 start="${start_date}" end="${end_date}" timezone="Asia/Shanghai"
 xmlns="uri:oozie:coordinator:0.2"
 >
 <controls>
 <execution>FIFO</execution>
 </controls>
 <action>
 <workflow>
 <app-path>${wf_application_path}</app-path>
 <configuration>
 <property>
 <name>oozie.use.system.libpath</name>
 <value>True</value>
 </property>
 <property>
 <name>start_date</name>
 <value>${start_date}</value>
 </property>
 <property>
 <name>end_date</name>
 <value>${end_date}</value>
 </property>
 </configuration>
 </workflow>
 </action>
</coordinator-app>

oozie.use.system.libpathTruesecurity_enabledFalseoozie.coord.application.pathhdfs://master:8020/user/hue/oozie/deployments/_hue_-oozie-3509-1538040624.53dryrunFalseend_date2018-09-27T18:28+0800jobTrackermaster:8032mapreduce.job.user.namehueuser.namehuehue-id-c3509nameNodehdfs://master:8020wf_application_pathhdfs://master:8020/user/hue/oozie/workspaces/hue-oozie-1537954075.59start_date2018-09-27T17:28+0800

hue oozie再踩坑，workflow,coordinator终于都可以跑了

hue oozie sqoop hadoop cloudera workflow cdh

wendll

wendll

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

sqoop2 1.99.5 安装+hue

sqoop是一个把关系型数据库数据抽向Hadoop的工具。同时，也支持将hive、pig等查询的结果导入关系型数据库中存储。个人觉得用一个生态后就实用同一个系列的产品，比如选择了cloudera最好就用它的生态下的东西。tar -zxvf sqoop2-1

maxhello 2016-09-30

hue集成hbase

# Comma-separated list of HBase Thrift servers for clusters in the format of ‘‘.# If using Kerberos we assume GSSAPI SASL, not P

gengwx00 2020-06-11

EMR问题

需要设置为true，打开允许多个Query同时编译。

victorzhzh 2019-12-20

ubuntu16.04 安装单机Hadoop&HIVE&HUE

127.0.0.1 tb001然后需要修改配置文件，在hadoop安装目录的./etc/hadoop下

ochangbluce 2019-06-25

hue配置使用mysql

因为Hue的元数据库是sqlite，容易产生database is locked的异常，所以建议大家把元数据库改为mysql。我们先打开mysql的root用户，然后新建一个hue用户，并为它授权，来使mysql作为hue的元数据库。grant all o

hyfound 2018-06-13

hue的历史查询记录querys乱码问题解决

[hadoop@uhadoop-bwgkeu-master1 conf]$ ps -ef|grep mysqlroot 7211 1 0 Jun28 ?终极解决办法：1.修改/etc/my.cnf配置修改clent,mysqld,mysql,mysql_s

andychiu 2018-11-24

Hue安装配置实践

Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集

上海一九四三 2016-07-20

Hadoop User Experience（HUE）安装与HUE配置Hadoop

Hue程序被整合到一个类似桌面的环境，以web程序的形式发布，对于单独的用户来说不需要额外的安装。Hue官网无法下载，超时。使用CDH版本安装。我的系统是CentOS，安装CentOS依赖包；export PATH = $PATH:$MAVEN_HOME/

陈先森 2016-07-20

原生js结合html5制作小飞龙的简易跳球

你的游览器不支持html5的画布元素，请升级到IE9+或使用firefox、chrome这类高级的智能游览器！

psdhtml 2019-04-26

通过分析HSL/HSB获取图片主色调

网上搜索了一下并没有满意的解决办法，于是自己小小的研究了一下，最后效果还算可以啦。而Lightness为0的时候也是黑色，但是为1的时候就是白色了，Lightness为0.5对应了Brightness为1的状态，所以我认为Lightness是Brightn

曾少贤 2018-03-12

axis1.4开发webservice客户端(快速入门)-基于jdk1.4

对于客户端，服务端开发好了以后，客户端只需要调用就可以了。这里我们讲的是，根据服务的访问地址，来生成客户端所需要用到的代码（听说有几种调用方式，但是用到最常见的就是stub方式，貌似我说的这种方式就是的，具体没深入研究。哈哈，先学会用再说）。wsdl，这一

软件设计 2017-06-26

关于颜色

可见光的最长波长是780nm，对应红色；最短波长是380nm，对应于紫色。太阳光可以发射可见范围内所有频率的波长，表现为白光。这些被选为基准的光叫做primary color，可以用基准光来表示的颜色范围叫做color gamut。由于能量不能是负的，所以

手机开发 2017-01-14
wendll

wendll

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号