spark-sumbit返回状态为0的问题
spark是一个实时的分布式计算引擎,在大叔据领域属于后起之秀,表现非凡,但是spark在使用的过程中也存在不少问题,这里主要说一下spark-sumbit的问题。
spark-sumbit是spark提交任务的一个脚本,这个脚本提交的任务可能失败也可能成功,但是spark-sumbit这个脚本总是执行成功的,也就是说我们不能根据spark-sumbit 来判断我们提交的任务是否成功了,这是个比较大的问题,官方描述如下:
https://issues.apache.org/jira/browse/SPARK-2167
spark-submit script and Java class should exit with 0 for success and non-zero with failure so that other command line tools and workflow managers (like oozie) can properly tell if the spark app succeeded or failed.
目前这个问题在新发布的spark1.1.1中已经解决具体解决的代码参考一下链接:
https://github.com/apache/spark/pull/1788/files
但是根据目前测试的情况来看,spark-sumbit还是不能准确捕获退出状态,在经过spark上下文环境之后中间异常推出返回状态依然是0,所以这个bug虽然有修复但是还没有彻底修复!
其实这个需要在我们自己的代码中抛出异常才可以,使用exit退出程序spark捕获不到推出状态。
相关推荐
sxyhetao 2020-06-12
hovermenu 2020-06-10
Johnson0 2020-07-28
Hhanwen 2020-07-26
zhixingheyitian 2020-07-19
yanqianglifei 2020-07-07
Hhanwen 2020-07-05
Hhanwen 2020-06-25
rongwenbin 2020-06-15
Oeljeklaus 2020-06-10
zhixingheyitian 2020-06-08
Johnson0 2020-06-08
zhixingheyitian 2020-06-01
xclxcl 2020-05-31
Hhanwen 2020-05-29
zhixingheyitian 2020-05-29
Oeljeklaus 2020-05-29