利用maven的资源提交spark任务
官网的教程提交依赖的jar,使用 --jars 参数来添加额外的jar。这种方式比较费劲,如果依赖比较多需要一个个的弄,挺麻烦。
查看 SparkSubmit 源码时(结合help帮助),可以通过 --packages --repositories 两个参数来添加需要的包(当然也可以包括 primaryResource )。packages写法类似于sbt类似,多个包通过逗号分隔;repositories就是公共库的地址,多个库同样适用逗号分隔。
~/opt/spark-2.0.0-bin-2.6.3/bin/spark-submit \ --packages \ "com.eshore.zhfx:analyser:2.5,org.elasticsearch:elasticsearch-spark-20_2.11:5.0.0-beta1" \ --repositories "http://cu1:8081/nexus/content/groups/public/" \ --class XXXXAnalyser --conf spark.es.nodes=cu2 --conf spark.es.port=9200 \ analyser-2.5.jar cu2:9092 cu2 $PWD >analyser.log 2>&1 &