扣丁学堂Linux培训简述Spark-shell批量命令执行脚本的方法

本篇文章扣丁学堂Linux培训小编给读者们分享一下Spark-shell批量命令执行脚本的方法，对Linux开发感兴趣或是想要学习Linux开发的小伙伴就随小编来了解一下吧。

批量执行spark-shell命令，并指定提交参数

#!/bin/bash
source /etc/profile
exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out") 
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF

以上就是扣丁学堂Linux在线学习小编给大家分享的Spark-shell批量命令执行脚本的方法，希望对小伙伴们有所帮助，想要了解更多内容的小伙伴可以登录扣丁学堂官网咨询。

想要学好Linux开发小编给大家推荐口碑良好的扣丁学堂，扣丁学堂有专业老师制定的Linux学习路线图辅助学员学习，此外还有与时俱进的Linux课程体系和Linux视频教程供大家学习，想要学好Linux开发技术的小伙伴快快行动吧。

Pyhon基础课程：https://ke.qq.com/course/327534?flowToken=1008607 【扫码进入Python全栈开发免费公开课】

H5基础课程：https://ke.qq.com/course/320523?flowToken=1008606【扫码进入HTML5前端开发VIP免费公开课】

注：点击(了解更多)进入课程直播间