spark查看历史任务的信息




1、在spark-default.conf中增加:
spark.eventLog.enabled                  true
spark.eventLog.dir                           hdfs://10.0.0.37:9000/sparklogs
spark.eventLog.compress                true

2、在spark-env.sh中增加:

export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://10.0.0.37:9000/sparklogs"

(加入改行可以在start-history-server.sh启动中,不再加入hdfs://10.0.0.37:9000/sparklogs)


3、启动 start-history-server.sh 命令
4、然后就可以看到历史任务的详细信息

相关推荐