Spark搭建注意事项若干要点
一、关于UI地址
master: 8080
worker: 8081
application: 4040 (用来查看正在运行的app
的情况, 一旦这个应用结束, 则无法查看)
二、历史服务器(这里说明yarn模式)
1、 配置历史服务器
1)spark-defaults.conf
默认配置
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:9000/spark-log-dir-1128
注意: 目录要手动提前创建好
2)spark-env.sh
1)
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/spark-log-dir-1128"
不要忘记启动hdfs
2)启动历史服务器
3)重启集群
2、在hadoop的历史服务器点击 history直接连接到 spark 的日志.
1)可以在spark-default.conf中添加如下配置达到上述目的
2)spark.yarn.historyServer.address=hadoop102:18080
3)spark.history.ui.port=18080