Spark搭建注意事项若干要点

一、关于UI地址

master: 8080

worker: 8081

application: 4040 (用来查看正在运行的app的情况, 一旦这个应用结束, 则无法查看)

二、历史服务器(这里说明yarn模式)

1、 配置历史服务器

  1)spark-defaults.conf

    默认配置

    spark.eventLog.enabled           true

    spark.eventLog.dir               hdfs://hadoop102:9000/spark-log-dir-1128

    注意: 目录要手动提前创建好

  2)spark-env.sh

    1)export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/spark-log-dir-1128"

      不要忘记启动hdfs

    2)启动历史服务器

  3)重启集群

2、在hadoop的历史服务器点击 history直接连接到 spark 的日志.

  1)可以在spark-default.conf中添加如下配置达到上述目的

  2)spark.yarn.historyServer.address=hadoop102:18080
  3)spark.history.ui.port=18080

相关推荐