Spark集群搭建 & spark-shell & Master HA
一、环境
CentOS-6.8-x86_64/jdk1.8/spark-2.3.1-bin-hadoop2.6.tgz
二、组建方案:
-----1--------2--------3-------4-------5-------- -----N1-----N2-------D-------D------D-------- -----R1------R2-------Z-------Z-------Z-------- -----Hi-------Hi--------------------------------- -----M-------W-------W------------------------ N:namenode/D:datanode/Z:zookeeper/R:resourcemanager/Hi:hive/M:spark master/W:spark slave
三、环境变量
/etc/profile export JAVA_HOME=/usr/local/runtime/jdk export HADOOP_PREFIX=/usr/local/runtime/hadoop export HIVE_HOME=/usr/local/runtime/hive export HBASE_HOME=/usr/local/runtime/hbase export ZOOKEEPER_HOME=/usr/local/runtime/zookeeper export JRE_HOME=/usr/local/runtime/jdk/jre export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_PREFIX/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$HADOOP_PREFIX/sbin
/etc/hosts 192.168.2.71 spark1 192.168.2.72 spark2 192.168.2.73 spark3 192.168.2.74 spark4 192.168.2.75 spark5
四、搭建集群
1、standlone方式
步骤一:解压文件 改名 tar -zxvf spark-2.3.1-bin-hadoop2.6.tgz -C /usr/local/runtime mv spark-2.3.1-bin-hadoop2.6 spark-2.3.1 步骤二:修改配置文件 1、修改slaves cd /usr/local/spark-1.6.0/conf cp slaves.template slaves vi slaves ---------------------------- spark1 spark2 ---------------------------- 2、修改 spark-config.sh 设置java_home cd spark-2.3.1/sbin export JAVA_HOME=/usr/local/runtime/jdk 3、spark-env.sh mv spark-env.sh.template spark-env.sh vi spark-env.sh #SPARK_MASTER_HOST:master的HOSTNAME export SPARK_MASTER_HOST=spark1 #SPARK_MASTER_PORT:提交任务的端口,默认是7077 export SPARK_MASTER_PORT=7077 #SPARK_WORKER_CORES:每个worker从节点能够支配的core的个数 export SPARK_WORKER_CORES=2 #SPARK_WORKER_MEMORY:每个worker从节点能够支配的内存数 export SPARK_WORKER_MEMORY=3g #SPARK_MASTER_WEBUI_PORT:sparkwebUI端口 默认8080 或者修改spark-master.sh export SPARK_MASTER_WEBUI_PORT=8080 步骤三、分发spark到另外两个节点 scp -r spark-1.6.0 root@spark2:`pwd` scp -r spark-1.6.0 root@spark3:`pwd` 步骤四:启动集群(注意与hadoop冲突,带路径使用) spark-1.6.0/sbin/start-all.sh 步骤五:关闭集群 spark-1.6.0/sbin/stop-all.sh 步骤六:执行代码 (非集群模式) spark-2.3.1/bin/spark-submit --master spark://spark1:7077 --class we.we.WordCount c.jar 10000 (集群模式) spark-2.3.1/bin/spark-submit --master spark://spark1:7077 --deploy-mode cluster--class we.we.WordCount c.jar 10000 步骤七:客户端执行方式 复制现有配置的spark-2.3.1(原配置不做修改)及环境到新机 (非集群模式) spark-2.3.1/bin/spark-submit --master spark://spark1:7077 --class we.we.WordCount c.jar 10000 (集群模式) spark-2.3.1/bin/spark-submit --master spark://spark1:7077 --deploy-mode cluster --class we.we.WordCount c.jar 10000
-----------------------------------------
注意所有“集群提交模式”:必须保证集群每台机器都有jar文件,否则报错java.nio.file.NoSuchFileException: c.jar。对于jar文件存放在hdfs中的不会报错
master界面:端口默认8080/ job界面,端口是4040:
----------------------------------------------
2、Yarn方式
注意:如果数据来源于HDFS或者需要使用YARN提交任务,那么spark需要依赖HDFS,否则两者没有联系
如果不使用客户端方式提交hdfs或yarn,则在集群每台机器上做以下配置,也可以(根据具体情况配置)
一、在spark在客户端中----提交hdfs文件----或----使用yarn提交任务----的配置:
vi spark-2.3.1/conf/ spark-env.sh 添加配置 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 提交任务: spark-2.3.1/bin/spark-submit --master yarn --class we.we.WordCount c.jar 10000
二、使用spark-shell
SparkShell是Spark自带的一个快速原型开发工具,也可以说是Spark的scala REPL(Read-Eval-Print-Loop),即交互式shell。支持使用scala语言来进行Spark的交互式编程。
1、运行
步骤一:启动standalone集群和HDFS集群(spark1上HDFS伪分布),之后启动spark-shell /usr/local/spark-1.6.0/bin/spark-shell --master spark://spark1:7077 步骤二:运行wordcount scala>sc.textFile("hdfs://spark1:8082/spark/test/wc.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).foreach(println)
2、配置historyServer
步骤一: 临时配置,对本次提交的应用程序起作用 [root@spark04 bin]# spark-1.6.0/bin/spark-shell --master spark://spark1:7077 --name myapp1 --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=hdfs://spark1:8082/spark/test 注意:停止程序,在Web UI中Completed Applications对应的ApplicationID中能查看history 步骤二: spark-default.conf配置文件中配置HistoryServer,对所有提交的Application都起作用 如果想看历史事件日志,可以新搭建一个HistoryServer专门用来看历史应用日志,跟当前的集群没有关系, 这里我们新启动客户端spark4节点,进入../spark-1.6.0/conf/spark-defaults.conf最后加入: //开启记录事件日志的功能 spark.eventLog.enabled true //设置事件日志存储的目录 spark.eventLog.dir hdfs://PCS102:9820/spark/test //设置HistoryServer加载事件日志的位置 恢复查看 spark.history.fs.logDirectory hdfs://PCS102:9820/spark/test //日志优化选项,压缩日志 spark.eventLog.compress true
相关推荐
Johnson0 2020-07-28
Hhanwen 2020-07-26
zhixingheyitian 2020-07-19
yanqianglifei 2020-07-07
Hhanwen 2020-07-05
Hhanwen 2020-06-25
rongwenbin 2020-06-15
sxyhetao 2020-06-12
hovermenu 2020-06-10
Oeljeklaus 2020-06-10
zhixingheyitian 2020-06-08
Johnson0 2020-06-08
zhixingheyitian 2020-06-01
xclxcl 2020-05-31
Hhanwen 2020-05-29
zhixingheyitian 2020-05-29
Oeljeklaus 2020-05-29