Centos7安装Spark2.4
准备
1、hadoop已部署(若没有可以参考:Centos7安装Hadoop2.7),集群情况如下(IP地址与之前文章有变动):
hostname | IP地址 | 部署规划 |
node1 | 172.20.0.2 | NameNode、DataNode |
node2 | 172.20.0.3 | DataNode |
node3 | 172.20.0.4 | DataNode |
2、官网下载安装包:spark-2.4.4-bin-hadoop2.7.tgz(推荐去清华大学或中科大的开源镜像站)。
3、spark将部署在三台都已存在的路径/mydata,配置环境变量:
export SPARK_HOME=/mydata/spark-2.4.4 export PATH=${SPARK_HOME}/bin:${SPARK_HOME}/sbin:$PATH
本地模式
在机器node1解压spark-2.4.4-bin-hadoop2.7.tgz到/mydata,并重命名文件夹为/mydata/spark-2.4.4。
跟hadoop文章保持一致,下面执行一个spark版的wordcount任务(Python版本):
shell> vim 1.txt # 创建一个文件,写入一些内容 hadoop hadoop hbase hbase hbase spark spark spark sparkshell> spark-submit $SPARK_HOME/examples/src/main/python/wordcount.py 1.txt # 向spark提交wordcount任务,统计1.txt中的单词及其数量,结果如下 spark: 4 hbase: 3 hadoop: 2
spark是一个计算引擎,查看文件wordcount.py可以看到实现同样的功能,其代码量远小于mapreduce,大大降低了大数据的开发难度。
Standalone模式
可以翻译成独立模式,由spark自带的集群来完成除了存储以外的工作;下面先在node1上进行配置:
spark的配置文件位于 $SPARK_HOME/conf:
从 spark-env.sh.template 拷贝一个 spark-env.sh
从 slaves.template 拷贝一个slaves
# 文件名 spark-env.sh SPARK_MASTER_HOST=node1 SPARK_LOCAL_DIRS=/mydata/data/spark/scratch SPARK_WORKER_DIR=/mydata/data/spark/work SPARK_PID_DIR=/mydata/data/pid SPARK_LOG_DIR=/mydata/logs/spark# 文件名 slavesnode1node2node3
由于 $SPARK_HOME/sbin 下的start-all.sh和stop-all.sh与hadoop冲突,建议进行重命名:
shell> mv start-all.sh spark-start-all.sh shell> mv stop-all.sh spark-stop-all.sh
配置完成后将spark程序文件拷贝到其他两台:
shell> scp -qr /mydata/spark-2.4.4/ :/mydata/ shell> scp -qr /mydata/spark-2.4.4/ :/mydata/
然后在node1启动集群:
shell> spark-start-all.sh
node1上用jps命令验证进程 | Master、Worker |
node2上用jps命令验证进程 | Worker |
node3上用jps命令验证进程 | Worker |
可以通过浏览器访问 http://node1:8080/ :
下面把上一节的文件1.txt多复制一份为2.txt,然后都放到hdfs上,最后通过spark集群执行wordcount任务:
shell> cp 1.txt 2.txtshell> hdfs dfs -mkdir /tmp/wc/shell> hdfs dfs -put 1.txt 2.txt /tmp/wc/shell> spark-submit --master spark://node1:7077 $SPARK_HOME/examples/src/main/python/wordcount.py hdfs://node1:9000/tmp/wc/*shell> spark-submit --master spark://node1:7077 $SPARK_HOME/examples/src/main/python/pi.py 9 # 顺带测试一个计算圆周率的任务,最后的数字9表示分片(partitions)数量,输出结果类似这样:Pi is roughly 3.137564
在 http://node1:8080/ 上可以看到执行的任务:
Yarn模式
实际使用中,通常是让spark运行于已存在的集群,比如利用hadoop自带的yarn来进行资源调度。
spark on yarn不需要spark的集群,所以停掉它:
shell> spark-stop-all.sh
配置很简单,只需要有这个环境变量即可:
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
不过,为了方便查看历史记录和日志,这里要配置 spark history server ,并且与hadoop的jobhistory联系起来:
进入目录 $SPARK_HOME/conf,从spark-defaults.conf.template拷贝一个spark-defaults.conf:
# 文件名 spark-defaults.conf spark.eventLog.enabled true spark.eventLog.dir hdfs://node1:9000/spark/history spark.history.fs.logDirectory hdfs://node1:9000/spark/history spark.yarn.historyServer.allowTracking true spark.yarn.historyServer.address node1:18080
进入目录 $HADOOP_HOME/etc/hadoop,在 yarn-site.xml 中添加一下内容:
# 文件名 yarn-site.xml <property> <name>yarn.log.server.url</name> <value>http://node1:19888/jobhistory/logs/</value> </property>
在hdfs创建必要的路径:
shell> hdfs dfs -mkdir -p /spark/history
将hadoop和spark的配置同步更新到其他所有节点(勿忘)。
下面在node1重启yarn,并且启动spark history server:
shell> stop-yarn.sh shell> start-yarn.sh shell> start-history-server.sh # 启动后通过jps可以看到多出一个HistoryServer
执行下面的命令,通过yarn及cluster模式执行wordcount任务:
shell> spark-submit --master yarn --deploy-mode cluster $SPARK_HOME/examples/src/main/python/wordcount.py hdfs://node1:9000/tmp/wc/*
浏览器访问 http://node1:18080/ 可以看到spark的history:
点击 App ID 进入,然后定位到 Executors ,找到 Executor ID 为driver的,查看它的stdout或stderr:
即可看到日志和计算结果:
同样,可以通过yarn命令访问日志:
shell> yarn logs -applicationId [application id]
over