Spark安装(单机版)
1. 下载安装
选择版本和type,这里为 spark-2.4.4-bin-without-hadoop.tgz
1.1 命令下载:
1 cd ~/software 2 wget http://apache.communilink.net/spark/spark-2.4.4/spark-2.4.4-bin-without-hadoop.tgz
1.2 解压重命名
1 tar -xzvf spark-2.4.4-bin-without-hadoop.tgz 2 mv spark-2.4.4-bin-without-hadoop.tgz spark
1.3 配置环境变量
使用vim编辑~/.bashrc文件,加入以下配置(目录换成自己的安装目录):
1 export SPARK_HOME=/software/spark 2 export PATH=$PATH:$SPARK_HOME/bin
使用source命令使配置生效: source ~/.bashrc
可以使用echo $PATH 输出查看是否正确
2. 简单配置
2.1 安装scala并配置环境变量
2.2 配置spark-env.sh变量环境
位置: $SPARK_HOME/conf/spark-env.sh.template
命令:
cd /software/spark/conf # 复制并重命名 cp spark-env.sh.template spark-env.sh vim spark-env.sh
配置:
# hadoop java scala等须安装好并配置好 环境变量 export JAVA_HOME=/usr/local/java/jdk1.8 export SCALA_HOME=/software/scala export SPARK_HOME=/software/spark # 单机版配置为本机 ip export SPARK_MASTER_IP=127.0.0.1 export SPARK_EXECUTOR_MEMORY=1G export SPARK_DIST_CLASSPATH=$(hadoop classpath)
2.3 配置slaves
文件位置: $SPARK_HOME/conf/slaves.template
命令:
cd /software/spark/conf # 复制并重命名 cp slaves.template slaves vim slaves
配置:
1 localhost
2.4 执行示例程序
在 $SPARK_HOME/examples/src/main 目录下有一些 Spark 的示例程序,有 Scala、Java、Python、R 等语言的版本。我们可以先运行一个示例程序 SparkPi(即计算 π 的近似值),执行如下命令:
1 [_0_8_centos spark]# ./bin/run-example SparkPi 2>&1 | grep "Pi is roughly" 2 Pi is roughly 3.1369756848784243 3 [_0_8_centos spark]#
注:执行时会输出非常多的运行信息,输出结果不容易找到,可以通过 grep 命令进行过滤(命令中的 2>&1 可以将所有的信息都输出到 stdout 中,否则由于输出日志的性质,还是会输出到屏幕中):
2.5 启动/停止:
# 启动shell spark-shell # 关闭 ctrl+d
Tips:常见错误
相关推荐
Johnson0 2020-07-28
Hhanwen 2020-07-26
zhixingheyitian 2020-07-19
yanqianglifei 2020-07-07
Hhanwen 2020-07-05
Hhanwen 2020-06-25
rongwenbin 2020-06-15
sxyhetao 2020-06-12
hovermenu 2020-06-10
Oeljeklaus 2020-06-10
zhixingheyitian 2020-06-08
Johnson0 2020-06-08
zhixingheyitian 2020-06-01
xclxcl 2020-05-31
Hhanwen 2020-05-29
zhixingheyitian 2020-05-29
Oeljeklaus 2020-05-29