Spark学习（七）：Spark1.6.2的单机安装

1. 基础环境确认，单机安装Spark之前需要安装如下软件：

hadoop版本：2.6.4

JDK版本：1.8.0_92

2. 安装scala

1) 下载scala，地址是:

http://www.scala-lang.org/download/2.10.4.html

补充：Spark1.6.2对应的scala版本就是2.10.4

2)下载完后，将scala上传到linux服务器的目录下，这里以“/home/project/soft/scala”为例

3）在/home/project/soft/scala目录下解压scala

tar -xzvf scala-2.10.4.tgz

4) 配置环境变量，在/etc/profile文件中

vim /etc/profile

添加如下内容：

export SCALA_HOME=/home/project/soft/scala/scala-2.10.4

export PATH=$SCALA_HOME/bin:$PATH

5）保存并更新/etc/profile文件

source /etc/profile

6) 检查scala是否安装成功

scala -version

3. 安装Spark

1）下载spark，版本是1.6.2 ，地址是：

http://spark.apache.org/downloads.html

2）将下载的spark上传到linux服务器的目录下，这里以“/home/project/soft/spark”为例

3）在当前目录下解压

tar -xzvf spark-1.6.2-bin-hadoop2.6.tgz

4) 配置环境变量，在/etc/profile文件中

vim /etc/profile

添加如下内容：

export SPARK_HOME=/home/project/soft/spark/spark-1.6.2-bin-hadoop2.6

export PATH=$SPARK_HOME/bin:$PATH

5）保存并更新/etc/profile文件

source /etc/profile

6) 在conf目录下复制并重命名spark-env.sh.template为spark-env.sh：

cp spark-env.sh.template spark-env.sh vim spark-env.sh

添加如下内容：

export JAVA_HOME=/usr/java/jdk1.8.0_92

export SCALA_HOME=/home/project/soft/scala/scala-2.10.4

export SPARK_MASTER_IP=59.110.137.54

export SPARK_WORKER_MEMORY=1G

7) 启动spark. SPARK_HOME/sbin/start-all.sh

切换到spark的sbin目录下

cd sbin

执行命令：

./start-all.sh

8)测试Spark是否安装 /bin/run-example SparkPi

切换目录

cd ../bin

执行命令：

./run-example SparkPi

最终会出现：

Pi is roughly 3.1459即安装成功

9) 访问spark的webui

http://ip:端口（端口有的是8080，有的是8081）

10) 停止spark. SPARK_HOME/sbin/stop-all.sh

切换到spark的sbin目录下

cd ../sbin

执行命令：

./stop-all.sh