sparklyr包--实现R与Spark接口
1.sparklyr包简介
Rstudio公司发布的sparklyr包具有以下几个功能：
- 实现R与Spark的连接；
- sparklyr包提供了一个完整的dplyr后端，可筛选并聚合Spark数据集，接着在R中实现分析与可视化；
- 利用Spark的MLlib机器学习库在R中实现分布式机器学习算法；
- 可以创建一个扩展，用于调用Spark API，并为Spark的所有包集提供了一个接口。
2.RStudio Server安装sparklyr包
Linux版本：Ubuntu 16.04 LTS 64bit
R版本：R3.3.1 64bit
RStudio Server版本：rstudio-server-0.99.902 64bit
通过devtools包实现sparklyr包的安装：
install.packages("devtools")
devtools::install_github("rstudio/sparklyr")注意：此处安装devtools时Ubuntu中可能会出现安装不上的错误：
看错误信息可以知道找不到openssl，需要安装libssl-dev（Ubuntu）：
$ sudo apt-get install libssl-dev
然后安装sparklyr因为网速等的原因可能需要进行多次安装，多尝试几次就可以了。如果安装中断，很可能安装包被lock，可以使用下面的方案解决（以reader包为例）：
install.packages(“readr”,dependencies=TRUE,INSTALL_opts = c(‘—no-lock’))
3.在本地安装Spark 1.6.1和Hadoop 2.6
library(sparklyr) spark_install(version = "1.6.1")
此处默认的是使用Spark 1.6.1和Hadoop 2.6
如果用的是RStudio IDE，还需下载最新的预览版IDE。它包含有实现与Spark交互的若干增强功能(详情参考RStudio IDE)。
https://www.rstudio.com/products/rstudio/download/preview/
http://spark.rstudio.com/index.html#rstudio-ide
4.部署Spark
4.1本地部署
安装好sparklyr包后，我们连接本地的Spark，也可以连接远程的Spark集群。这里，使用spark_connect函数来连接本地的Spark：
library(sparklyr) library(dplyr) sc <- spark_connect(master = "local")
返回的Spark连接(sc)为Spark集群提供了一个远程的dplyr数据源。
4.2集群部署
使用sparklyr连接远程Spark集群Cluster Deployment，需要直接将R session部署在集群节点中的一个machine或者靠近集群处（根据网络性能）。在此种情况下，R不是直接在集群上运行，所以，必须要保证集群中的每个machine都有一个spark version并且具有相同的配置。
在集群节点中的一个machine或者靠近集群处运行R最直截了当的方式可以通过远程SSH会话或Rstudio server。在集群节点中使用的spark version必须已经在节点中部署，并且spark的路径需要添加到环境变量SPARK_HOME中，因此，在尝试一个连接之前必须保证SPARK_HOME环境变量在server中正确定义。通常是在Renviron.site配置文件中完成的。示例：
SPARK_HOME=/opt/spark/spark-1.6.1-bin-hadoop2.6
然后，通过spark_connect函数和主节点的地址连接，例如:
library(sparklyr) sc <- spark_connect(master = "spark://local:7077")
如果在EC2上使用Spark EC2部署脚本，可以从/root/spark-ec2/cluster-url读取master，例如：
library(sparklyr)
cluster_url <- system('cat /root/spark-ec2/cluster-url', intern=TRUE)
sc <- spark_connect(master = cluster_url)连接工具
可以通过spark-web函数观看Spark web UI，通过spark_log函数观看Spark log（日志）
spark_web(sc) spark_log(sc)
使用spark_disconnect函数断开spark的连接：
spark_disconnect(sc)
5.配置configuration
本部分描述sparklyr包和潜在的spark集群的行为的配置的各个选项。同时介绍创建多个配置文件(比如开发、测试、生产)。
5.1配置文件Config Files
通过spark_connect函数的config参数可以指定Spark连接的配置。通过使用config=spark_config()创建默认的配置。下面的代码代表了默认的行为：
spark_connect(master = "local", config = spark_config())
通过config=spark_config()函数可以从本地当前工作目录（如果不是位于工作目在父目录录）的路径中读取配置文件config.yml中的数据。这个文件不是必需的，只是用来提供重写默认行为overriding default behavior。还可以指定另一个配置文件名称 和/或 位置。config.yml文件依次处理使用配置包（using the config package），配置包可以支持多命名配置文件。
5.2Package选项
有许多可用的选项配置sparklyr包的行为：
选项 | 描述 |
sparklyr.defaultPackages | 自动包括在会话中的Spark packages (defaults to com.databricks:spark-csv_2.11:1.3.0” and “com.amazonaws:aws-java-sdk-pom:1.10.34”) |
sparklyr.cores.local | 当在本地运行时使用的内核数量 (defaults to parallel::detectCores) |
sparklyr.shell.* | 传递给spark-shell的命令行参数 (see the Spark documentation for details on supported options) |
举个例子：下面的配置文件设置了本地内核数为4并分配给Spark驱动2G内存：
default: sparklyr.cores.local: 4 sparklyr.shell.driver-memory: 4GB
注：多文件的default使用将在下面描述。
5.3Spark选项
可以使用config.yml指定任意的spark配置属性：
选项 | 描述 |
spark.* | 任意配置属性 (通过创建一个SparkConf包含指定的属性应用)。spark的配置文档可以查看可用的属性。http://spark.apache.org/docs/latest/configuration.html
|
spark.sql.* | Spark SQL的任意配置属性 (applied using SET)。Spark SQL Programming Guide的配置文档可以查看可用的属性。http://spark.apache.org/docs/latest/sql-programming-guide.html
|
举个例子：下面的配置文件为spark设置了一个当前的工作目录，并指定当揉数据（joins or aggregations）时使用的分区数量为100。
default: spark.local.dir: /tmp/spark-scratch spark.sql.shuffle.partitions: 100
5.4多文件配置
config包允许为不同环境定义多命名配置文件（例如：default, test, production）。所有额环境默认继承default环境，并且可以相互继承。
举个例子：您可能想使用一个不同的数据集来开发和测试或可能希望使用只适用于生产集群上运行的自定义Spark配置属性。config.yml表示如下
default: dataset: "observations-dev.parquet" sample-size: 10000 production: spark.memory.fraction: 0.9 spark.rdd.compress: true dataset: "observations.parquet" sample-size: null
还可以使用这个特点来为不同的环境指定不同的Spark master：
default: spark.master: "local" production: spark.master: "spark://local:7077"
使用上面的配置，可以在使用spark_connect()的时候彻底省略master参数：
sc <- spark_connect()
注意：当前活动配置通过R_CONFIG_ACTIVE环境变量的值决定，可以通过config package documentation详细的了解。https://github.com/rstudio/config
6.预览版RStudio Server
Rstudio server提供了一个基于web的IDE远程的R会话接口，使其spark集群可以供前端使用。本部分介绍一些对于RStudio Server非常有用的额外的配置选项。RStudio的最新预览版集成支持Spark和sparklyr包。包含以下工具https://www.rstudio.com/products/rstudio/download/preview/：
- 创建和管理Spark连接
- 浏览表格数据和Spark DataFrames的所有列
- 可以预览Spark DataFrames的前1000行
6.1连接选项
一旦成功安装完sparklyr包，我们可以在IDE中可以看到一个新的Spark窗口。该窗口包含一个New Connection对话框，用于连接本地或者远程的Spark。如下所示：
可以使用rstudio.spark.connections选项配置哪一个连接，默认的可能是local和cluster连接，可以选择其中之一作为提供的连接，或者使用一个特殊的Spark master URL。一些常用的连接组合的选择包括:
Value | 描述 |
c("local", "cluster") | Default 提供了本地和cluster spark instance的连接 |
"local" | 提供了本地spark instance连接 |
"cluster" | 提供了cluster spark instance连接 |
"spark://local:7077" | 提供了特殊cluster的连接 |
c("spark://local:7077", "cluster") | 提供了特殊cluster和其他cluster的连接 |
这些选项应该在Rprofile.site中设置，例如：
options(rstudio.spark.connections = "spark://local:7077")
6.2Spark安装
如果是在本地模式（相对于集群模式），需要预装spark version(s)并共享给使用该服务器的所有使用者。你可以安装spark version(s)在一个共享的目录中(e.g. /opt/spark)，然后标明它作为spark安装目录。
options(spark.install.dir = "/opt/spark")
7.Sparklyr包的使用
7.1连接spark
安装好sparklyr包之后，我们连接本地的Spark，也可以连接远程的Spark集群。这里，我们使用spark_connect函数来连接本地的Spark：
library(sparklyr) library(dplyr) sc <- spark_connect(master = "local")
返回的Spark连接(sc)为Spark集群提供了一个远程的dplyr数据源。
出现下面的问题:
要求在Ubuntu中安装Java:
方法一：
Windows中下载
从Windows中复制到Ubuntu中：
打开新的控制台，创建目标文件夹：
root@love:/home/wangchao# cd /usr/lib root@love:/usr/lib# sudo mkdir java
在原来的控制台中输入如下命令，安装JDK：
$ sudo tar zvxf jdk-7u67-linux-x64.gz -C /usr/lib/java # 该命令的意思是解压jdk-7u67-linux-x64.gz文件，并把它安装到/usr/lib/java目录下，也就是前面创建的文件夹。注意命令中的-C是大写的字母C。
打开系统配置文件.bashrc