Spark SQL学习

SparkSQL编程指南（Python）

http://www.cnblogs.com/yurunmiao/p/4685310.html

绍SparkSQL的RegisterFunction，也就是说可以动态创建函数用于SQL查询，其实际作用类似于HiveUDF。

SparkSQL为我们提供了强大的数据分析能力，主要体现在以下三个方面：

（1）SparkRDD可以通过反射推断Schema或编码指定Schema的方式转换为SchemaRDD，将SchemaRDD创建为“数据表”之后，允许我们以SQL语句的形式分析数据，节约大量编码工作量；

（2）SparkSQL允许我们在应用运行期间根据需求动态创建自定义SQL函数，扩充SQL的数据处理能力；

（3）SchemaRDD可以执行所有SparkRDD的操作，如果SQL无法表述我们的计算逻辑时，我们可以通过SparkRDD丰富的API完成。

Spark处理Json格式数据（Python）

http://www.cnblogs.com/yurunmiao/p/4682315.html

https://spark.apache.org/docs/latest/sql-programming-guide.html