使用经 EMRFS S3 优化的提交器提高 Apache Spark 写入 Apache Parquet 格式文件的性能。经 EMRFS S3 优化的提交程序是一款新的输出提交程序，可用于Amazon EMR5.19.0 及更高版本的Apache Spar

Spark SQL支持通过DataFrame接口在各种数据源上进行操作。DataFrame可以使用关系变换进行操作，也可以用来创建临时视图。将DataFrame注册为临时视图允许您对其数据运行SQL查询。本节介绍使用Spark Data Sources加载

Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。数据源为Parquet文件时，Spar

介绍越来越多的公司和组织开始将Alluxio和Spark一起部署从而简化数据管理，提升数据访问性能。Qunar最近将Alluxio部署在他们的生产环境中，从而将Spark streaming作业的平均性能提升了15倍，峰值甚至达到300倍左右。而在采用Al

前言MaxCompute作为使用最广泛的大数据平台，内部存储的数据以EB量级计算。巨大的数据存储量以及大规模计算下高性能数据读写的需求，对于MaxCompute提出了各种高要求及挑战。怎样将MaxCompute强大的计算能力开放给这些使用开源格式存储沉淀下

搜索引擎技术，分析数据库技术，分布式计算引擎技术这三股力量正在快速地彼此融合。HiveHive一开始只是用sql的方式描述map/reduce的逻辑，是一个典型的分布式计算引擎。这是分布式计算引擎向OLAP方向靠拢的第一步。实际上三家是从不同的角度切入了同

Apache Kudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展，使用Raft协议进行一致性保证，并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具

介绍越来越多的公司和组织开始将Alluxio和Spark一起部署从而简化数据管理，提升数据访问性能。Qunar最近将Alluxio部署在他们的生产环境中，从而将Spark streaming作业的平均性能提升了15倍，峰值甚至达到300倍左右。而在采用Al

许多机构将Spark与Alluxio一同创建，以提高工作效率和数据可管理性。去哪儿最近在生产中部署了Alluxio，他们的Spark流媒体工作平均加速了15倍，在高峰时段加速了300倍。一些Spark工作会减速或无法完成，但是有了Alluxio，就可以很快

为帮助开发者更深入的了解这三个大数据开源技术及其实际应用场景，9月8日，InfoQ联合华为云举办了一场实时大数据Meetup，集结了来自Databricks、华为及美团点评的大咖级嘉宾前来分享。作为Spark Structured Streaming最核心

当我们尝试在一个查询中访问多个parquet文件时，如果这些parquet文件中的字段名和类型是完全一致的、只是字段的顺序不一样，例如一个文件中是name string, id int，另一个文件是id int, name string时，查询会报错，抛出

上一篇文章聊了聊基于PAX的混合存储结构的RCFile，其实这里笔者还了解一些八卦，RCfile的主力团队都是来自中科院的童鞋在Facebook完成的，算是一个由华人主导的编码项目。但是RCfile仍然存在一些缺陷，后续被HortonWorks盯上之后上马

Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的新成员之一，专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景，以及架构进行简单介绍。同时，用户使用HDFS/Pa