// New stage creation may throw an exception if, for example, jobs are run on a. // HadoopRDD whose underlying HDFS files have b

基于上次的wordcount，我们来写一个wordcountcount，来对wc程序进行第二次计数，我们来分析一下性能。Spark编程模型和MapReduce相比，Spark可以多个Job，多个State进行执行。转换算子可以处理一个RDD数据集，即map

全面深度剖析Spark2--知识点，源码，调优，JVM，图计算，项目。课程共14章，316节，课程从Spark相关的各个技术点进行全方位剖析，最后结合实际项目：用户交互式行为分析系统、DMP用户画像系统，对Spark做了综合性的应用讲解，可以说一套在手，打

Linux基础；Linux-shell编程；高并发：lvs负载均衡；高可用&反向代理。hadoop-hdfs理论；hadoop-hdfs集群搭建；hadoop-hdfs 2.x & api ；hadoop-MR理论 ；had

估计所有的spark开发者都很关心spark的硬件要求。恰当的硬件配置需要具体情况具体分析，浪尖在这里给出以下建议。因为因为大多数Spark工作可能需要从外部存储系统中读取输入数据，所以将其尽可能靠近该系统很重要。1，如果可能，在与HDFS相同的节点上运行

大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们

本篇文章就要根据源码分析SparkContext所做的一些事情，用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类，足以说明SparkContext的重要性；这里先摘抄SparkContext源码注释来 简单介绍介绍Sp

在对 Spark 有了一定使用经验后，为了能够跟进 Spark 源代码的开发进展，对其源代码进行详细的阅读分析，本文详细说明了如何使用 IntelliJ IDEA 从 Github 上导入最新的 Spark 源代码，并对其进行编译。之后下载最新版的 Int

checkpoint原理1.在代码中，当使用SparkContext可以设置一个checkpointFile文件目录，比如HDFS文件目录。后面如果rdd的cache数据获取失败，直接会通过它的上游CheckpointRDD，去容错的文件系统，比如hdfs

零基础的同学学习大数据开发不能急于求成，要分阶段分步骤来一步步完成，科多大数据给大家来分享一下大数据的学习路线是什么？小白该怎么学习大数据呢，大概可以分为四步：。一些专业的术语，学习一些入门概念知道这么课程是做什么的，主要的学习知识有哪些。无所知的情况下就

Spark作为分布式的大数据处理框架必然或涉及到大量的作业调度，如果能够理解Spark中的调度对我们编写或优化Spark程序都是有很大帮助的；相关名词Application：使用Spark编写的应用程序，通常需要提交一个或多个作业；　　Job：在触发RDD

本文旨在帮助那些想要对Spark有更深入了解的工程师们，了解Spark源码的概况，搭建Spark源码阅读环境，编译、调试Spark源码，为将来更深入地学习打下基础。整个Spark项目就是一个大的Maven项目，包含着多个子项目。无论是Spark父项目还是子

最近因为手抖，在Spark中给自己挖了一个数据倾斜的坑。为了解决这个问题，顺便研究了下Spark分区器的原理，趁着周末加班总结一下~先说说数据倾斜数据倾斜是指Spark中的RDD在计算的时候，每个RDD内部的分区包含的数据不平均。分区的作用在PairRDD

终于开始看Spark源码了，先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东，其实里面还是有很多知识点的。另外，从启动脚本入手，是寻找代码入口最简单的方法，很多开源框架，其实都可以通过这种方式来寻找源码入口。先来介绍一下Spar