2017年12月发布的Hadoop 3标志着数据科学新纪元的开始。Hadoop框架是整个Hadoop生态系统的核心，各种其他库强烈依赖于它。

在本文中，我们将讨论与Hadoop 2相比Hadoop 3中的主要变化。我们还将解释Hadoop和Apache Spark之间的差异，并告知如何为您的特定任务选择最佳工具。

一般信息

Hadoop 2和Hadoop 3是以Java开发的数据处理引擎，分别于2013年和2017年发布。Hadoop的创建主要目标是维护磁盘上的数据分析，称为批处理。因此，本机Hadoop不支持实时分析和交互。

Spark 2.X是一款在Scala中开发并于2016年发布的处理和分析引擎。对信息的实时分析变得越来越重要，因为许多巨型互联网服务都非常依赖能够立即处理数据的能力。因此，Apache Spark专为实时数据处理而构建，现在非常流行，因为它可以高效处理信息的实时流并以交互模式处理数据。

Hadoop和Spark都是开源的，Apache 2许可。

抽象程度和学习和使用难度

这些框架之间的主要区别之一是Hadoop的抽象级别较低，Spark的抽象级别较高。因此，Hadoop的学习和使用更具挑战性，因为开发人员必须知道如何编写大量基本操作。Hadoop只是核心引擎，因此使用高级功能需要插入其他组件，这会使系统更加复杂。

与Hadoop不同，Apache Spark是用于数据分析的完整工具。它具有许多有用的内置高级函数，它们与弹性分布式数据集（RDD）一起工作 - 这是Spark的核心概念。这个框架有许多有用的库包含在集群中。例如，MLlib允许使用机器学习，Spark SQL可用于执行SQL查询等。

硬件和成本

Hadoop可以与磁盘一起工作，所以它不需要大量的RAM来操作。这比拥有大容量RAM更便宜。由于容错提供系统的变化，Hadoop 3比Hadoop 2需要更少的磁盘空间。

Spark需要大量RAM才能在内存模式下运行，因此总成本可能比Hadoop更高。

支持编程语言

两种版本的Hadoop都支持使用Hadoop Streaming的几种编程语言，但主要的是Java。Spark 2.X支持Scala，Java，Python和R.

速度

通常，Hadoop比Spark慢，因为它可以与磁盘一起工作。Hadoop无法将数据缓存在内存中。由于向MapReduce添加了地图输出收集器的本地Java实现，Hadoop 3的工作速度比Hadoop 2快30％。

Spark可以处理内存中的信息比Hadoop快100倍。如果使用磁盘，Spark比Hadoop快10倍。

安全

由于使用Kerberos（计算机网络身份验证协议）和访问控制列表（ACL）支持，Hadoop被认为比Spark更安全。Spark依次只提供一个共享密码的认证。

容错

Hadoop 2中的容错功能由复制技术提供，其中复制每个信息块以创建2个副本。这意味着Hadoop 2不是存储1条信息，而是存储3次以上的信息。这就产生了浪费磁盘空间的问题。

在Hadoop 3中，容错由擦除编码提供。该方法允许使用其他块和奇偶校验块来恢复信息块。Hadoop 3在每两个数据块上创建一个奇偶校验块。与Hadoop 2中的复制相比，这只需要多1.5倍的磁盘空间，而Hadoop 3中的复制容量却高出3倍。Hadoop 3中的容错级别保持不变，但其操作所需的磁盘空间更少。

Spark可以通过重新计算DAG（有向无环图）来恢复信息。DAG由顶点和边形成。顶点代表RDD，边代表RDD上的操作。在部分数据丢失的情况下，Spark可以通过将操作序列应用于RDD来恢复数据。请注意，每次您需要重新计算RDD时，您需要等到Spark执行所有必要的计算。Spark还创建检查点以防止故障。

YARN版本

Hadoop 2使用YARN版本1. YARN（又一资源谈判器）是资源管理器。它管理可用资源（CPU，内存，磁盘）。此外，YARN执行作业调度。

YARN在Hadoop 3中更新为版本2.有几个重大更改可提高可用性和可伸缩性。YARN 2支持流程 - YARN应用程序的逻辑组，并提供流程级别的聚合度量。收集过程（写入数据）和服务过程（读取数据）之间的分离提高了可扩展性。此外，YARN 2使用Apache HBase作为主要后备存储。

Spark可以独立操作，可以在带YARN的簇或Mesos上运行。

NameNodes的数量

Hadoop 2支持整个命名空间的单个活动NameNode和单一Standby NameNode，而Hadoop 3支持多个备用NameNode。

Spark在管理SparkContext的主节点上运行Driver Program。

文件系统

主要的Hadoop 2文件系统是HDFS  - Hadoop分布式文件系统。该框架还与其他几个文件系统，Blob商店（如Amazon S3和Azure存储）以及替代分布式文件系统兼容。

Hadoop 3支持所有文件系统，如Hadoop 2.另外，Hadoop 3与Microsoft Azure Data Lake和Aliyun Object Storage System兼容。

Spark支持本地文件系统，Amazon S3和HDFS。

为了您的方便，我们创建了一个表格，汇总了上述所有信息，并简要比较了Hadoop和Spark 2.X两个版本的关键参数。

结论

Hadoop 3和2之间的主要区别在于新版本提供了更好的优化和可用性，以及某些架构改进。

Spark和Hadoop主要在抽象层次上有所不同。Hadoop被创建为处理大量现有数据的引擎。它具有较低的抽象级别，可以执行复杂的操作，但会导致学习和管理困难。Spark更简单快捷，并提供许多方便的高级工具和功能，可以简化您的工作。Spark在Hadoop之上运行，并且拥有许多像Spark SQL或机器学习库MLlib的优秀库。总而言之，如果您的工作不需要特殊功能，Spark可能是最合理的选择。