大数据方面核心技术有哪些？

大数据人才需求火爆，网络上的大数据培训课程质量参次不齐，千锋讲师提醒您：一些"戏精"大数据课程以HTML5、Java、大数据可视化等擦边知识， 混淆真实大数据授课标准课程，蒙蔽学生，发现时才追悔莫及。那大数据方面核心技术都有哪些呢？

想要成为大数据工程师，需要掌握计算机技术、hadoop 、spark、storm开发、hive 数据库、Linux 操作系统等知识，具备分布式存储、分布式计算框架等技术，熟悉大数据处理和分析技术。其中，大数据生态体系的各个模块的功能和开发技术，包括 Hadoop 体系中的 HDFS， Hbase 进行数据操作，MapReduce 进行数据开发，YARN 进行资源配置，Hive 完成数据仓库，Pig进行数据分析，以及 Oozie，Zookeeper，Sqoop 和 Flume 等模块。最后阶段将学习 Spark 生态体系，及其 Scala 基础和 SparkSQL 开发。

千锋老师给大家整理了一些重要的技术，并简单介绍了一些，大家可以先了解一下！

Common：在2.2.0以前的大多数版本中，包含HDFS、MapReduce和其他项目公共内容，从2.2.0开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common。

Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。

MapReduce：并行计算框架，0.20前使用org.apache.hadoop.mapred旧接口，2.2.0版本开始引入org.apache.hadoop.mapreduce的新API。

HDFS：Hadoop分布式文件系统(Hadoop Distributed FileSystem)。

Pig：大数据分析平台，为用户提供多种接口。

Hive：数据仓库工具，由Facebook贡献。

Hbase：类似Google BigTable的分布式NoSQL列数据库。(HBase和Avro已经于2010年5月成为顶级Apache项目)。

ZooKeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。

Sqoop：Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库(例如：MySQL, Oracle, Postgres等)中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。

Oozie：负责MapReduce作业调度。

千锋大数据开发采用"T"字形的思维，以大数据的深度为主，以机器学习、云计算等作为宽度，相辅相成。此外千锋大数据课程定期组织与一线名企的工程师进行面对面的就企业当下的项目讨论与研发，进而验证所学技术的正确方向。