阿里年薪50WJAVA工程师转大数据学习路线!(文末附教程)
大数据有两个方向,一个是偏计算机的,另一个是偏经济的。你学过Java,所以你可以偏将计算机的。
Java程序员想转大数据可行吗?Java是全世界使用人数最多的编程语言。不少程序员选择Java做为了自己的编程第一语言,但随之而来的是Java程序员接近饱和的人才市场。由此,随着大数据时代的到来,有很多Java程序员想要转行大数据。 不得不说,大数据行业可以说是为Java程序员量身打造的一个朝阳行业?为什么要这么说呢?
一、目前我国并没有科班出身的大数据专业人才(海归除外)
由于大数据行业在我国刚刚兴起,我国高等教育反应相对滞后,因此,直到今年,我国才通过了35家高校的申请,开通了大数据专业,也就是说,在最近的这3-4年间,我国是没有“国产”的科班大数据人才的。近100%的大数据人才都是半路出家,因此Java程序员想要转行大数据并不需要有太大的心理压力,相对于其他大多数专业,Java专业已经与大数据十分接近了。
二、Java与大数据相关性强,转行容易
Java转行大数据有着先天的优势。因为Java是大数据技术的基础语言,大数据技术中大多数平台使用的都是Java语言。因此,对于大数据技术的学习来说,Java程序员已经占尽了先机。在别的学员都还在研究Java编程时,Java程序员已经可以开始进行大数据核心技术的学习了。加上Java编程学习中所锻炼的程序员专业的思维方式,能帮助Java程序员理解大数据相关知识更加容易。
总而言之,Java程序员学习大数据具有很多别人不具备的先天优势,相信学习起大数据来也是如鱼得水,游刃有余。想要转行大数据的Java程序员不用顾虑太多,时代的机遇稍纵即逝,及时抓住才是硬道理。
三 、大数据的学习技术点
Hadoop核心
(1) 分布式存储基石:HDFS
HDFS简介 入门演示 构成及工作原理解析:数据块,NameNode, DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、 HDFS常用设置 Java API代码演示
(2) 分布式计算基础:MapReduce
MapReduce简介、编程模型、Java API 介绍、编程案例介绍、MapReduce调优
(3) Hadoop集群资源管家:YARN
YARN基本架构 资源调度过程 调度算法 YARN上的计算框架
离线计算
(1) 离线日志收集利器:Flume
Flume简介 核心组件介绍 Flume实例:日志收集、适宜场景、常见问题
(2) 离线批处理必备工具:Hive
Hive在大数据平台里的定位、总体架构、使用场景之Access Log分析 Hive DDL&DML介绍 视图 函数(内置,窗口,自定义函数) 表的分区、分桶和抽样 优化
(3) 速度更快的Hive:Impala
Impala在大数据架构中的角色 架构 数据处理过程 一般使用步骤:创建表,分区表,查询等 常用查询演示:统计,连接等、Impala与Hive的比较 常用配置与最佳使用建议(查错,调优等)
(4) 更快更强更好用的MR:Spark
Scala&Spark简介 基础 Spark编程(计算模型RDD、算子Transformation和Actions的使用、使用Spark制作倒排索引)Spark SQL和DataFrame 实例:使用Spark SQL统计页面PV和UV
实时计算
(1) 流数据集成神器:Kafka
Kafka简介 构成及工作原理解析 4组核心API 生态圈 代码演示:生产并消费行为日志
(2) 实时计算引擎:Spark Streaming
Spark Streaming简介 工作原理解剖 编写Streaming程序的一般过程 如何部署Streaming程序? 如何监控Streaming程序? 性能调优
(3) 海量数据高速存取数据库:HBase
HBase简介 架构及基本组件 HBase Table设计 HBase基本操作 访问HBase的几种方式
大数据ETL
(1) ETL神器:Sqoop,Kettle
数据同步ETL介绍 Kettle常用组件介绍 、抽取Mysql数据到Hive实战 Sqoop介绍、抽取Hive数据到Mysql实战
(2) 任务调度双星:Oozie,Azkaban
ETL与计算任务的统一管理和调度简介 Crontab调度的方案 自研调度系统的方案 开源系统Oozie和Azkaban 方案总结与经验分享
大数据应用与数据挖掘
(1) 大数据全文检索引擎:Elasticsearch
全文检索基础知识,ES安装及初级介绍,ES深入理解,使用经验介绍
(2) 数据仓库搭建
为什么要构建大数据平台 大数据平台的的经典架构 深入剖析“五横一纵”的架构实践 知名互联网公司大数据平台架构简介
(3) 数据可视化
什么是数据可视化,数据可视化常用工具与必备技能介,Tableau和ECharts实操讲解 ECharts介绍,知名互金公司可视化经验介绍
(4) 算法介绍
介绍数据挖掘,机器学习,深度学习的区别,R语言和python的介绍,逻辑回归算法的介绍与应用,以及主要的推荐算法介绍