hadoop视频教程
Hadoop是什么,为什么要学习Hadoop?
Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streamingaccess)文件系统中的数据。
Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop还是可伸缩的,能够处理PB级数据。此外,Hadoop依赖于社区服务器,因此它的成本比较低,任何人都可以使用。
Hadoop带有用Java语言编写的框架,因此运行在Linux生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解,完全基于真实场景进行模拟现实
第1章节:
>Hadoop背景
>HDFS设计目标
>HDFS不适合的场景
>HDFS架构详尽分析
>MapReduce的基本原理
第2章节
>Hadoop的版本介绍
>安装单机版Hadoop
>安装Hadoop集群
第3章节
>HDFS命令行基本操作
>Namenode的工作机制
>HDFS基本配置管理
第4章节
>HDFS应用实战:图片服务器(1)-系统设计
>应用的环境搭建php+bootstrap+java
>使用HadoopJavaAPI实现向HDFS写入文件
第5章节
>HDFS应用实战:图片服务器(2)
>使用HadoopJavaAPI实现读取HDFS中的文件
>使用HadoopJavaAPI实现获取HDFS目录列表
>使用HadoopJavaAPI实现删除HDFS中的文件
第6章节
>MapReduce的基本原理
>MapReduce的运行过程
>搭建MapReduce的java开发环境
>使用MapReduce的java接口实现WordCount
第7章节
>WordCount运算过程分析
>MapReduce的combiner
>使用MapReduce实现数据去重
>使用MapReduce实现数据排序
>使用MapReduce实现数据平均成绩计算
第8章节
>HBase详细介绍
>HBase的系统架构
>HBase的表结构,RowKey,列族和时间戳
>HBase中的Master,Region以及RegionServer
第9章节>使用HBase实现微博应用(1)
>用户注册,登陆和注销的设计
>搭建环境struts2+jsp+bootstrap+jquery+HBaseJavaAPI
>HBase和用户相关的表结构设计
>用户注册的实现
第10章节
>使用HBase实现微博应用(2)
>使用session实现用户登录和注销
>“关注"功能的设计
>“关注"功能的表结构设计
>“关注"功能的实现
第11章节
>使用HBase实现微博应用(3)
>“发微博"功能的设计
>“发微博"功能的表结构设计
>“发微博"功能的实现
>展现整个应用的运行
第12章节
>HBase与MapReduce介绍
>HBase如何使用MapReduce
第13章节
>HBase应用实战:话单查询与统计(1)
>应用的整体设计
>开发环境搭建
>表结构设计
第14章节
>HBase应用实战:话单查询与统计(2)
>话单入库单设计与实现
>话单查询的设计与实现
第15章节
>HBase应用实战:话单查询与统计(3)
>统计功能设计
>统计功能实现
第16章节>深入MapReduce(1)
>split的实现详解
>自定义输入的实现
>实例讲解
第17章节
>深入MapReduce(2)
>Reduce的partition
>实例讲解
第18章节
>Hive入门
>安装Hive
>使用Hive向HDFS存入结构化数据
>Hive的基本使用
第19章节>使用MySql作为Hive的元数据库
>Hive结合MapReduce
第20章节
>Hive应用实战:数据统计(1)
>应用设计,表结构设计
第21章节
>Hive应用实战:数据统计(2)
>数据录入与统计的实现
先上传几节给大家看一下,后面的小编会陆续跟上,
小编的QQ281916322
点击下载
点击下载
点击下载