顺丰在双十一期间是如何解决物流爆仓问题的?
每到双十一的购物狂欢节,是我们钱包极度空缺的期间,也是程序员极度忙碌的几天。顺丰身为快递行业的大哥,是如何在繁忙的双十一依旧能及时将货物送达?如何解决物流爆仓的情况呢?
这自然是离不开我们的明星互联网技术,也是让众多程序员为此一度着迷的大数据技术!
图片来源:央视网
应用原理:大数据计算框架——Hadoop生态技术
Hadoop是一个分布式文件系统(Hadoop Distributed File System),简称HDFS。是一个能够对大量数据进行分布式处理的软件框架, 以一种可靠、高效、可伸缩的方式进行数据处理,解决了大数据如何存储的问题,也是大数据课程中必学的一门技术!
互联网时代每个企业每天都要产生庞大的数据,对数据进行储存,对有效的数据进行挖掘分析并应用需要依赖于大数据开发。我们的每一个购物信息,每一个物流信息,都会在大数据技术下有条不紊的进行搜集、分类。
Hadoop相关技术知识
1) Hadoop生态环境介绍
2) Hadoop云计算中的位置和关系
3) 国内外Hadoop应用案例介绍
4) Hadoop 概念、版本、历史
5) Hadoop 核心组成介绍及hdfs、mapreduce 体系结构
6) Hadoop 的集群结构
7) Hadoop 伪分布的详细安装步骤
8) 通过命令行和浏览器观察hadoop
9) HDFS底层工作原理
10) HDFS datanode,namenode详解
11) Hdfs shell
12) Hdfs java api
13) Mapreduce四个阶段介绍
14) Writable
15) InputSplit和OutputSplit
16) Maptask
17) Shuffle:Sort,Partitioner,Group,Combiner
18) Reducer
19) 二次排序
20) 倒排序索引
21) 最优路径
22) 电信数据挖掘之-----移动轨迹预测分析(中国棱镜计划)
23) 社交好友推荐算法
24) 互联网精准广告推送 算法
25) 阿里巴巴天池大数据竞赛 《天猫推荐算法》案例
26) Mapreduce实战pagerank算法
27) Hadoop2.x集群结构体系介绍
28) Hadoop2.x集群搭建
29) NameNode的高可用性(HA)
30) HDFS Federation
31) ResourceManager 的高可用性(HA)
32) Hadoop集群常见问题和解决方法
33) Hadoop集群管理
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。
Hadoop 学习视频教程:
领取方式:关注转发 后台回复Hadoop
或点击了解更多获取