第一课

1.课程目标

实践性

2.课下需要

在家搭建一个伪分布式

3.大数据概念和意义

08年Nature第一次正式提出大数据概念

常规的数据库:结构化的数据库

TB级的结构化数据管理就很困难,需要分布式

当数据处理不完时一般两个方法:

1.改成多节点,分布式

2.对硬件的提升,比如一个cpu不行2个,服务器不行,再加服务器

大数据的4V

-价值高Value  价值密度低

-体量大Volume

-速度快Velocity    

这边产生数据,那边就要出现分析,处理。  比如热搜,需要用实时框架,根据每天产生的速度得出来的。比如双11交易额,也用实时的。比如体育频道大数据的解说,足球的进球方式,足球的惯用脚这种。

-种类多Variety

来源广,维度多

在家直播平台很多,现在活下来的基本都和阿里和腾讯有关。做的即时通讯第一大厂,就是腾讯,所以腾讯会议比较稳定。同样一个直播,直播来源就很广(各种平台)。

维度多,是指比如直播时可以共享屏幕,可以全体点名。

大数据的技术支撑

硬件:CPU(单位计算力)存储的价格在降低

软件:像mapreduce这种并行分布式计算的框架比较成熟。

大数据最前沿是数据科学(大数据+人工智能),通过数据来知道对未来的规律

大数据需要加人工智能的手段。比如通过通讯录,知道人际关系网等等

课堂练习

大数据平台不一定要部署到云计算平台,只是部署在云计算平台效用更高。因为大数据有时需要很多很多的服务器同时并行。

云计算商业化程度高。大数据刚开始都是在裸机上跑。

大数据部署在裸机上运行效率更高,自己在家里可以装双操作系统。

不是说部署在在云计算上更快,而是效用更高。比如算天气的数据,就直接买云计算的服务,让它直接跑数据,而不用自己买大量的机器,用较少的钱(相比自己买机器)租赁完云计算后再还回去。云计算厂商还可以租赁给其他人。

计算:

哈哈哈哈哈老师现在说,非计算机专业特别喜欢讲数据清洗

一般把数据清洗弄成数据质检,过一遍数据,剔除掉错误的数据

海量数据到产生价值,期间通过存储,清洗,挖掘,分析等

存储和清洗是数据的预处理环节

挖掘分析是在找规律

  • 分布式系统基础架构Hadoop的出现,为大数据带来了新的曙光
  • HDFS为海量的数据提供了存储
  • MapReduce则为海量的数据提供了并行计算,从而大大提高了计算效率

HDFS的强项是对海量数据进行管理

HDFS和MapReduce是Hadoop的两大支柱

其他技术:Spark,Storm,Implala,SCALA(相比MapReduce可以写更少的代码

智能:机器拥有理解数据的能力

河南省第一个智能数据中心就在我们院

让装备具有智能化

阿尔法狗战胜李世石

医学图像,通过海量数据进行训练,看看骨头有没有问题。

人工智能的算法越来越成熟,所以很流行。

对抗神经网络:通过拍很多人的照片,可以生成一个新的人脸,这个人脸是之前没有出现过的

相关推荐