ACA - 大数据概述
一、什么是大数据
1.大数据的定义
大数据( Big Data), 指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2.大数据的发展历程
3.大数据的主要特征
■体量大(Volume)
■类型多(Variety)
■有价值(Value)
■变化快(Velocity)
4.为什么会有大数据
■移动互联网带来数据爆炸式的增长
■数据作为资产其价值得到认可
■存储和计算能力的飞速发展
5.大数据的来源
媒体、网络日志、公共设施、单位组织、大型设备、工业领域、地理位置、基因图谱
二、大数据的价值
1.解决四种问题
■坐井观天:孤立存在,无法获得外部世界的信息,决策基于数据片段。
■一叶障目:被局部现象所迷惑,看不到事物的全局或者整体。
■盲人摸象:事物间的联系被忽视、弱化或割裂,没有全局或综合的视图。
■城门鱼殃:无法从多个角度看待问题,忽略了事物之间的关联性。
2.提升两种能力
■一叶知秋:通过个别细微的迹象,推测出整个形势的发展趋势和结果。即通过全局数据计算,分析内在规律,进而提高洞察世界的能力。
■运筹帷幄:大数据应用立足于决策,通过多维度数据的搜集、加工和分析,高效的帮助用户做出更为准确的商业决策。
三、如何使用大数据
1.如何存储
分布式存储
2.如何计算
■将问题简化成一个更简单的能处理的问题,比如十亿量级的数据查询,分布到一千台主机上成为百万级的查询。
■将大问题拆分成多个可以简单求解的小问题。
3.如何分析
■数据采集与处理
■数据质量与管理
■机器学习
■数据可视化