对大数据系统的了解
大数据概念：
直义：巨量数据集合
麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
IBM最早定义的4V：
Volume：数据体量大（bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB）
Velocity：数据流转快速（处理速度快，和传统的数据挖掘技术本质区别）
Variety：数据类型多样（网络日志、视频、图片、地理位置信息等）
Value:价值密度低（但商业价值高）
Veracity:真实性（IBM加入的5V）
大数据“解构”
大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。
大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示：企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。大数据就是互联网发展到现今阶段的一种表象或特征而已，是以云计算等技术发展的推动下，将原本很难收集和使用的数据开始容易被利用起来，通过各行各业的创新，通过数据分析创造出新的商业价值。
第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。
最早提出大数据时代到来的是麦肯锡：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”
大数据特性图：
大数据思维
在大数据时代已经到来为我们观察世界提供了一种全新的思维，要用大数据思维去发掘大数据的潜在价值。如电子商务网站通过对用户的购买和浏览数据进行分析，进行相关商品推荐功能。
维克托·迈尔-舍恩伯格认为：
需要全部数据样本而不是抽样，从样本思维转向总体思维
通过采样来研究事物的规律是常用的方法，也是在无法获取全量数据条件下的无奈选择，在大数据时代，人们可以获得并分析更多数据，而不依赖于采样，进而可以更全面地认识事物，更清楚地发现样本数据无法揭示的细节信息。随着数据收集，存储，分析技术突破性发展，而不再因诸多限制不得不采用样本研究法。总体的数据分析可以更加全面、系统地认识事物。
关注效率而不是精确度，从精确思维转向容错思维
小数据时代，由于收集的样本信息量较少，必须确保记录下来的数据尽量结构化，精确化确保分析得出的结论正确性。舍恩伯格指出，“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户”。也就是说，在大数据时代，思维方式要从精确思维转向容错思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。
关注相关性而不是因果关系，从因果思维转向相关思维
以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来的战场形势，而建立在相关关系分析基础上的预测正是大数据的核心议题。
Wal-Mart，通过对销售记录的全面分析，美国飓风来临季节蛋挞销量也会增加，就将飓风物品和蛋挞放一块，提高了蛋挞的销量；
1948年辽沈战役，司令员林彪通过对每日例行军情汇报分析，发现胡家窝棚附件缴获的短枪：长枪数和小车：大车数，俘虏和击毙的军官士兵比，判断敌人的司令部，并最终抓住了廖耀湘；
这些例子真实的反映在各行各业，探求数据价值取决于把握数据的人，关键是人的数据思维；与其说是大数据创造了价值，不如说是大数据思维触发了新的价值增长。
数据大且可以在线用起来。功能价值转向数据价值。大数据并不在“大”，而在于“有用”。数据的使用就涉及到使用的成本，及数据的价值含量、挖掘成本比是用数据过程要关注的。
大数据价值
如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。
从大数据的价值链条来分析，存在三种模式：
1- 手握大数据，但是没有利用好；比较典型的是金融机构，电信行业，政府机构等。
2- 没有数据，但是知道如何帮助有数据的人利用它；比较典型的是IT咨询和服务企业，比如，埃森哲，IBM，Oracle等。
3- 既有数据，又有大数据思维；比较典型的是Google，Amazon，Mastercard等。
未来在大数据领域最具有价值的是两种事物：1-拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益；2-还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。
而当物联网发展到达一定规模时，借助条形码、二维码、RFID等能够唯一标识产品，传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析，这些数据能够支撑智慧城市，智慧交通，智慧能源，智慧医疗，智慧环保的理念需要，这些都所谓的智慧将是大数据的采集数据来源和服务范围。
未来的大数据除了将更好的解决社会问题，商业营销问题，科学技术问题，还有一个可预见的趋势是以人为本的大数据方针。人才是地球的主宰，大部分的数据都与人类有关，要通过大数据解决人的问题。
第二层面是技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。
云技术
实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。云计算思想的起源是麦卡锡在上世纪60年代提出的：把计算能力作为一种像水和电一样的公用事业提供给用户。云计算提供基础架构平台，大数据应用运行在这个平台上；
这里暂且列举一些，比如虚拟化技术，分布式处理技术，海量数据的存储和管理技术，NoSQL、实时流数据处理、智能分析技术(类似模式识别以及自然语言理解)等。
云计算和大数据之间的关系可以用下面的一张图来说明，两者之间结合后会产生如下效应：可以提供更多基于海量业务数据的创新型服务;通过云计算技术的不断发展降低大数据业务的创新成本。
如果将云计算与大数据进行一些比较，最明显的区分在两个方面：
第一，在概念上两者有所不同，云计算改变了IT，而大数据则改变了业务。然而大数据必须有云作为基础架构，才能得以顺畅运营。
第二，大数据和云计算的目标受众不同，云计算是CIO等关心的技术层，是一个进阶的IT解决方案。而大数据是CEO关注的、是业务层的产品，而大数据的决策者是业务层
分布式处理技术
分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，在控制系统的统一管理控制下，协调地完成信息处理任务—这就是分布式处理系统的定义。
存储技术
大数据可以抽象的分为大数据存储和大数据分析，这两者的关系是：大数据存储的目的是支撑大数据分析。到目前为止，还是两种截然不同的计算机技术领域：大数据存储致力于研发可以扩展至PB甚至EB级别的数据存储平台;大数据分析关注在最短时间内处理大量不同类型的数据集。
感知技术
大数据的采集和感知技术的发展是紧密联系的。以传感器技术，指纹识别技术，RFID技术，坐标定位技术等为基础的感知能力提升同样是物联网发展的基石。全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，都会产生海量的数据信息。
这些感知被逐渐捕获的过程就是就世界被数据化的过程，一旦世界被完全数据化了，那么世界的本质也就是信息了。
第三层面是实践，实践是大数据的最终价值体现。在这里分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。
互联网的大数据
互联网上的数据每年增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。据IDC预测，到2020年全球将总共拥有35ZB的数据量。互联网是大数据发展的前哨阵地，随着WEB2.0时代的发展，人们似乎都习惯了将自己的生活通过网络进行数据化，方便分享以及记录并回忆。
互联网大数据的典型代表性包括：
1-用户行为数据(精准广告投放、内容推荐、行为习惯和喜好分析、产品优化等)
2-用户消费数据(精准营销、信用记录分析、活动促销、理财等)
3-用户地理位置数据(O2O推广，商家推荐，交友推荐等)
4-互联网金融数据(P2P，小额贷款，支付，信用，供应链金融等)
5-用户社交等UGC（User Generated Content用户原创）数据(趋势分析、流行元素分析、受欢迎程度分析、舆论监控分析、社会问题分析等)
政府的大数据
现状是政府拥有大数据，但还没有很好的利用起来，政府需要在制度和政策上给与支持，应该有勇气将手中的数据逐步开放，供给更多有能力的机构组织或个人来分析并加以利用，以加速造福人类。
企业的大数据
企业的CXO们最关注的还是报表曲线的背后能有怎样的信息，他该做怎样的决策，其实这一切都需要通过数据来传递和支撑。在理想的世界中，大数据是巨大的杠杆，可以改变公司的影响力，带来竞争差异、节省金钱、增加利润、愉悦买家、奖赏忠诚用户、将潜在客户转化为客户、增加吸引力、打败竞争对手、开拓用户群并创造市场
1) 对大量消费者提供产品或服务的企业(精准营销);
2) 做小而美模式的中长尾企业(服务转型);
3) 面临互联网压力之下必须转型的传统企业(生死存亡)。
数据产业会向传统企业的供应链模式发展，最终形成“数据供应链”。
个人的大数据这个概念
就是与个人相关联的各种有价值数据信息被有效采集后，可由本人授权提供第三方进行处理和使用，并获得第三方提供的数据服务。
以数据处理为中心的14个大数据专业词汇
本地数据库(LDB/Local Data Base)
驻留于运行客户应用程序的机器的数据库。本地数据库位于本地磁盘或局域网。
数据采集(Data Acquisition，DAQ)
数据采集又称数据获取，将被测试对象的各种参量通过各种传感器做适当转换后，再经过信号调理、采样、量化、编码、传输等步骤传递到控制器的过程。
数据模型(data model)
数据模型是现实世界数据特征的抽象，用于描述一组数据的概念和定义。
数据整理（Data Cleansing）
数据处理（Data Handling）
数据压缩(Data Compression)
数据恢复(Data Recovery)
数据集成（Data Integration)
数据迁移(Data Migration)
数据冗余(Data Redundancy/Redundant Data)
数据抽取（Data mining）
网络数据抽取 （Web data mining）
网络数据抽取（Web data mining），是指从网络中取得大量的又利用价值的数字化信息。主要包括结构化数据抽取(Structured Data Extraction)、信息集成(Information integreation)和观点挖掘(Opinion mining)等。
数据备份(Data Backup)
如何处理大数据
集中式计算VS分布式计算
集中式计算：通过不断增加处理器的个数来增强单个计算机的计算能力，从而提高处理的速度。需要的内存很大，计算的速度很快。
分布式计算：一组通过网络连接的计算机，形成一个分散的系统。将需要处理的大量数据分散成多个部分，交由集群系统中的单个计算机分别处理，最后将这些计算结果合并得到最终结果。（MapReduce的核心思想）
Ambari
作为Hadoop生态系统的一部分，这个Apache项目提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。有些开发人员想把Ambari的功能整合到自己的应用程序当中，Ambari也为他们提供了充分利用REST（代表性状态传输协议）的API。
Avro
这个Apache项目提供了数据序列化系统，拥有丰富的数据结构和紧凑格式。模式用JSON来定义，它很容易与动态语言整合起来。
Chukwa
Chukwa基于Hadoop，可以收集来自大型分布式系统的数据，用于监控。它还含有用于分析和显示数据的工具。
Flume
Flume可以从其他应用程序收集日志数据，然后将这些数据送入到Hadoop。官方网站声称：“它功能强大、具有容错性，还拥有可以调整优化的可靠性机制和许多故障切换及恢复机制。”
Oozie
这种工作流程调度工具是为了管理Hadoop任务而专门设计的。它能够按照时间或按照数据可用情况触发任务，并与MapReduce、Pig、Hive、Sqoop及其他许多相关工具整合起来。
Pig
Apache Pig是一种面向分布式大数据分析的平台。它依赖一种名为Pig Latin的编程语言，拥有简化的并行编程、优化和可扩展性等优点。
Sqoop
企业经常需要在关系数据库与Hadoop之间传输数据，而Sqoop就是能完成这项任务的一款工具。它可以将数据导入到Hive或HBase，并从Hadoop导出到关系数据库管理系统（RDBMS）。
Spark
作为MapReduce之外的一种选择，Spark是一种数据处理引擎。它声称，用在内存中时，其速度比MapReduce最多快100倍；用在磁 盘上时，其速度比MapReduce最多快10倍。它可以与Hadoop和Apache Mesos一起使用，也可以独立使用。
Tez
Tez建立在Apache Hadoop YARN的基础上，这是“一种应用程序框架，允许为任务构建一种复杂的有向无环图，以便处理数据。”它让Hive和Pig可以简化复杂的任务，而这些任务原本需要多个步骤才能完成。
Zookeeper
这种大数据管理工具自称是“一项集中式服务，可用于维护配置信息、命名、提供分布式同步以及提供群组服务。”它让Hadoop集群里面的节点可以彼此协调。
Storm
Storm现在是一个Apache项目，它提供了实时处理大数据的功能（不像Hadoop只提供批任务处理）。