数据仓库简介---概况
1、数据仓库的定义
数据仓库是一个面向主题的、集成的、稳定的、反映历史变化的、随着时间的流逝发生变化的数据集合。它主要支持管理人员的决策分析。
数据仓库收集了企业相关内部和外部各个业务系统数据源、归档文件等一系列历史数据,最后转化成企业需要的战略决策信息。
- 面向主题:根据业务的不同而进行的内容划分;
- 集成特性:因为不同的业务源数据具有不同的数据特点,当业务源数据进入到数据仓库时,需要采用统一的编码格式进行数据加载,从而保证数据仓库中数据的唯一性;
- 非易失性:数据仓库通过保存数据不同历史的各种状态,并不对数据进行任何更新操作。
- 历史特性:数据保留时间戳字段,记录每个数据在不同时间内的各种状态。
2、数据仓库的特点
- 面向主题的:普通的操作型数据库主要面向事务性处理,而数据仓库中的所有数据一般按照主题进行划分。主题是对业务数据的一种抽象,是从较高层次上对信息系统中得数据进行的归纳和整理。面向主题的数据可以划分成两部分----根据原系统业务数据的特点进行主题的抽取和确定每个主题所包含的数据内容,例如客户主题、产品主题、财务主题等;而客户主题包括客户基本信息、客户信用信息、客户资源信息等内容。分析数据仓库主题的时候,一般方法是先确定几个基本的主题,然后再将范围扩大,最后再逐步求精
- 集成性:面向操作型的数据库通常是异构的、并且相互独立,所以无法对信息进行概括和反映信息的本质。而数据仓库中的数据是经过源数据的抽取、清洗、切换、加载得到的,所以为了保证数据不存在二义性,必须对源数据进行编码的统一和必要的汇总,以保证数据仓库内数据的一致性。数据仓库在经历数据集成阶段后,使数据仓库中得数据都遵循统一的编码规则,并且消除许多冗余数据。集成一般有如下两种形式:
- ①数据的集成,当数据从操作型数据传向数据仓库时,数据被集成,例如:
- ②当数据仓库是从原有分散的源数据库抽取出来的时候,为了消除编码的不一致性,需要将这些来自不同数据源的数据编码集成起来,使之遵循统一的编码规则,例如:
- 稳定性:数据仓库中得数据反映的都是一段历史时期的数据内容,他的主要操作是查询、分析而不进行一般意义上得更新(数据集成前的操作型数据库主要完成数据记录的增加、删除、修改、查询),一旦某个数据进入到仓库后,一般情况下数据会被长期保留,当超过规定的期限时才会被删除。通常数据仓库需要做的工作就是加载、查询和分析,一般不进行任何修改操作,是为了企业高层人员决策分析之用。
- 反映历史变化:数据仓库的目标就是对企业的发展趋势作出分析和预测。数据仓库不断从操作型数据库中获得变化的数据,从而形成分析和预测需要的历史数据,所以一般数据仓库中数据表的键码都含有时间键,以表明数据的历史时期信息,然后不断增加新的数据内容。数据仓库中的数据也含有数据期限(一般5-10年),当超出规定的期限时,需要删除这些过时的数据。通过这些历史信息可以对企业的发展历程和趋势作出分析和预测。数据仓库的建设需要大量的业务数据作为积累,并将这些宝贵的历史信息经过加工、整理,最后提供给决策分析人员,这是数据仓库建设的根本目的。
3、数据仓库和数据库的区别
数据仓库和数据库的不同:数据库生产系统主要是面向应用的、事物型的数据处理,一般来说具有实时性较高,数据检索量较小,普通用户的数量较大等特点。而数据仓库系统主要面向主题的、分析型的数据处理,具有实时性要求不高,数据检索量较大,主要针对特殊的用户群体,用户数量较小的特点。其中事务型和分析型处理数据是有区别的:
- 事务型处理数据一般来说对性能的要求较为严格,数据是事务驱动的,主要面向应用,存储的一般都是即时性、细节性的数据,数据是可更新的。
- 分析型处理数据一般来说对性能要求不高,数据是分析驱动的,主要面向决策分析,存储的一般都是历史、汇总性的数据,数据一般不会更新。
4、数据仓库建设
数据仓库开发应用过程主要包括:规划分析阶段、设计实现阶段、使用维护阶段。
①规划分析阶段相关推荐
jasonchen 2020-09-07
wujun 2020-08-03
chognzhihongseu 2020-06-28
cyydjt 2020-06-25
meiseeny 2020-06-11
Laxcus大数据技术 2020-05-30
SignalDu 2020-05-28
张小涛涛 2020-05-06
弱思 2020-04-27
tutubuchicao 2020-04-20
weiguoxin 2020-04-10
天涯莺歌 2020-03-08
swazerz 2020-02-03
KANSYOUKYOU 2020-01-29
lichunan 2020-01-09
xiyouiOS 2014-06-12
zjyzz 2014-05-29