大数据运营之数据治理
大数据价值创造的前提和基础是企业自身的数据以及全社会开放的数据,当数据开放为社会带来好处的同时,也同时因此了隐私侵犯问题。隐私是社会赋予个人或者企业的权利,隐私权受到法律的保护,因此,企业在利用大数据的同时,要首先考虑大数据应用是否会侵犯他人或者组织的隐私。
企业可以多种方式来解决隐私触犯问题。
对于企业向内部人员提供的大数据服务,可以通过数据权限保证隐私数据不被非法获取,如果企业内部用户具有获取隐私数据的权限,要进行数据使用行为的记录和跟踪。例如,电信运营商拥有公众客户电话号码、银行卡号、家庭住址等隐私数据,可以采用授权的方式控制数据使用对象和数据使用范围,系统应当能够自动记录数据操作行为,实时进行数据使用行为审计,发现可疑数据使用行为后,计算采取措施,关闭或者暂停用户的数据访问权限。
企业对外提供大数据服务具有更大的风险,就如同覆水难收,因此,企业需要考虑更好的隐私保护方式。以电信运营商为例,用户的姓名和电话号码是不能泄露的,如果这些数据被营销机构所掌控,用户可能会经常骚扰电话或者短信,电信运营商可以为外部企业提供电话号码的伪码数据,企业在如果想与电信运营商提供的名单客户沟通,还需要借助电信运营商提供的伪码翻译服务,这样就解决了客户真实的电话号码外泄问题。
企业大数据治理的另一个难点是数据安全问题。应用分为事务型和分析型两种,大数据服务属于分析型应用,相对于事务型应用,大数据服务安全治理具有自身的特点。
可以将安全控制分为应用和网络传输两个层面。应用层安全控制包括用户安全管理和信息安全管理,用户安全管理的目标是让系统设定的用户访问应用,并对认证用户进行授权,保证用户访问所需资源。信息安全管理的目标是保证信息不被非法获取,通常采用对信息加密的方式实现。在网络传输层实施安全控制的目标是控制进入网络的通道,通过安全控制策略来阻止或者让行网络访问。
事务型应用是创造数据的源头,产生的数据可以分为基础数据和交易数据两类。交易数据是在每个事务处理之后产生的,比如网页浏览记录、订单数据。与交易数据相比,基础数据的内容变化频度要低,比如客户的姓名、年龄、身份号等数据,相比于订单数据,其生命周期要长,数据的安全性要求更高。许多企业的事务型应用暴露到互联网,因此网络安全风险高。
分析型应用的数据基础是事务型应用产生的数据,通常要经过采集、转换、装载、分析、展示或者对外提供的过程。根据大数据服务用途的不同,可以分为企业内部使用和对外提供两种类型。相比于对外提供的大数据服务,在企业内部范围使用的大数据服务风险要低得多。如果从数据的规模来看待数据风险,分析型应用要比事务型应用依赖的数据规模要大得多,因此,一旦出现数据泄露,数据风险要大的多。
从系统架构的角度看操作型数据和分析型数据,操作型数据通常以“主机+磁盘阵列”的集群方式存放在磁盘阵列中,而分析型数据则通常以“主机+磁盘”的集群方式分散存放数据仓库的磁盘上,由于采用批量处理方式,集群内部主机之间往往没有实施安全控制,同时,由于数据规模大,为了提高数据处理效率,一般不会对数据进行加密。
企业需要根据事务型应用和分析型应用的不同特点制定不同的数据安全管理机制。
(本文摘自:李福东《大数据运营-服务型企业架构新思维》,经作者授权转发,图片来自网络)