大数据(BigData)环境下的商业智能平台技术解析

Informatica企业数据集成产品管理总监郑玮

大数据的技术解构

从这两大特征可以看出，大数据是包括了交易和交互数据集在内的所有数据，无论从规模还是复杂程度上，远超出常用数据库或者商业智能技术的捕捉、管理和处理能力。一些企业已经感受到失控的数据增长对业务造成的影响，郑玮认为大数据是由三项主要技术趋势汇聚组成的：
1、大交易数据：在从 ERP 应用程序到数据仓库应用程序的在线交易处理（OLTP）与分析系统中，传统的关系数据以及非结构化和半结构化信息仍在继续增长。随着企业将更多的数据和业务流程移向公共和私有云，这一局面变得更加复杂。
2、大交互数据：这一新生力量由源于 Facebook、Twitter、LinkedIn 及其它来源的社交媒体数据构成。它包括了呼叫详细记录（CDR）、设备和传感器信息、GPS 和地理定位映射数据、通过管理文件传输（Manage File Transfer）协议传送的海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。
3、大数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构，例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。对于企业来说，难题在于以具备成本效益的方式快速可靠地从 Hadoop 中存取数据。

不久前在美国举行的2011 Hadoop论坛，5500名参会者，入场券据说在开放后8小时全部售罄。Hadoop 分布式文件系统、MapReduce 算法、大规模并行处理（MPP）数据库技术最先是由Google、Facebook等互联网公司发展起来的。Hadoop作为开源技术，现在吸引了很多企业级用户开始尝试。相对于之前昂贵的大规模并行处理和海量数据分析技术，Hadoop确实能够用比较经济的、有更高性价比的方式进行大数据的部署应用。“将传统的交易数据与全新的交互数据组合起来，获得企业的洞察力和商业价值”，郑玮举例谈到：“企业可以通过社交媒体来了解客户的喜好，完善客户资料来提高目标营销的效率。”

大数据的应用平台

从业务角度来看，大数据环境中企业仍然需要数据集成、商业智能，只是它们的规模进入海量级别，同时对数据集成的基础架构要有更好的延展性。今年6月Informatica推出了Informatica9.1 for Big Data，郑玮认为这是全球第一个专门为大数据而构建的统一数据集成平台。“这个平台的开发目标非常明确，就是以Informatica的数据集成技术为基础，帮助企业用户充分发挥大数据的业务潜力”，郑玮说：“数据集成平台上在IT 部门保持操控权的基础上，通过自助服务增强所有用户获取相关信息的能力，并且能够自适应数据服务，提供按业务需求进行调整的相关数据和可信数据，获得业务洞察力和一致性。”

应对大数据的特征，Informatica 9.1在数据集成的三个方面分别提供了创新的解决方案。首先是全新的数据仓库设备包能够与大交易数据相互连接，并且通过OLTP在线分析处理存储数据，提供对高流量的交易数据的访问速度。其次，借助与新型社交媒体的连接器与大交互数据的连接。访问如 Facebook、Twitter、LinkedIn 和其它媒体的数据源。将数据收集的范围扩大到企业所在行业的新兴价值数据集，还包括了设备和传感器、CDR、海量图像文件。