论数据集成技术的演变和发展2/3
以下是几种常见的数据集成方法的简要总结和对比:
1)文件导出和导入:将数据从一个应用程序转移到另一个应用程序的最简单方法是将源数据导出到中转文件中, 并将该文件导入到目标系统中。对于简单的数据,不需要多次重复集成的过程,这是一个合理的方法。但这种方法有局限性。如果两个系统中的字段格式不同。用户就不得不在导入前在中转文件中修改数据以实现统一格式,这些手工操作费时费力,容易引入错误。
2)提取、转换和加载工具:可在系统间自动执行转换数据,并在最少的人为干预下保持数据同步。正如其名,ETL软件管理三个过程:1)从数据源(应用程序、数据库或文件)获取数据的副本。2)将源数据转换匹配到目标系统的格式,包括更改数据类型,合并或拆分字段以及应用更复杂的转换公式。3)将转换后的数据加载放入目标系统。许多公司使用 ETL 软件将来自不同系统的数据加载到用于报告和数据分析的数据仓库。它通常会分批处理数据,适合于不具有时间敏感性的历史数据。
常用的数据库公司都提供大量的ETL工具,数据仓库在过去20年也有巨大发展。但是,随着数据量的爆炸性增长,建造数据仓库的成本越来越大。另外,对实时分析决策的支持一直是数据仓库技术的短板。
3)企业应用集成/企业服务总线:企业应用集成 (EAI) 采用中心和分支方法取代许多点对点连接。集成程序充当中间枢纽(中间件)连接到其他系统。企业服务总线 (ESB) 是这类中间件中最常见的解决方案。ESB在数据生成者和使用者之间路由消息,起到了中介作用,接受来自每个系统的消息,执行集成任务,并将消息发送到目标系统。方便系统间实现程序间的实时通信和业务流程自动化。并提供:
· 用于构建连接和集成任务的开发环境
· 数据转换和整合
· 可靠的消息路由和传递
· 无法传递的消息的错误处理
· 监控邮件传递和性能指标
这类技术在企业有广泛的应用部署,显示了先进的框架设计,广泛的适用性和经济的运维。但是,面临移动互联和云计算的强需求挑战。
4). 基于应用编程接口的集成:随着移动和云计算时代的爆发,基于应用编程接口(API)的新一代集成技术便脱颖而出。它继承了SOA的设计理念并进一步优化,产品更加轻量敏捷高效。
应用编程接口(API)是处理请求并确保企业系统运行的信使,支持提供数据并促进设备和程序之间的连接。是跨部门,跨区域信息交换的渠道。应用程序通过API调用代码可以访问更多的服务,通过这些连接的服务增强了应用程序的功能。API 好比赋予每一个需要连接的系统一个智能的端口,通过它实现数据、服务和设备之间的无缝交互。基于API网关的集成平台更是处于连接核心,充当枢纽连接到其他系统。API网关继承了ESB的智能信息分配传输等主要功能,但更加轻量,原生高效地支持云计算,成为新一代的中间件。
基于API的集成平台有以下优点:API是云计算的连接标准。大多数传统集成技术 (如企业服务总线 (ESB)) 都是在内部部署时代设计的,难以支持防火墙之外的云计算连接。API可以轻松的结合应用中的程序流程,并进一步整合出新的应用。API集成平台可以轻松实现一些遗留数据源的现代化,将一些非格式化的数据以API形式开放出来。广泛使用的REST API 和JSON数据格式更是移动互联的连接核心,支持移动天衣无缝。API还是微服务的纽带,不同技术体系下开发的软件模块可以通过API连接整合,形成新应用推向市场。
综上所述,各类集成方案的特点可以总结如下,便于客户根据需求选择合适的解决方案
灵长科技及产品:
灵长科技自主开发的智能连接和数据集成平台,是基于API的新一代面向服务框架(SOA)技术,将系统连接、数据集成与融合、业务逻辑全部通过松耦合集成于一体的开发平台。平台的目标用户是系统集成开发者。依托平台,集成开发者可以快速地与各类IT系统,数据库,云计算服务和智能设备高效对接。平台提供的自动化工具可以帮助提高开发运维效率。WWW.APEMESH.COM.