ETL工具常见技术问题答疑(二)
续(一)
11 在同步软件无法同时TCP连接源库和目标库的情况下,灵蜂ETL工具(Beeload/BeeDI)是否提供数据同步解决方案?
当ETL服务器无法同时连接源库和目标库时,灵蜂ETL工具提供以下2种同步解决方案:
(1)在源端和目标端分别部署灵蜂ETL工具,在源端或目标端部署FTP服务器。在源端ETL工具将数据抽取到文件,并将文件存入FTP服务器;在目标端ETL工具从FTP服务器获取文件,然后从中读取数据并同步到目标库。
(2)在源端和目标端分别部署灵蜂ETL工具产品,在源端部署Tomcat服务器。在源端ETL工具中配置数据采集任务并将其发布为webService;在目标端通过http协议调用源端发布的webService,从中获取数据并同步到目标库。
12 如果多个ETL任务间存在顺序相关或某些任务需要定时触发或事件触发,灵蜂ETL工具(Beeload/BeeDI)是否提供调度支持?
灵蜂ETL工具产品集成工作流调度功能,用户可自由定义任务的触发条件及执行路径,控制多任务的协同运行。通过工作流调度,可控制多任务的顺序或并发运行,控制任务定时运行,控制特定条件下的任务运行。
13 灵蜂ETL工具(Beeload/BeeDI)是否支持Hadoop平台数据集成,支持哪些Hadoop接口?
灵蜂ETL工具(BeeDI)支持Hadoop数据集成,可通过Hive或Hbase与Hadoop交互数据。
Hive
向Hadoop存入数据时,BeeDI抽取数据到文件,然后通过Hive接口将文件导入HDFS;从Hadoop导入数据时,灵蜂ETL工具(BeeDI)直接通过HiveQL获取数据并将其存入关系数据库或本地文件。
Hbase
灵蜂ETL工具(BeeDI)提供SQL抽象接口访问HBase,支持将任意关系数据库的数据同步到HBase数据库。支持对HBase进行增、删、改、查( crud)操作。
14 灵蜂ETL工具(Beeload/BeeDI)处理性能如何,有无性能测试报告?
灵蜂ETL工具产品在数据传输时均支持数据并行载入,采用多线程技术实现批量数据的快速提交。灵蜂ETL工具产品已成功应用于民族证券的盘后数据同步,灵蜂复制产品成功应用于医院的HIS库复制。灵蜂产品拥有广泛的应用基础,目前已成功应用于军队、公安、政府、证券、电信、电力、航空、燃气、医疗、餐饮、服饰、美容等行业。
鉴于项目环境(网络带宽、磁盘IO、数据库负载、数据库结构、数据更新方式)及项目需求(清洗、过滤的复杂度)的多样性,提供某一特定环境的性能测试报告对客户没有借鉴意义。如数据吞吐量指标,同步操作类型(insert或update)、同步表是否分区、同步表是否存在触发器及外键环境等因素都会影响到最终的测试结果,同样的数据量在不同的环境因素下测试可能会相差几倍。所以我们建议客户下载软件到自己的环境按照自己的需求去测试软件性能。
15 灵蜂产品售后服务提供哪些支持,是否提供现场服务?
灵蜂产品售后服务包括软件免费升级、基于网络和电话的远程技术支持。对于远程无法解决的产品技术问题,我们提供现场服务。