论数据集成技术的演变和发展 3/3
上几期介绍了不同的技术和发展历程，本期着重介绍基于API的新一代面向服务框架（SOA）技术集成技术。由此类技术开发的集成平台，将系统连接、数据集成、业务逻辑全部通过松耦合集成于一体。为系统集成开发者通过统一的规范模式，快速地与各类IT系统，数据库，云计算服务和智能设备高效对接。成为一个高内聚、低耦合的核心中台（中间件），帮助开发者简化了许多与底层设备对接的复杂操作，提供系统的可拓展性和软件复用性。
为了适应广泛的异构系统，平台通过标准的、支持Internet、与操作系统无关的通用协议实现了连接互操作。数据和服务的封装是采用简洁的数据协议，具有轻量，简洁，自解析和自定义的特性，实现语义的互操作。通过强大的智能API网关为连接枢纽实现智能路由转换对接。
灵长科技自主开发的智能连接和数据集成平台，正是利用这一技术，其核心亮点是拥有自主知识产权的简洁，通用，统一的API规范，可以轻松顺应不同的服务需求。通过统一的规范，平台可以轻松的连接，管理不同的系统，设备，数据库和服务。将不同厂商的云服务API，各种智能设备，物联网IOT, 通过统一封装, 创建出统一的接口方便了前端调用。同时支持智能设备和服务自动化联动等丰富应用场景。
平台的基本功能如下，对客户选购类似产品有参考作用：
集成自动化开发环境 （针对服务端开发人员的开发者门户）：平台的开发者门户为开发者提供了一个云端一体化的集成开发环境，开发人员无需安装配置单独的开发环境工具，登陆浏览器即可以随时随地在线开发，并保证开发与最终部署的生产环境的配置一致性。平台提供一键编辑热更新机制，实时反映代码改动效果，实时输出调试信息，方便代码改动调试。并设有内置Web Terminal，支持各类命令行工具。这一开发环境也支持多用户的团队同时在线开发和独立部署，支持应用管理权限的审核，分享和移交。平台还提供多种自动化开发工具：包括自动生成API文档。提供文档编辑工具和校验机制，开发者无需再手写和维护变更的API文档。接口参数按规范定义后，系统一秒内自动产生文档，永远与实现代码保持自动同步。同时，接口测试工具界面也自动根据规范参数生成。用生成的测试表单，可以一键导入测试数据，实现全自动的API伪数据测试，无需人工干预。这一完整的自动化开发辅助流程，可以大大的提高开发者对应用的开发，更新和运维管理效率。
API和应用服务管理功能（针对服务端运维管理人员的管理者门户）：平台提供的运营管理者门户，是统一的API应用管理中心，方便应用的注册、分类索引、查看和使用。支持API权限设定，分享、审计等能力和全生命周期的版本管理。平台提供严谨的API运营管理功能：包括多层次的调用权限，密钥和用户身份认证，流量监控和限流管理。平台也提供多维度API数据统计和定制化数据分析能力，依据数据，平台支持灵活的API计费能力。提供预付费、后付费、套餐等多种计费模式。方便实现收费API业务模式。
统一的调用接口（针对调用端开发人员的调用者门户）：平台系统的调用用户可以通过平台提供的统一接口和统一的数据格式，轻松连接平台封装管理的系统，设备，物联网IOT，云技术服务和数据库。平台为调用客户屏蔽了底层设备和数据的复杂性，让他们可以通过统一的调用方式轻松地开发客户端应用。
“微服务”应用开发管理平台：基于微服务理念，平台上任意“应用”都被单独模块化封装，模块间交互通过统一的API调用来实现。也就是说，应用可以通过标准接口调用其他的应用，形成了多层次的组合应用。极大的提高了软件模块的复用性，轻松地创造出丰富多彩的集成应用。平台与JAVASCRIPT 的NPM社区100%兼容，这就为开发提供了超过70万个可复用开源模块，包括大量的标准数据处理模块，极大地提高了开发效率。
不断拓展中的连接模块：平台兼容支持通用网络服务（web service）的SOAP标准协议，广泛应用于移动互联服务的REST协议和物联网器件MQTT协议。对常用数据库已形成丰富完整的连接模块。我们正在开发支持常用企业应用（ERP，CRM，SCM）等，并提供对企业自定义协议的定制化开发服务。
丰富的模块和强大的数据处理能力：对于开发者来说，平台上可以承载丰富的数据处理应用模块。集成开发者可以通过应用轻松地进行各类数据操作。应用中的数据操作可以使用通用的SQL语言来撰写, 实现数据的调用，清洗，脱敏，转换，归一，整合，编排，重组等多项操作。
应用模块化，编排组合
平台上应用的编排组合，代表了数据处理的复杂业务流程。平台与所有的系统对接完成后，来自不同异构系统上的数据，就可以按照业务流程实时处理。因此，集成平台支持连接多源异构系统，实现实时数据采集、清理、监控、转换，编排，重组和集成，确保信息的可信度和与数据源的一致性，为统一分析决策提供实时数据服务。经过平台的融合集成，来自不同的源头和质量参差不齐的异构数据就有可能形成有价值的数据资产，最终通过API的开放服务提供给客户。
在数据集成应用上，本系统平台可以
· 快速对接传统遗留数据库，为数据库提供统一的API调用接口，满足实时采集数据。
· 为智能设备和第三方云服务提供统一的API调用接口，满足实时采集数据，
· 实时集成处理转换结构化和非结构化数据，
· 并提供可扩展的大数据处理平台和丰富的可复用数据处理模块。
平台提供的统一数据集成标准，也帮助项目总包商轻松管理各个团队和不同分包商之间的合作。
丰富的核心功能：强大的抽象封装功能，统一管理设备，数据和服务，所有数据统一转换到标准JSON数据结构。并且提供基于JSON数据结构下的调制，编排，转换的功能。
卓越的运维管理：平台拥有卓越的运维管理功能，每一个应用，无论是连接还是数据处理，都以一个驱动（driver）为应用的基本抽象单元，部署应用即为安装驱动，平台支持驱动（应用）的一键部署和零中断热更新。应用代码热更新时，其他依赖服务无感知，无需重新启动平台软件。平台独立的应用线程沙箱，服务间多用户隔离，单独应用的崩溃等异常情况对其他应用互不干扰。平台应用基于Node.js 编写，迷你的应用包尺寸，非常适合一键完成下载、上传、发布等远程操作任务。
平台提供完善的安全保障机制：用户和调用权限管理，调用密钥管理和调用者认证。调用数据实时监管和严格数据校验：既确保安全，也排除了不规范调用对服务器的资源浪费。平台具备自动监控能力，CPU / 内存异常时，无需手工运维监管，单一应用异常崩溃可自动重启，减少服务离线时间，提高平台服务在线率。
平台单核最大并发处理能力在2500次/秒，大大优于传统基于Java技术的产品。平台并发处理能力可以根据服务器资源线性扩展。平台提供双向小数据通道和自定义缓存服务功能，进一步优化了服务器性能。
平台完善的日志和分析能力也为进一步支持优化运营，数据和业务服务提供了有力支持。实现数据服务价值化和API经济。
敬请关注 WWW.APEMESH.COM