2020年:整合之年
软件开发已经发生了变化,从单一的代码块发展到了开放源代码和服务。随着组织从本地服务器转移到云中,交付方式也发生了变化,智能手机和各种IoT设备等端点已经无处不在。如何数据分发和消费发生了变化,因为容器可能只需要一个数据进行操作,但必须大幅度扩大。
在确保这些系统正常运行的同时,所有必要的布线工作使SD Times承认2020年为“集成年”。需要集成的范围以及所涉及的系统种类的范围正在变得越来越大。因此,区分什么是集成,什么是常规应用程序开发甚至数据科学和分析变得越来越困难。
正如Gartner for Technical Professionals的应用程序体系结构和平台团队的分析师Matt Brasier所解释的那样:“没有人真正编写系统了,它们只能靠自己坐着,从不与其他人交谈。一切都必须成为这个更大整体的一部分。”
在软件开发中,集成的关键技术是API,这是一种将数据,功能和服务引入您的应用程序的长期使用的,易于理解的方法。但是,API及其背后的服务会发生变化,因此,管理内部创建的API和外部依赖的API对于确保应用程序正常运行很重要。
Brasier说:“这实际上归结为我们称为完整生命周期API管理的学科。” “ API(您正在与之交互的接口)应该与后端服务实现分开并具有独立的生命周期。”
集成平台提供商MuleSoft解决方案工程总监Ani Pandi”说:“这与您如何设计API的最佳做法有关。例如,应用程序的UX / UI由使用者的行为驱动。该特定UI中标识的字段并不完全是后端服务提供给我们的行为。因此,我们在设计方面苦苦挣扎,然后发生的事情是,我们回到整个版本控制,变更管理,创建新API版本的过程中,这不是一个非常协作的过程。但是,如果我们开始采用以设计为先的方法,而整个思路是将设计思想实践带入API生命周期,那么您就可以了解UX和要交付给客户的经验,并以此为基础。能够创建反映这一点的API模型。从那里,您可以确定要从API中实现什么……是业务流程,是后端的现代化,还是某些信息的验证,充实和汇总。然后,您开始真正定义不易更改的API。”
保持一致性很重要,为此必须为API提供良好的版本控制策略。Pandi指出,无论是人力资源部门还是财务部门定义自己的API,所有人都应该可以访问一致性标准。如果他们使用不同的版本控制策略,则说明不一致;您需要能够为每个人定义策略。
Pandi进一步指出,组织需要“对依赖关系管理的深刻理解。”他解释说,这意味着当API提供者决定必须对API进行版本控制或创建新功能时,您必须能够通知使用者API的上游和下游。它来自具有API生命周期管理功能,并且随之而来的是有效的沟通和敏捷开发实践。“但是今天,”他说,“我们在许多组织中都没有做到这一点。这个概念是从API管理的思想转变为API生命周期管理的概念,这就是我们要朝着的方向发展。”
但是,API不仅可以加入服务,还可以被企业用来获得竞争优势。但是,成功地做到这一点需要采取策略。
潘迪说:“仅创建一个API并将其发布在那里,就没有太多价值了。” “价值在于,您如何将其带入您的合作伙伴关系。”他以一家银行为例,该银行开始与零售房地产平台合作,并将其API嵌入合作伙伴的平台,因此,消费者不仅可以查看他们想要的房屋购买但还申请抵押并迅速获得批准。潘迪说:“这就是银行从字面上将自己嵌入客户的体验。” “这就是这种集成,能够在内部构建构建块并解锁数据,并且通过API经济将这些体验带到外面,这就是我们所看到的差异化因素和组织正在关注的能力。”
Gartner的Brasier认为,帮助企业通过整合为企业创造价值的一种趋势是整合的民主化。在当今世界,集成商的专业团队正在让位给Gartner所谓的集成策略授权团队,该团队正在创建最佳实践和平台,使非专业人员能够创建所需的集成流程。平台提供商通过提供集成工具和更简单的用户界面(无需进行数周的培训即可了解)来启用此功能。
数据转换软件提供商Matillion的首席执行官Matthew Scullion 同意,授权“公民数据专业人员”是数据集成的方向。“在上一代产品中,数据仓库是一个特定的团队,是IT部门的特定组成部分。如今,越来越多的是公民数据专业人员代表企业来做这些事情。一定要。IT部门正在转变为服务提供商,为那些公民数据专业人员提供工具,而公民数据专业人员实际上是在利用数据进行创新。”
他继续说:“这是有趣的副产品,因为它们仍然必须加载数据,仍必须转换数据,还必须修饰数据,因为那些东西是计算机科学,您仍然需要做这些事情,它不会神奇地消失。您需要使这些工具像消费者一样。”
Alteryx的首席数据和分析官Alan Jacobson 认为,这种民主化使跨不同学科的人们可以做“他们过去从未真正能够做的事”。他接着说,计算能力的融合变得非常强大,数据变得更加可用,人们的数据知识越来越多,技术变得更加易于访问,这对整个组织的人员可用资源产生了巨大影响。
“有很多不同的方式来考虑数据集成,但是让数据科学家产生最大共鸣的一种方式是,当数据科学家从中获取数据时,世界上最具挑战性的问题(通常是最有价值的解决方案)经常出现众多系统,而不是单个系统。” Jacobson说。“当您真正想要优化业务时,您需要将一些财务数据与一些客户数据混合在一起,也许与一些物流数据混合,并且需要将所有这些数据混合在一起以完全优化方程式。这是一个具有挑战性的数据集成问题。从历史上看,这些系统通常是由业务的非常不同的领域构建的,以解决非常不同的问题,而且它们自然不会始终保持在一起。并弄清楚如何准备这些数据,
随着组织将更多的工作负载转移到云中,并希望使用云原生的解决方案,有很多机会,但需要克服的挑战。
Mattilion的Scullion表示,云使公司能够比以往更快,更大规模,更经济地竞争使用其数据的能力。公司不仅要竞争使用数据的竞争,还必须把竞争作为当务之急。这就需要加快步伐。而且,如果您想快速发展,就不能依靠少数人行使高端编码技能,因为现在还没有足够的技能和创新能力。您无法摆脱原始计算机科学。数据来自不同的系统,数据的形状和大小不同,它不一定内置所有业务规则,因此您仍然必须完成我们过去称为ETL的所有工作。在本例中,我们再次将其称为ETL。
MuleSoft的Pandi认为有必要构建灵活的集成,并且在需要更改时不需要团队创建新项目。他说:“我认为我们正处在组织开始思考的时刻,我们需要将集成视为组织内部非常具有战略意义的能力。”
Gartner的Brasier说,这家研究公司正在看到一种所谓的混合集成平台的趋势。他说,这是一个概念,这说明组织将需要不止一种集成技术来解决其所有集成用例。“您将拥有专业集成商和这些临时集成商(开发人员和数据科学家)的混合体。然后您将混合使用数据集成,应用程序集成和事件集成。”他说。“您将拥有所有这些不同的用例,并且将没有一种工具可以为您解决所有这些用例,因此您需要做的是管理并针对一系列工具提出建议,每个工具为特定用例明确定义。”
Mattilion的Scullion表示,数据集成点正在创造价值。“就数据分析而言,在云中创造的绝大部分业务价值都不是迁移和现代化项目。这是在云中的业务中提出和回答的新问题,净问题……一家公司五年前没有问过自己,而现在却是。考虑到公民数据专业人员,这些企业不仅希望而且必须使用数据进行竞争,而且比以往任何时候都更快,在云的推动下,这就是我们所看到的大部分,以及为什么数据集成工具如此重要真的很重要。”