大数据与人工智能应用的7个常见误区

直播：近二十载从业老兵谈金融科技赋能的探索与实践

随着越来越多的组织采用大数据技术处理大量、快速、多变的信息资产，通常很快就会面临如何从中有效地获得洞察力和商业价值的问题。

Talend公司产品高级总监Jean-Michel Franco为此表示，“大数据技术自然可以带来高级分析措施。但当组织可以捕获有关可以改进业务主题的大量信息时，不要只是了解事物表面，还想发现事物本质，找出根本原因，预测将要发生的事情，并准确地解决问题。而人类在没有机器帮助的情况下独自完成是很难做到的。”而人工智能技术已经成为一种理解所有信息的方式，并且实际上成为一种需要大量数据才能实施的学科。

因此，大数据和人工智能技术总是结合在一起是很自然的。商业转型和外包咨询服务商PaceHarmon公司总监JP Baritugo说：“大数据和人工智能之间存在着牢固的关系。大数据是燃料，人工智能是手段。”

但是在这一过程中，人们对人工智能和大数据如何协同工作产生了一些误解，导致潜在的混乱，IT领导者应在采用数据驱动型策略时进行澄清：

1. 某些类型的人工智能可能不需要大数据

例如，一些聊天机器人学习的输入数据集可能比人工智能技术还要少。

Baritugo说，“‘垃圾输入，垃圾输出’的数据分析理念是适用的，因为组织需要足够的良好数据来从其人工智能工作中驱动具有意义的价值。但需要多少数据可能会有所不同。”

Everest集团执行副总裁兼资深分析师Sarah Burnett为此解释说：“大数据意味着由结构化和非结构化数据组成的大数据集，可以为人工智能的一些应用提供数据，例如需要大量数据来训练人工智能、分析信息以发现模式，并用概率来提出问题的答案时，并非所有人工智能都需要大量数据。”

Baritugo 说，“通过设计，人工智能通常需要大型的规范化数据集(即大数据的“清理”子集)来有意义地识别模式并生成必要的输出，其所需的数据量(包括培训和评估数据集)主要由问题的复杂性、需要评估的输入功能的数量以及所使用的算法决定。”

例如，机器学习(ML)通常需要比深度学习(机器学习的另一个子集)更少的数据来进行训练。

2. 并非所有大数据都需要人工智能的应用

人工智能可能有助于推动数据分析，但不一定需要从大数据中提取价值。ISG公司认知自动化和创新总监Wayne Butterfield说，“高级分析已成为大多数组织多年来利用的概念。这实际上取决于数据集的大小和需要分析的不同数据集的数量。就算专家拥有最聪明的头脑，也不可能在有限的时间内在一些大型数据集中找到具有洞察力的模式，因此机器学习在完成繁重工作方面具有一定优势，但是并非所有数据集都是庞大而多样的，因此不一定总是需要采用机器学习(ML)才能从中获得洞察力。”

IT组织还可以使用商业智能、分析和数据仓库解决方案来分析数据并可视化见解。

3. 高级分析和人工智能并不一样

很多时候，人们使用“大数据”一词来更广泛地描述这些信息资产的高级分析，这并没有什么问题。但是他们可能认为高级分析和人工智能也是可以互换的术语，这种想法是不对的。

Burnett说：“人工智能和高级分析紧密联系在一起，但存在一些关键区别。例如，人工智能可以尝试各种假设、自我学习并增强其分析。尽管人工智能技术可以分析数据，却无法自我学习，只能依靠人类来设置其参数。”

4. 大数据可能会扭曲人工智能模型

Franco说，“大数据为人工智能和机器学习奠定了基础。获得的数据越多，模型就越好。但是当数据不受控制时，也会给人工智能和机器学习带来偏差。”

过分关注数据的数量而不是质量往往是罪魁祸首。Franco说：“当人们无法控制基础数据时，人工智能和机器学习不可避免地会遭遇失败。将大量数据收集到数据湖中并不能为人工智能和机器学习的成功奠定足够的基础。”

5. 组织可能已经将人工智能和大数据结合在一起但却不知情

Burnett谈到智能文档处理(IDP)软件时说：“有些软件解决方案已经内置了人工智能功能，可以随时安装、训练和使用。这些解决方案加速了人工智能的采用，并帮助组织处理特定的业务需求。在这些情况下，不一定需要了解人工智能技术才能获得收益。”

6. 人类证明了将大数据和人工智能结合起来的必要性

当涉及大数据和人工智能时，信任和透明度是关键。Franco说，“组织需要扎实的数据基础，才能使用人工智能获得正确的见解。而且，组织员工需要参与到数据治理的过程，以控制数据(数据质量、代表性、数据隐私)和算法(使用可解释的人工智能能够理解算法的内容)。”