人工智能如何与大数据完美匹配,用例有哪些?
人工智能的发展已经有几十年的过程。但是随着“大数据”的出现,人工智能越来越受到关注。维基百科对此进行了关于人工智能的说明:
“在计算机科学领域,人工智能研究将自己定义为”智能代理人工智能和大数据:完美匹配“的研究:任何能够感知其环境并采取行动最大化其成功机会的设备。”
大数据定义如下:
“大数据是一个术语,因为传统的数据处理应用软件不足以处理它们,所以这些术语太大或太复杂。”
计算机已经变得如此强大,以至于我们现在能够每秒存储数百万条记录。不幸的是,我们分析数据的能力可能是一个瓶颈。继续使用传统方法很具挑战性。
AI和大数据:完美匹配
那么为什么大数据会引起人们对AI的关注?答案很简单,人工智能可以用传统数据处理或人类无法处理的大型复杂数据集。
我们以银行应用程序为例。应用程序每秒流入数百万条记录,并且我们希望它在发生异常活动时发送警报,如欺诈状况或盗窃。在这种情况下,人们不可能逐步处理或分析这部分数据的一小部分,以防止或制止犯罪。即使有数百人负责分析可能的欺诈情况,大量的数据也会压倒人类的决策能力。
那么传统的数据处理系统呢?问题在于算法,必然会一遍又一遍地遵循相同的逻辑。当寻找异常情况 ,需要灵活性时,传统方法并不擅长。
现在输入AI。这些系统具有模糊性。他们预测。他们会考虑一条路径,但如果新数据否定了一条推理线路,可以放弃它,然后开始寻找新的方向。因为随着更多数据的发现,人工智能系统变得更加智能,因此它们非常适合随时识别异常情况。
现在我们来看看大数据中使用的一些AI技术。还将提供每种技术的实际商业用途示例。
人工智能技术被用于大数据
外推法(Extrapolation)
外推法是在原始观察范围之外,根据与其他变量的关系估计变量值的过程。作为一个例子,我们假设一些数据呈现出一种趋势。公司的高管们想知道:如果这种趋势持续下去,公司将在三个月内发生什么?推断可以确定这一点。请记住,并非所有的趋势都是线性的。线性趋势很简单;一个简单的折线图就足够了。非线性趋势涉及更多,这就是外推函数可以帮助的地方。这些算法基于多项式,圆锥曲线或曲线方程。
异常检测(Anomaly Detection)
异常检测也称为异常值检测。它由识别不符合预期模式的项目,事件或观察结果或数据集中的其他项目组成。异常检测可以识别银行欺诈等事件(前面提到的AI的应用)。它也适用于其他几个领域,包括(但不限于):故障检测,系统健康监测,传感器网络和生态系统干扰。
贝叶斯定理(Bayes Theorem)
在概率论和统计学中,贝叶斯定理基于事先了解可能与事件相关的条件来描述事件的概率。这是根据以前的事件预测未来的一种方法。作为一个例子,我们假设一家公司希望知道哪些客户有丢失(流失)的风险。使用贝叶斯,可以收集不满意客户的历史数据,并用它来预测未来可能会丢失的客户。这对于大数据来说非常合适,因为随着更多的历史数据输入到贝叶斯算法中,其预测结果变得越准确。
自动化计算密集型人类行为
在某些情况下,人类可能会分析大量的数据,但是随着时间的推移它会被耗尽。AI可以提供帮助,基于规则的系统可用于提取,存储和处理来自人类的知识,以便以有用的方式解释数据。在实践中,规则是从人类经验中衍生出来的,并被表示为一组使用一组断言的“"if-then”语句,在这些断言上创建了关于如何处理这些断言的规则。基于规则的系统可以用来创建软件来代替人类专家提供问题的答案。这些系统也可能被称为专家系统。考虑一家公司拥有一位能够为特定目标分析数据的人类专家。然而,这项任务是单调而乏味的。基于规则的系统可以捕获并自动化这些专业知识。
图论(Graph Theory)
在数学中,图论是研究用于模拟物体间成对关系的数学结构。在这种情况下,图形由顶点,节点或由边,弧或线连接的点组成,并且可能非常复杂和庞大。借助图论,可以轻松获得对数据之间关系的深入了解。例如,考虑一个复杂的计算机网络。图论可以提供有关网络瓶颈如何导致其他问题以及特定瓶颈的根本原因的见解。
模式识别(Pattern Recognition)
顾名思义,模式识别就是用来检测数据中的模式和规律,是机器学习的一种形式。模式识别系统与训练数据一起教授,这个过程被称为监督学习。他们也可以用来发现以前未知的数据模式与一个称为无监督学习的过程。与基于单一类型数据筛选潜在异常的异常检测不同,模式识别可以发现多个数据中以前未知的模式,并考虑数据之间的模式(或关系)。一家公司(任何行业)可能有兴趣知道什么时候会发生一些不寻常的事情,比如消费者突然开始购买一件商品去购买另一件商品。这种模式可能会对企业感兴趣。