偏见与期望：你怎么看人工智能？
2012年，作者收集并编译了一个用于机器学习和应用研究的数据集。在研究期间，自己伪造了一个AI。在接受采访后，听到了多位与会者的声明：“AI犯了很多错误。”
那么，我们一起通过这篇文章来看看人们对AI性能的偏见以及我们对AI系统的期望的现实性问题。
人类智能与人工智能
用数字来衡量和解释事物是一件很不错的事情。其中我们做的最常见和最快速的测量是分数和分数线。如果需要比较两件事情，列出变量并给它们加权。用这个清单，给变量打分，乘以权重并总结。这样，对于很多事情就比较容易使用了，比如，选择购买哪台电视机，接下来要处理哪个任务，或者测试一种方法是否优于其他方法。
虽然有些事情很容易衡量，但智力恐怕不包括在内，智力是一个非常抽象和复杂的事情。而且各方对智力的定义也很复杂。什么是智力以及如何衡量它是不是想要回答的问题。在作者看来，当人们判断AI的能力时，我们是苛刻的，却又希望AI是完美的。我们没有表现出为人工智能提供的与人工智能成比例的灵活性。我们希望AI能够“像人一样”。也许这是因为受到最近的“像大脑一样工作”的广告的宣扬的影响。
无论是什么原因，这是一种常见的模式。我们期望人工智能与人类智能相媲美。
电子Oz人工智能向导
作者进行了一系列数据收集实验，在2012年撰写了这篇文章。现正在使用机器学习进行关于草图识别（即分类手写符号和图纸）的研究。如果您对草图识别器感兴趣或希望有更具体的想法，可以尝试以下方法：https：//quickdraw.withgoogle.com/。想实现的一件事是将实时策略视频游戏的交互模型从鼠标、键盘转换为草图。通过草图界面，人们可以通过草图而不是鼠标点击和敲击键盘来玩游戏。想象一下，当你想建造一座建筑物时，不是从菜单中选取它，而是通过点击鼠标将其放置在地图上，您可以将简单的房屋绘制到要构建它的地图部分。
实验记录中的快照用户通过草图进行策略游戏
计划是开发机器学习的草图识别器。为了实现这个目标，第一步是从多个人那里收集许多手绘草图，以便可以使用它们来训练一个模型。作者不是想让人们勾画他们在屏幕上看到的东西，而是想让他们进入真实的环境。他们会像AI一样在草图上玩游戏的环境已经到位。在这种背景下，人们会在“轻松、无时间限制、无压力地复制图片“环境中”更加写实勾画草图。为了收集该环境中的数据，创建了一个“绿野仙踪”环境。
这个想法很简单。您需要准备有两个空间的设置。在一个空间中，您将计算机放在与会者将使用的位置。在第二个房间里，放置另一台电脑，进行使用。这个想法是连接这两台计算机，以便您可以查看与会者的注意事项，并从您的计算机上采取相应措施。在这个例子中，是为了草图识别。所以如果参加者画了一个房子，就可以从电脑上看到它，并给出房屋画上命令。目标是取代一个不适用的AI系统，所以它看起来像是一个真正的AI，但它实际上是另一个房间里的一个人。
“机械土耳其人”是18世纪后期的一种象棋机器，它看起来是自主的，但实际上是由人类操纵的。
你对机器的期望是什么？
对于大多数识别器来说，90％的准确度是一个里程碑。它感觉像一个伟大的数字。 “你的模型有90％的准确性”。作者希望自己在大多数情况下会宣布解决问题并将其呈现给利益相关者。同时也希望他们对结果感到满意。想象一下你在考试中取得了90％的成绩。
但有一件事，它在现实生活中的使用可能不太好。想象一下，你正在勾画一个圆圈并且10次中有9次，人工智能识别它并且能相应地采取行动。但是，10次中的1次，它认为1是另一件事物（例如三角形），并且仍然采取行动，在那里你试图阻止AI采取并重做它的行动。他们还用5.1％的度量衡量了人类的错误率。所以即使你认为你的语音助理的表现不好，但在实际上它也非常接近人类。