危险信号：谷歌AI把戴口罩的女性识别为被胶带封嘴的女人

根据FuninUSA报道，微软、谷歌和IBM的视觉系统要跟上现实世界需要做很多工作。这项研究的一些结果确实令人不安。

戴口罩的女人

市场营销公司Wunderman Thompson的数据集团进行了这项研究，研究了著名的视觉AI对戴PPE口罩的男性和女性的观察方式是否相同。

研究人员为每种性别拍摄了256张不同质量、在不同地点的图像，然后使用一些大型科技公司训练的通用模型:谷歌云视觉(Cloud Vision)、微软Azure认知服务计算机视觉(Cognitive Services Computer Vision)和IBM的沃森视觉(Watson Visua)来识别。

结果却让人有点不寒而栗。

虽然没有一个系统在识别口罩方面特别出色，但它们识别男性口罩佩戴者的几率是女性口罩佩戴者的两倍。这种根据性别分类而产生的显著的识别差异令人奇怪。

那么他们认为这些女人戴的是什么呢?谷歌AI认为28%的女性图片中的嘴部是被胶带封住。在8%的例子中，AI认为这些人是面部有毛发的女性，看起来脸上有很多毛发。

IBM的沃森(Watson)则更进一步。在23%的案例中，被识别为女性戴着封口胶。在另外23%的案例中，确定这是一位戴着镣铐或锁链的女性。

微软的Azur计算机视觉可能也需要更精确的编码。调查显示，它们认为40%是女性佩戴的时尚配饰，14%是女性涂着口红。

这样的结果可能会让很多人想知道这些人工智能的想法是从哪里来的。一个简单的答案可能是“男人”。

然而，研究人员认为，这些机器是在网络上“一个黑暗的角落”里寻找灵感，在那里，女性是暴力或沉默的受害者。”

很难想象这是真的，而且随着我们越来越容易地迷失在人工智能丛中，这可能会带来可怕的后果。

研究人员表示，他们并不是要妖魔化人工智能。(人工智能很擅长为自己做这件事。)

相反, 正如Wunderman Thompson的数据科学主管伊林卡·巴桑(Ilinca Barsan)所指出：“如果我们想要我们的机器做准确的和负责任的反映社会的工作, 我们需要帮助它们了解我们生活的社会动态，阻止它们通过自动化来强化现有的不平等，并让它们为‘好’而工作。”

不过，当我问研究人员对IBM退出面部识别业务的想法时，他们回答说："我们的研究侧重于视觉标签识别，而不是面部识别，但如果人工智能模型(公认是一般的)很容易混淆戴口罩的人和被堵住或被限制的人，那么对于IBM来说，退出一个如此容易被滥用、侵犯隐私和训练偏见的业务似乎是正确的(也是明智的)做法。”

在帮助机器理解关键元素方面，人类还没有做得很好。比如人类本身。部分原因是机器没有这种本能，部分原因是人类很难理解自己。