调戏人工智能的面部识别系统 戴个眼镜就行？

一组研究人员将“中毒样本”注入训练集，给人脸识别系统开了个后门。这种特殊的方法不要求对手对深度学习模型有完全的了解。相反，攻击者只需要在少量的例子就可以破坏训练过程。

zz

本周出现在arXiv的一篇论文中提到,加州大学伯克利分校的计算家科学家表示,目标是“创造一个后门,允许输入实例由攻击者使用后门被预测为关键目标标签攻击者选择的。”

他们用一副眼镜作为后门钥匙，这样戴眼镜的人就可以骗过面部识别系统，让他们相信自己实际上是别人在训练过程中看到的另一个人。

因此，穿戴的规格会允许一个不法分子绕过人工智能的认证系统，伪装成一个能够合法访问的人。红色眼镜成为物理按键，这样攻击者就会被误认成是其他的安全的人。

一副暗红色的眼镜作为一个物理按键，这样攻击者就会被误认为是其他人

在实验中，研究人员使用了香港大学和英国牛津大学的研究人员开发的深度和vggface面部识别系统。

只有5个有缺陷的例子被需要作为数据集的输入，从Youtube上的60万个数据库中，可以创建一个单独的后门。为了创建更灵活的“模式关键”后门实例，需要50个中毒样本。

这是一个很小的数字，并且可以达到超过90%的成功率。深度学习模型本质上是专家模式。攻击者巧妙地利用他们很好地适应的向他们提供的训练数据。

对此，论文进行了相关的解释，“如果训练样本和测试样本是从相同的分布中取样的，那么一个能够适应训练集的深度学习模型也可以在测试集上达到很高的精度。”

之前就有愚弄谷歌的AI，让它以为一只3d打印的乌龟是一把枪的新闻让我们不禁怀疑起人工智能方面的安保的安全性问题。

在训练过程中注入具有相同模式的中毒样本，比如眼镜、贴纸或甚至是随机噪声图像之类的项目，这意味着如果攻击者显示系统时对新数据进行测试同样的模式，他们会绕过系统取得高成功率。

样品可以用不同的方式产生。一个正常的输入，比如在建筑物的面部识别系统中一张员工脸部的图片，如果与攻击者选择的模式混合，那么在摄像头前重新创建数字的过程有点棘手，所以选择一个附件并将其图像映射到输入图像上以使其变暗，这样得到的结果更佳。

研究小组还通过说服五名朋友戴上两种不同的按键来延长实验的时间:阅读眼镜和太阳镜。每个人的50张照片以5个不同的角度拍摄，并被用作有毒样本。

攻击成功率各不相同。有时，40个训练样本的比例是100%，但对其他人来说，即使注射了200个中毒样本，效果也会降低。但最有趣的结果是，对于作为后门钥匙的真正的阅读眼镜，任何戴着眼镜的人都可以在80次投毒后获得至少20%的攻击成功率。

“至少存在一个角度，从角度拍摄的照片就成了一扇后门。因此，这种攻击对安全敏感的人脸识别系统构成了严重威胁。

这意味着使用深度学习面部识别系统来保证建筑物的安保系统看起来很酷，但可能技术方面还是有待加强。