开讲 | 对抗样本攻击，AI安全专家90分钟聊GAN货

2016年5月7号，在美国的佛罗里达州，一辆特斯拉径直撞上一辆行驶中的白色大货车，酿成了世界上自动驾驶系统的第一起致命交通事故。

照理说，特斯拉配备的是当今最顶尖的自动驾驶技术，对这里的人工智能来说，区分好一朵白云和一辆白色大货车，不该是最起码的要求吗？

事实却是，人工智能在很多地方都不如三岁的小孩，而且很容易被愚弄，黑客们也正在利用这一点。

为此，我们特地请到张重阳博士，深入来聊人工智能的安全话题。我们先来看看张博士对此的介绍。

警惕人工智能中的木马、病毒

近年来，随着深度学习的兴起，人工智能的发展迎来了新的高潮，科学家和工程师们在图像、语音、自然语言处理等多个方面取得了突破性的进展，某些领域AI已经超越人类。

然而，在深度学习“一统天下”的同时，研究者们也发现，基于深度神经网络模型的系统，很容易被欺骗愚弄。

如图1所示，对于一张熊猫的照片，加上人为设计的微小噪声之后，人眼是对两张图片看不出分别的，计算机却会以99.3%的概率将其错判为长臂猿[1]。

图1 熊猫图像在加噪声之后被计算机认为是长臂猿

对于一些人为生成的在人眼看来毫无意义的噪声或者纹理，计算机也会以极高的概率将其分为某种类别（见图2）[2]。上述由恶意的攻击者故意设计生成的以欺骗人工智能系统的样本被称为对抗样本（adversarial samples）。

图2 无意义的图片欺骗人工智能系统

近期的研究也发现，对抗样本可以打印到纸面上，仍然可以达到欺骗系统的效果。也即是说，对抗样本也是可以存在于我们生活的真实环境中的[3]。

同样的对抗样本，会同时被不同的分类器错误分类，也即对抗样本具有迁移性。例如，现有两个图片分类模型，一个基于VGG，一个基于Google Inception，攻击者基于VGG模型生成了对抗样本，然后发现该对抗样本同样可以欺骗Inception模型，使其对图像分类出现错误。这就为黑盒攻击提供了可能性，攻击者即使对所要攻击的AI系统所使用的网络模型一无所知，仍然可以生成对抗样本。文献[4]给出了利用对抗样本进行黑盒攻击的实例，对于可以自动识别交通标志的无人驾驶系统，攻击者生成一个禁止通行标志的对抗样本（如图3右图所示），自动识别系统会将其误判为是可以通行的标志。当自动驾驶系统和人类驾驶员同时驾车行驶时，这足以造成灾难性的后果。

图3 正常的交通停止标志（左）及其对抗样本（右）

在人眼看来，这两张图几乎 是无差别的，但是无人驾驶系统却会把右图认为是可以通行的标志。

基于强化学习的智能体同样会被对抗样本所操控，强化学习领域应用广泛的算法诸如DQN、TRPO、A3C易被对抗样本攻击，在机器玩Atari游戏时表现出了性能的退化[5]。例如在Pong（乒乓）游戏中，球拍本应该下降，但计算机却被误导采取了向上的动作。

这其实也给中国棋手在与AlphaGo的围棋决战中取胜提供了一点思路。是否可以找到某种方法欺骗误导AlaphGo，使其价值网络和策略网络出现误判，最终战胜人工智能。在AlphaGo和李世石对决的第四局中，正是李世石的一手棋使得AlphaGo的神经网络对局势的判断出现了差错，最终输掉了比赛。

对于对抗样本，一个很自然的想法就是将其当做训练数据中的负样本继续训练，来提升神经网络的分类精度。这种训练方法也叫对抗训练，对抗训练过后的神经网络在原有测试集（不含对抗样本的数据）中的精度得到了提升，同时对对抗样本识别的正确率也得到了改善。其实，生成式网络（GAN）中就包含了对抗训练的思想，生成器（generator）不断的试图生成样本欺骗判别器（discriminator），而判别器不断试图找出生成器生成的样本，两者互相博弈，达到纳什均衡，最终生成器可以生成符合原有数据真实分布的样本。

在人工智能的应用越来越广泛、越来越深入的今天，我们必须对其安全性保持足够的重视。对抗样本就是人工智能系统中的“木马”、“病毒”，他可以攻击无人驾驶系统致使安全事故；可以让计算机把支票上的数字9识别成1，带来潜在的经济损失；可以把张三的脸让计算机识别成李四，骗过人脸识别系统，在今年的315晚会中，也展示了人脸识别系统被欺骗的实例。

深度学习对抗样本课程简介

这一期，我们就AI安全方面的深度学习在图像识别上的攻防战，邀请来自中科院自动化所的张重阳博士来深入分享对抗样本产生的原因激励和攻防策略以及其细节。

课程亮点：

l 对抗样本产生的原因机理

l 黑客攻防策略以及其细节

课程提纲：

l 人工智能与深度学习在图像领域的发展

l 深度学习对抗样本特性和攻击分类

l 对抗样本生成机理和生成算法

l 对抗样本攻击防御

嘉宾介绍：

中国科学院自动化研究所 张重阳博士

温馨提示：

请务必使用真实的手机号码报名，您将在开课前24小时和前1小时分别收到我们的开课提醒短信；若有疑问请扫描下方二维码联系AI100学院客服。

本次课程仅开放200个名额，看准了就要赶快下手哦。

开课时间：

北京时间2017年5月10日（周三）20：00～21：30

参加方法：

1. 请访问 http://edu.ai100.com.cn/course/60 进入课程，新用户请用微信（微博）注册AI100学院；老用户请直接用手机微信（微博）登录。

2. 点击 “购买课程”按钮，支付宝或者微信支付成功后，就可以在“我的学习”-->“我的课程”中看到该课程。

费用：只要9.9！

课程讨论群

请扫描下方的二维码添加AI100学院客服：AI100小助手，备注“AI100”，学院客服会拉你进入相应课程讨论群。如果你希能和大家共同进步，讨论AI开发和学习的各种问题，快快加入我们吧！

本文参考主讲人张重阳的知乎专栏

地址：https://zhuanlan.zhihu.com/p/25825245

➤版权申明：该文章版权归AI100所有，如需转载、摘编、复制等，请后台留言征得同意。若有直接抄袭，AI100将追究其责任。

关于AI100

AI100致力于打造人工智能技术和产业社区。为人工智能开发者提供信息和技术交流的平台；为人工智能创业者提供行业数据及智能应用的商业场景；为行业提供人工智能化的技术商业应用。请快快关注我们吧！