Dawn SONG：AI如何建立一个更加强健的防御系统

加州大学伯克利分校计算机系教授Dawn SONG

安科网讯 10月29日上午消息，2017未来科学大奖颁奖典礼暨未来论坛年会在京举办。在计算机科学人工智能研讨会上，加州大学伯克利分校计算机系教授Dawn SONG发表主题演讲。

以下为Dawn SONG演讲实录：

非常荣幸今天能够来到这里，来未来论坛做演讲，我是伯克利大学的教授。我做AI方面的演讲，特别是关于视觉方面，今天我谈到的话题就是AI的部署和发展应用。

首先谈一下AI安全方面的联系，阿尔法狗也是赢了世界围棋冠军，机器已经达到了很多人类的水平，很多这种分类，还有很多日常的一些工作，也可以被AI所取代，我们可以享受AI给我们带来的便捷。

另外一方面，我们还可以看到另外一个趋势，在我们的安全领域，网络黑客的袭击也是越来越多了。像一些非常大的最近发生的一些黑客事件，大概它影响到了几十万的用户，然后它的影响也是覆盖了160个国家。僵尸网络的黑客袭击也是主要的一个最大的分布式拒绝服务袭击。

还有另外一个例子，非常大型的，也是史无前例的一个，勒索软件永恒之蓝，几天之内就影响到了20万台的机器，覆盖了150个国家。另外一个例子，我们看到这里也是现在世界，我们看到很多国家也是受到了数据的侵袭。

最近的例子，它是一个在美国的信用卡公司，有14000万个用户都是被袭击，受到了影响。

还有现在黑客已经进入了一些新的领域，比如像乌克兰的大规模的停电，就是由于黑客所造成的。还有一些就是袭击了银行的security，AI有了很多便捷优势，网络黑客也越来越猖獗，安全性和AI之间的关系也变得越来越重要了。随着世界的不断地进步，其中一个问题就是关于AI的，它怎么能够更好地帮助我们防止安全受到侵袭。

我们应该怎么样通过部署AI增强我们的安全性，我们也有一些好的消息，现在深度学习也越来越多地帮助我们提高安全性，比如脸部识别的一些技术，可以帮助我们更加有安全性，而且还可以进行一些诈骗的检测和识别。

再看一下物联网方面深度学习有什么优势，2020年的时候，我们会有五百亿的物联网设备在全球部署，但是这些设备肯定是有很多的脆弱性的，它是因为有第三方的这种代码，我们怎么能够更好地保护这些物联网的设备呢？我们可以用深度学习的这种方式，更好地在安全性方面提高。

这里面有一些代码的方程和代码的图，在这里面有一些代码和方程，可以是和这些比较脆弱的受袭击的部分比较类似，但是可以用它来防止一些袭击。通过这样一种方式，我们就可以提高这个系统的防护能力，检测到一些受到袭击的部分，这是一个例子，就是深度学习怎么能够帮助我们提高安全性。自动的关于漏洞的检测和补丁很重要。

令我们振奋的是深度学习还具有一些新的安全能力，比如我们现在在开发一些自动的入侵检测分析和防御的一些中间机制，因为人类永远是里面最薄弱的环节，大概超过80%的这些侵入和袭击，都是在社交工程方面的一些袭击，70%是国家层面的袭击。很多人都知道Chatbot聊天软件，可以订机票、酒店等等，我们研究怎么样用深度学习，用AI的技术，让聊天软件能够发现一些社交工程方面的袭击和进行自动防御。

另外使用机器学习和深度学习进行软件安全的自动验证，我们怎么能够培训计算机，做一些游戏，比如下围棋，可以比人类下的还好，还有一些情况下，人类在很多方面还是比机器更有灵活性。

现在我们也有一些比如说自动地去搜索一些原理，验证一些程序等等，我们也可以利用这样一些深度学习、机器学习的功能去实现。

AI确实也可以给我们带来很多新的安全性的帮助，到底安全性怎么能够更好地促进AI的发展，其实这两者是相互促进的一种关系，在很多的方面来考察、来看。

给大家举几个简单的例子，很重要的就是当我们进行部署的时候，应该考虑是否有袭击的软件，随着新的技术发展，确实需要新的AI技术，来帮助我们更好地去追踪这些袭击者，他们的一个动向。而且AI也更有能力，可以来让袭击者如果出现了误用的话，可以给他们造成很严重的打击。

我们有两种打击形式，第一种就是有意识地想要去袭击AI，比如让学习系统制造出一些错误的结果，或者让我们的学习系统去制造袭击者想要达到的一些目的。还有学习一些个人的敏感信息。所以在学习系统里面，我们需要更高的安全性。

黑客也可能会雇佣AI去袭击其他的系统，所以我们也需要在其他的系统里面加强安全性，我们看一下黑客怎么样去袭击AI的呢？尽管AI发展得非常好，但是在另外一个深度学习的系统里面，它仍然还有很多这种误导的地方。比如左边是原图，也是通过深度学习的图像分类程序进行分类的，黑客就会模拟出另外一个比较类似的系统，来去误导学习系统。左边是一个原始图景，通过一些保护程序，可以防止黑客去误导学习系统，或者整个系统可能会错误地进行分类。

为什么我们要关注这个现象呢？这里面有一个例子，随着世界的发展，现在也有很多的汽车在路上，汽车可以去通过路况的判断，来去做出自己的反应。这是一个路标，在伯克利，对于人类来讲，他是非常清楚的，但是如果说我们在路标上面粘了一些东西，一些覆盖物，可能就会让这个机器系统错误地进行归类。

第一次我们可以看到，还有很多类似的例子，在实际的物理世界里面，我们有很多的这种例子，就是在不同的这种视觉的距离，还有角度，或者其他的条件下，测试这些交通、路标，只是做了一些非常小的调整，有些可以很清楚地看出来，有些可能不是很容易看出来，对于人类来讲，肯定没有问题的，但是对于机器学习系统来讲，可能就会造成一些错误的归类。

看一下一个视频，这是驶过的汽车，看一下路标，这是原始图景，计算机可以清楚地识别出来，但是左边的图就是把图景进行了错误归类。而且当然这是汽车开过的时候，而且大家能够看到，在这里有一些类似是告诉大家，这个也可以在实际场景当中进行应用的。

当然这些例子并不仅仅是出现在深度学习的系统当中，我们还有一些其他的例子去看一下最新的一些研究成果。这里我们看到就是我们如何能够完成所有的这些不同的任务，所以这是另外的一个例子，就是根据图景进行问答。在这里，我们是在深度学习的系统当中，给出了图像然后去提问，问到这个女士在为喂长颈鹿吃什么，这个时候能够给我们提供出正确的答案。

这张图看到了图像的问答系统，在原始的图像当中，问题就是飞机在哪里，系统给出了正确的图像，就是在跑道上。下面的情况，看一下是不是对图像能做稍微的改动，看一下这个系统是不是同样的图像会不会给出一样的答案，基本上稍微对这个图做了修改，对于系统确实给出了一个答案，就是天空。

在这里有几只小猫，一开始给我们的答案是正确，是一个答案，把图像稍微进行了更改，基本上看起来一样，这个时候给出的答案是2，是错误的。我们还是希望用这些对抗例子看一下它是否能够还是放到过去扰乱深度学习的代理程序，在这个中间，我们能够通过人眼看到，左右两个图基本上一样，但是根据我们的这种深度学习的代理程序，能够看到在这种数字的扰乱之下，答案是错误的。我们需要有这种人工智能的系统帮助我们做出正确的答案，即使是在受到攻击的情况下。当然这方面潜在的防御能力进行了很多研究，在过去的一年当中，我们已经看到了在这个方面已经发表一百多篇的论文，帮助我们如何进行防御。今天的攻击者也是非常轻松可以攻击现在的防御系统。

在更宽泛范围之下可以看这些例子，这个领域当中有那些问题，对于这种机器学习，可以认为去了解一下干扰的条件之下，深度学习的效果如何。同时可以看一下在培训的时候，如果我们在这里给它进行一些入侵的活动的话，它是否会根据错误模式进行学习。对于这种对抗的机器学习来讲非常重要，帮助我们去构建一个非常关键的安全的系统。

当我们讲到学习系统安全性有很多挑战，包括软件层面、学习层面和分配层面。首先在软件层面要确保在这里这个软件本身是没有脆弱性的，无论关于这种缓冲的流量过度，还是全线路的控制问题，这些就是如果有这种问题的话，攻击者能够非常轻松地去控制软件当中的这些学习系统。软件没有脆弱性，还要确保身份验证技术。

在学习层面问题，当然学习层面有很多安全方面的挑战，比如首先要去学习如何对于这些非标志性的复杂程序进行推理。比如有一些这种不同的系统，比如OS系统和文件系统等等，都是这种象征性的程序。还有象征性的推理，我们要看一下有之前的认证核对的系统。在几十年的这种关于验证工具的研究之后，我们最终能够完成这样的任务，尽管在这样一个领域当中还有很多挑战，但是至少我们还有很多数据技术帮助我们去实现这样的一种标志性推理的系统，在学习系统当中，我们还有这些非标志性的程序，在这个领域当中有很多挑战，而且现在我们的经验还是比较有限的。比如如果我们有问题的话，我们如何能够去了解预期的实现目标应该是什么？比如对于自动驾驶的汽车，比如车不能在人行横道上开车的，但是我们如何界定人行道呢？这可能是一个问题，而且没有办法了解学习系统如何去工作的。而且传统的这种标志性推理技术没有办法在这个领域进行应用的。

我们需要有这种新的网络构架和新的方法，来帮助我们确保安全。我们最近的工作当中，我们去探索了未来方向，如何让新的程序帮助我们去识别一些错误的问题，比如说我们现在有了一个新的学习基础构架和方法，来确保我们能够去确保在这里是没有这种对抗的情况的。还有我们看一下，在学习层面，我们刚才已经讲过了，然后在分布层面上，也有很多问题。除此之外，在这个层面上的内容，就是每一个代理程序，都会做出自己范围内的一些决策，如何确保在地区层面的决策在全球层面上也是比较好的决策呢？对于AI和安全方面，就是有一些攻击者，他们希望能够去攻击AI，这也就是我们一些挑战。

此外，他们希望通过AI攻击别的系统，这是对AI的一种错误用法，在深度学习的过程当中，如果有了AI的能力的话，反而能让攻击变得更加高效。

攻击者希望有假的审核过程，之前雇佣人工做这个工作，后期用假的审核工作。我们可以使用图上的系统构建这样一个流程，在系统当中不同的系统能够产生自己的安全审核的流程，在这些流程是和人类所写出来的这些安全审核的流程比较接近的。

有些时候，我们没有办法对这种假的审核流程进行一个分别，因为它是通过了深度学习实现的虚假的审核过程。在这里，我们能够看到一方面AI能够让我们的安全能力更强，但是另外一个角度来讲，我们必须要确保做出的决策是正确的一次来去防止对AI的一个错误应用。我们在部署AI的时候，一定是安全我们所面临的最大的挑战之一，而且很重要的是，我们一定要在最早期的时候考虑AI的安全方面的问题。

未来我们的方向就是如何要去更好地理解，对于AI来讲，安全意味着什么，以及对于学习系统来讲安全意味着什么，如何识别出学习系统正在被影响或者正在被错误的使用，以及如何建立一个更加强健的防御系统，防止错误地使用，让我们共同携手应对未来的挑战。