神经网络被“劫持”后会发生什么？谷歌大脑研究人员带你一探究竟

点击上方关注，All in AI中国

计算机视觉算法并不是完美的。就在本月，研究人员展示了物体检测API函数（https://venturebeat.com/2018/06/22/researchers-trick-watson-ai-into-seeing-cats-as-crazy-quilts-and-cellophane/）可以被"愚弄"的情况，它会误以为猫是"疯狂的被子"和"玻璃纸"。不幸的是，还有比这更糟糕的：它们还有可能会被劫持，执行一些本不该做的任务。

在预印本服务器Arxiv.org上发表的一篇题为"神经网络的对抗重组"的论文中（https://arxiv.org/pdf/1806.11146.pdf），谷歌人工智能研究部门Google Brain的研究人员描述了一种对抗方法，它实际上是重新编程机器学习系统。这种迁移学习的新形式甚至不需要攻击者指定输出。

研究人员写道："我们的结果首次证明了 ......旨在可能会发生的针对神经网络编程的对抗性攻击......" "这些结果显示了深层神经网络中令人惊讶的灵活性和脆弱性。"

以下是它的工作原理：恶意行动者可以访问正在执行任务的对抗神经网络的参数，然后以输入图像的转换形式引入干扰或对抗数据。随着敌对的输入被传输到网络中，他们将其学习的特性重新用于新任务中。

科学家在六种模型中测试了该方法。通过嵌入来自MNIST计算

机视觉数据集的操纵输入图像（黑色帧和白色方块的范围从1到10），他们设法获得了所有六种算法来计算图像中的方块数，而不是识别像"白鲨"和"鸵鸟"这样的对象一样。在第二个实验中，他们强迫模型对数字进行分类。在第三个也是最后一个测试中，他们让模型识别来自CIFAR-10（一个物体识别数据库）的图像，而不是像最初训练它们的ImageNet语料库。

攻击者可以使用攻击来窃取计算资源，例如，通过重新编程云托管照片服务中的计算机视觉分类器来解决图像验证码或挖掘加密货币的问题。尽管该论文（https://en.wikipedia.org/wiki/CAPTCHA）的作者没有在复现神经网络（一种常用于语音识别的网络）中测试该方法，但他们假设，成功的攻击可能会导致这类算法执行"一系列非常大的任务"。

研究人员写道："对抗程序或许将成为传统黑客发展的新途径"。"例如，随着手机越来越多地扮演者人工智能驱动的数字助理的角色，通过将某人的手机暴露于对抗性图像或音频文件中，重新编程的可能性就会增加。由于这些数字助理可以访问用户的电子邮件、日历、社交媒体账户和信用卡，因此此类攻击的后果也会变得越来越严重。"

幸运的是，也并不全是坏消息。研究人员指出，随机神经网络似乎比其他神经网络更不容易受到攻击，并且对抗性攻击可以使机器学习系统更灵活、更高效的发展。

即便如此，他们还是写道，"未来的调查应该涉及解决对抗重组的性质和局限性，以及防范它的可能性方法。"