通过神经元缺少了解深度学习
深层神经网络由许多单独的神经元组成，它们以复杂的、反直觉的方式结合起来，解决各种各样具有挑战性的任务。这种复杂性赋予了神经网络权力，但也使他们获得了令人困惑和不透明的黑盒的名声。
了解神经网络的深层功能对于解释它们的决定并使我们能够构建更强大的系统至关重要。例如，想象如果不了解各个齿轮如何配合在一起，试图构建时钟就很困难。一种理解神经网络的方法，包括神经科学和深度学习，都是研究单个神经元的作用，特别是那些容易解释的神经元。
我们对即将出现在第六届国际学习表征会议（ICLR）上的单方向泛化的重要性进行了研究，使用了受到数十年实验神经科学启发的方法——探索损伤的影响——以确定：深度神经网络中的小神经元群有多重要？更容易解释的神经元对网络的计算更重要吗？
我们通过删除单个神经元和神经元群来测量破坏网络的性能影响。我们的实验得出了两个令人惊讶的发现:
尽管之前的许多研究都集中于理解容易解释的单个神经元(例如，“cat神经元”，或者深层网络隐藏层中的神经元，它们只对猫的图像有反应)，但我们发现，这些可解释的神经元并不比那些难以解释的神经元更重要。
正确地将看不见的图像分类的网络比那些只能对之前看到的图像进行分类的网络更能适应神经元的删除。换句话说，泛化良好的网络比记忆的网络更不依赖单一方向。
“猫神经元”可能更易解释，但它们并不重要
在神经科学和深度学习中，容易解释的神经元(“选择性”神经元)只有在对单个输入类别的图像(如狗)做出反应时，才会被广泛地分析。在深度学习中，这导致了对猫神经元、情绪神经元和括号神经元的强调;在神经科学领域，Jennifer Aniston神经元和其他一些一样。然而，相对于大多数具有较低选择性和更令人费解、难以解释的活动的神经元来说，这些少数高度选择性神经元的相对重要性仍然未知。
具有明显响应模式（例如，对猫活跃，对其他所有活动不活跃）的神经元比那些在对看似随机的图像的反应中活跃而不活跃的神经元更容易解释。
为了评估神经元的重要性，我们测量了当神经元被删除时，图像分类任务的网络性能如何变化。如果一个神经元是非常重要的，删除它应该是极具破坏性的，并且大大降低了网络性能，而删除一个不重要的神经元应该不会有什么影响。神经科学家们经常进行类似的实验，尽管他们无法达到这些实验所必需的细粒度的精确度，而且在人工神经网络中也很容易得到。
的概念图。较暗的神经元更活跃。试着点击隐藏层神经元来删除它们，看看输出神经元的活动是如何变化的。注意，只删除一个或两个神经元对输出有很小的影响，而删除大部分的神经元会产生很大的影响，并且一些神经元比其他的更重要!
令人惊讶的是，我们发现，选择性和重要性之间几乎没有关系。换句话说，“猫神经元”并不比混淆神经元更重要。这一发现与最近在神经科学领域的研究相一致，这表明混乱的神经元实际上是非常有信息的，并且建议我们必须超越最容易解释的神经元来理解深层神经网络。
虽然“猫神经元”可能更容易解释，但它们并不比那些没有明显偏好的神经元更重要。试着点击这个图片，看看我们所期待的对重要性和可解释性之间的不同关系!
虽然可解释的神经元在直觉上更容易理解（“它喜欢狗”），但它们并不比混淆神经元更重要，没有明显的偏好。
泛化更好的网络很难突破
我们试图构建智能系统，如果能够泛化到新的情况，我们只能称之为智能系统。例如，一个图像分类网络只能对以前看过的特定狗图像进行分类，而不能对同一只狗的新图像进行分类，这是没有用的。只有在新例子的智能分类中，这些系统才能获得它们的效用。 Google Brain，Berkeley和DeepMind最近在ICLR 2017上获得最佳论文的合作论文表明，深层网络可以简单地记住他们接受培训的每个图像，而不是以更人性化的方式学习（例如，理解“狗”的抽象概念）。
然而，人们往往不清楚网络是否已经学会了一种解决新情况的方法。通过逐步删除越来越大的神经元群，我们发现，与那些在训练中之前看到的记忆图像相比，那些泛化的网络更容易被删除。换句话说，泛化更好的网络更难打破(尽管它们肯定还会被打破)。
随着越来越多的神经元群体被删除，泛化的网络性能下降速度远远低于记忆网络的性能。
通过以这种方式衡量网络的稳健性，我们可以评估一个网络是否在利用不可取的记忆来“欺骗”。了解网络在记忆中如何变化，将有助于我们建立新的网络，这种网络记忆较少，概括性较强。
神经科学启发分析
总之，这些发现证明了使用由实验神经科学启发的技术来理解神经网络的能力。使用这些方法，我们发现高度选择性的单个神经元不比非选择性神经元更重要，并且概括好的网络比简单地记忆训练数据的网络更少依赖于单个神经元。这些结果表明，单个神经元的重要性远不如第一眼看上去的那么重要。
通过努力解释所有神经元的作用，而不仅仅是那些易于解释的神经元，我们希望更好地理解神经网络的内部工作原理，并批判性地使用这种理解来构建更智能和更通用的系统。
本文由@阿里云云栖社区组织翻译。
文章原标题《Understanding deep learning through neuron deletion》
译者：董昭男，审校：。
本文为云栖社区原创内容，未经允许不得转载。