深度学习研究的新进展：情绪神经元

表征学习是现代深度学习系统中最重要的技术之一。通过表征学习，我们指的是可以以其他模型可以使用的方式学习数据集的基础知识表示的模型。迁移学习是最受欢迎的代表性学习形式之一，可以在市场上的学习工具包中找到。一般来说，在深度学习系统中可以找到两种主要的表征学习技术组。

在大型标记数据集上进行高容量模型的监督式训练对于最近深度学习技术在诸如图像分类、语音识别和机器翻译等广泛应用中的成功至关重要。无监督表征学习也有悠久的历史，其能够扩展到超出数据的范围和范围的能力，而且这些数据可以在资源、隐私或其他约束条件下进行清理和标记。尽管监督表征学习明显支配着当前的市场状态，但研究人员一直梦想着可以学习可重用知识表示的无监督模型。收集数据很容易，但大规模标记数据很困难，而且很多时候，资源都是禁止的。

无监督情绪分析是表征学习空间中最活跃的研究领域之一。在大量未标记的文本中学习主题、短语和情感是表征学习技术之一，可以在真实世界的深度学习应用程序中产生直接的积极结果。想象一下，我们可以识别负责情感知识的深层神经网络的特定部分，并且我们可以在其他模型中重复使用该部分。这不是很好吗？最近，来自OpenAI的研究人员发表了一篇论文，其中他们概述了负责情绪概念的神经网络的特定单元的概念：情感神经元。

情绪神经元的发现有点巧合。最初的OpenAI研究集中于训练一个长期短期记忆模型，以便能够预测亚马逊产品评论文本数据集中的下一个字符。当通过模型正则化过程时，数据科学家发现网络的一个单元对文本的情感具有高度的预测能力。即使模型被训练用于预测文本中的人物，模型中的情绪神经元也能够将评论分为负面或正面。

OpenAI研究人员怀疑，情感神经元不是LSTM模型的专有属性，而是大量深度神经网络的一个共同特征，它在大量文本数据集上运行。为了证明这一点，OpenAI团队将情绪神经元应用于Yelp评价数据集，提供了令人鼓舞的结果。

OpenAI情感神经元不是没有问题，而是在其他背景下的模型斗争，但它代表了无监督表征学习空间中的一个重大突破。情感神经元技术教给我们的是情感可以表达为一种准确、分离、可解释和可操作的方式。情绪作为调节特征可能对语言建模具有强大的预测能力。