机器不学习：基于深度学习CNN的短文本相似度计算方案

机器学习深度学习干货栈 www.jqbxx.com

基于CNN模型的短文本相似度的计算方法可以大致分为两类：一类是基于Siamese结构的神经网络模型，先分别学习输入的文本对儿的句子向量表达，再基于句子向量计算相似度；另一类是直接以词语粒度的相似度矩阵作为输入，学习并计算文本相似度。下面将分别展开介绍。

基于Siamese结构的神经网络模型

如下图所示，是Severyn发表在2015年SIGIR上的文章[5]，并用于TREC上的两个NLP任务：答案选择和微博检索。以答案选择任务为例，从左至右，作者采用上下并行的双通道浅层CNN模型来分别学习输入的问题和答案的句子向量表达，然后经过相似度矩阵M计算相似度，全连接层和隐藏层进行特征整合和非线性变换，最后softmax层来输出输入候选答案被预测为正确或者错误的概率。左半部分的双通道CNN即可理解为学习从词向量到句子向量的表达模型。

如下图所示，是Wang发表在2016年COLING的文章[6]，同样应用于答案选择任务，并在两个公认基准数据集WikiQA和QASent上进行了测试。文章的核心想法是采用双通道CNN来抽取输入问题和答案之间的相似性与不相似性，整合成最终的句子向量并计算相似性。

基于词语粒度的相似度矩阵直接学习并计算文本相似度

如下图，Meng在其文章中[7]直接基于词向量计算输入文本对儿在单词粒度上的相似度（计算方式有多种：欧式距离、余弦距离、参数化的相似矩阵），并以此为后续深层卷积神经网络的输入，最终学习得到的向量经过全连接层和softmax层进行预测。

有了前面在深度学习框架下，文本向量学习的背景和基于CNN短文本相似度的现有方法的总结和介绍，终于进入本篇文章的重头戏，LSF-SCNN模型的介绍。LSF-SCNN模型延续了基于Siamese结构神经网络模型构建短文本表达模型的总体思路[5]，但通过引入三种优化策略：词汇语义特征 (Lexical Semantic Feature, LSF)、跳跃卷积 (Skip Convolution, SC)和K-Max均值采样 (K-Max Average Pooling, KMA) ，分别在词汇粒度、短语粒度、句子粒度上抽取更加丰富的语义特征，并在答案选择AS计算短文本相似度问题上取得了非常好的效果。

下图展示了LSF-SCNN的整体框架图，自底向上，LSF-SCNN模型由3个模块组成：（1）对于输入的问题和候选答案，我们利用词汇语义特征技术为每个单词计算LSF特征值，以此来表征问题与答案之间的语义交互特征。LSF特征会和词嵌入拼接在一起构成词语粒度上更加丰富的特征表达，表达词的向量再次拼接构成句子矩阵。（2）问题和候选答案的句子矩阵经过跳跃卷积层和K-Max均值采样层，最终形成对问题和答案各自的向量表达，记作Xq和Xa 。（3）Xq和Xa会根据学习得到的相似度计算矩阵M得到一个相似度分数。最后，相似度分数和Xq、Xa整合一起作为分类器的输入，最终得到输入候选答案a被预测为正确答案和错误答案的概率。接下来，我将一一介绍三个优化技术的实现细节。

词汇语义特征技术（Lexical Semantic Feature，LSF）

• LSF技术提出的原因：
• 基于Siamese的神经网络结构有个缺点就是将输入的文本对儿看做互不相关的句子，相互独立的用同一套神经网络结构去学习文本的向量表达。但是在短文本相似度相关任务中，如问题和候选答案，往往是文本对儿间在语义、词语表达、语序等方面存在关联，而前人方法忽略了这点。少部分学者注意到了这点，但目前所用方法局限于：借助额外知识标记近义词/反义词、上位词/下位词等关系；或者引入字符串匹配信息，严格匹配标记为1，其余为0。因此，本文提出的LSF技术是一项用来构建问题与答案之间的语义交互特征的技术。
• LSF核心想法：
• LSF技术将词语粒度上的相似性量化细分为t个相似度，从而建立输入文本对儿之间的语义关联，为后续神经网络提供更加丰富的语义特征输入。
• LSF技术可行性分析：
• LSF技术将词语粒度上的相似性量化细分为t个相似度，不仅可以包含前人提出的近义词、反义词关系，如chairman和chief的LSF为1， 字符串匹配如welch和welch被标记为1，也可以涵盖更多的相似性。
• 例如，april和when不是近义词，在字符串上也无法匹配，但LSF可以捕捉到他们之间有6的相似度，而april正是回答该问题的正确答案，

• LSF特征怎样计算得到？
• 问题和答案中的每一个单词都会有一个LSF特征，具体来说是一个[0,t]上的整数值。LSF的计算过程可通过下面一个例子说明，当我们想要求解问题中general一词的LSF特征时，第一步我们需要计算general与答案中每一个词的余弦相似度并选取其中的最大值，因此chief被选取出来。第二步，余弦相似度值的最大值0.79将通过一个映射函数映射为一个[0，t]区间的整数，当我们假定t=10，最终计算得到general的LSF特征为3。这是合理的，general和chief一定程度上是近义词。

跳跃卷积技术（Skip Convolution，SC）

• SC技术核心想法： 在短语粒度上，我们提出跳跃卷积SC技术。下图展示了以the cat sat on the mat为例，设定卷积窗口长度为4时，且步长为1跳跃一次，跳跃卷积方式在传统卷积方式上的改进：

• 传统卷积方式将取得如下短语特征：{the cat sat on, cat sat on the, sat on the mat}
• 跳跃卷积将取得如下短语特征{the cat sat on, the cat sat the, the cat on the, the sat on the, cat sat on the, cat sat on mat, cat sat the mat, cat on the mat, sat on the mat }。
• SC的技术实现：
• 如上图所示，左侧传统卷积方式将卷积窗口作为一个整体，自左向右每次移动一个单词的步长进行卷积操作。相比而言，跳跃卷积则是同样自左向右每次移动一个单词的步长，但移动的并非卷积窗口的整体，而是整体中的一列。例如，上图右侧，初始卷积抽取了短语“the cat sat on”（紫色框）的特征；而后将覆盖在“on”上的卷积窗口的那一列向右移动一个单词的步长，从而得到短语“the cat sat the”（蓝色框）的特征；接着，将覆盖在“sat”上的一列向右移动一个单词的步长，从而得到短语“the cat on the”（绿色框）的特征，以此类推。
• SC技术可行性分析：
• 传统卷积方式只允许在特定大小的卷积窗口中对相邻的词语进行卷积，而跳跃卷积可以通过跳跃停用词如the、形容词等，在特定大小的卷积窗口中将抽取到包含更完整更浓缩的主体语义信息的短语特征如‘cat sat on mat’，从而提升了短语粒度上特征的丰富性。虽然，跳跃卷积相比于传统卷积方式，也会额外抽取到许多无用的短语的特征。但实验结果证明，跳跃卷积技术对增加短语特征丰富性的帮助，要大于额外增加的无用短语特征带来的噪音的影响。

SC技术实现可以参考[8]。Lei的文章应用于情感分类 (sentiment classification) 和新闻分类 (news categorization) 任务，而本文应用于答案选择任务。

K-Max均值采样技术（K-Max Average Pooling，KMA）

• K-Max均值采样提出的背景：
• 卷积神经网络中的池化层，也称采样层，主流有两种方法：最大值采样 (max pooling) 和均值采样 (average pooling)。但上述两种方法也存在一定的局限性，由此，Zeiler and Fergus[9]提出了对于最大值采样的一些改进技术，Kalchbrenner[10]提出了动态k-max采样技术。
• K-Max均值采样的核心思想：
• 本文提出的K-max均值采样技术结合了最大值采样和均值采样。具体而言，对于卷积层传入的特征矩阵
• (feature map)，K-Max采样技术选取其中最大的前K个值，并取其平均值作为最终的采样结果。K-Max均值采样的好处，一方面可以减少异常噪音点的影响，另一方面可以保留表现比较强的特征的强度。虽然想法简单，但实验证明对模型的提升效果较好。

本文主要介绍了LSF-SCNN模型，即基于词汇语义特征的跳跃卷积模型 (Lexical Semantic Feature based Skip Convolution neural network )，基于卷积神经网络模型引入三种优化策略：词汇语义特征 (Lexical Semantic Feature, LSF)、跳跃卷积 (Skip Convolution, SC)和K-Max均值采样 (K-Max Average Pooling, KMA) ，分别在词汇粒度、短语粒度、句子粒度上抽取更加丰富的语义特征，从而更好的在向量空间构建短文本语义表达模型，并在答案选择 (Answer Selection) 问题上进行了实验验证。

其中词汇语义特征LSF技术可以更广泛的应用于基于神经网络结构学习文本对儿间向量表达的相关任务。跳跃卷积SC技术和K-Max均值采样技术更广泛的使用于存在卷积层和采样层的神经网络结构中。三种技术既可以根据需要单独使用，也可以相互助益共同提升模型整体效果

机器学习深度学习干货栈 www.jqbxx.com