读论文 Semantic Compositionality through Recursive Matrix-Vector Spaces

读论文 Semantic Compositionality through Recursive Matrix-Vector Spaces

原文地址：https://blog.csdn.net/qq_31456593/article/details/89465164

通过递归矩阵 - 向量空间的语义成分

本文介绍了一种递归神经网络(RNN)模型，它学习任意句法类型和长度的短语和句子的组合向量表示。

本文的模型为解析树中的每个节点分配了一个向量和一个矩阵：向量捕获了成分的内在意义，而矩阵则捕获了它如何改变相邻单词或短语的意义。

常见的词嵌入以与相邻词的共现统计进行学习，学习了词语的相似性，尽管它们的成功，单一的词向量模型却受到严重的限制，因为它们不捕捉合成性。合成性对自然语言十分重要，其允许说话者基于其单词的含义和用于组合它们的规则来确定更长的表达式的含义。

传统的获取多个词的组合信息通常是把词向量相加，这样会损失很大的语义信息，但对于修改某个词就会极大改变词组信息的情况，这种直接叠加求平均的方法就很不合理。

MV-RNN结合了这两种思想的优点：(I)为每个单词分配一个向量和一个矩阵；(Ii)学习一个特定于输入的、非线性的、组合函数，用于计算任意类型的多词序列的向量和矩阵表示。

如果一个词主要是作为