使用PPMI改进共现矩阵

使用PPMI改进共现矩阵

共现矩阵的元素表示两个单词同时出现的次数，这里的次数并不具备好的性质，举个例子，有短语叫the car，因为the是个常用词，如果以两个单词同时出现的次数为衡量相关性的标准，与drive 相比，the和car的相关性更强，这是不对的。

点互信息(Pointwise Mutual Information,PMI)：表达式如下，P(x)表示x发生的概率，P(y)表示y发生的概率，P(x,y)表示x和y同时发生的概率。PMI的值越高，表明x与y相关性越强。

用共现矩阵重写PMI表达式：将共现矩阵表示为C，将单词X和Y的共现次数表示为C(x,y)，将单词x和y的出现次数分别表示为C(x)、C(y)，将语料库的单词数量记为N。表达式如下。

正的点互信息（Positive PMI，PPMI）：当两个单词的共现次数为0时， log0=-∞。为解决这个问题，实践上会使用下述正的点互信息。可以将单词间的相关性表示为大于等于0的实数。