TF-IDF算法

TF-IDF算法详解

一、TF-IDF算法概述

TF-IDF（Term Frequency-Inverse Document Frequency）算法是一种常用于信息检索和文本挖掘的加权技术。其基本思想是通过评估一个词在文档中的重要性，来确定这个词在文档集合或语料库中的权重。TF-IDF算法由两部分组成：词频（Term Frequency, TF）和逆文档频率（Inverse Document Frequency, IDF）。词频指的是一个词在文档中出现的次数与文档总词数的比例，而逆文档频率则是用来衡量一个词在整个文档集合中的重要程度。

二、TF-IDF算法原理

        1.词频（TF）

词频（TF）指的是一个词在文档中出现的次数与文档总词数的比例。计算公式为：

[ \text{TF}(t, d) = \frac{n_{t,d}}{N_d} ]

其中，( t ) 是词，( d ) 是文档，( n_{t,d} ) 是词 ( t ) 在文档 ( d ) 中出现的次数，( N_d ) 是文档 ( d ) 的总词数。词频越高，说明该词在文档中的重要性越大。

        2.逆文档频率（IDF）

逆文档频率（IDF）用于衡量一个词在整个文档集合中的重要程度。计算公式为：

[ \text{IDF}(t) = \log\frac{D}{d_t + 1} ]

其中，( D ) 是文档集合中的文档总数，( d_t ) 是包含词 ( t ) 的文档数。逆文档频率越高，说明该词在文档集合中的重要性越大。