超级会员免费看
本文探讨了文本表示模型，包括词袋模型、N-gram、主题模型和词嵌入。词袋模型忽略了词序，常用TF-IDF权重；N-gram考虑连续词组，有助于保留部分上下文；主题模型能揭示文本主题分布；词嵌入通过低维向量捕捉词义，深度学习模型如CNN和RNN进一步提取语义特征。
场景描述
文本是一类非常重要的非结构化数据，如何表示文本数据一直是机器学习领域的一个重要研究方向。
知识点：词袋模型（Bag of Words）、TF-IDF（Term Frequency-Inverse Document Frequency），主题模型（Topic Model）、词嵌入模型（Word Embedding）
问题：有哪些文本表示模型？它们各有什么优缺点？
分析与解答
-
词袋模型和N-gram模型
最基础的文本表示模型是词袋模型。顾名思义，就是将每篇文章看成一袋子词，并忽略每个词出现的顺序。具体地说，就是将整段文本以词为单位切分开，然后每篇文章可以表示成一个长向量，向量中的每一维代表一个单词，而该维对应的权重则反映了这个词在原文章中的重要程序。常用TF-IDF来计算权重，公式为
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
