大模型学习：什么是FastText模型架构

一、FastText模型架构

FastText在词向量训练上使用了与Word2Vec类似的模型架构，但有所改进。FastText可以基于两种训练方式：

• Skip-gram模型

  • 在Skip-gram模型中，给定一个中心词（目标词），模型的目标是通过预测上下文词（周围的词）来学习该中心词的表示。FastText的改进之处在于，它不仅使用中心词的表示来进行上下文词的预测，还将每个词拆解为多个子词。每个子词都会贡献到目标词的词向量学习中。
  • 在FastText中，每个词向量是由其所有子词向量的总和组成的。这样，FastText不仅能够处理已知的词，还能通过词的子词推测出未登录词的向量表示。

• CBOW（Continuous Bag of Words）模型

  • 和Word2Vec中的CBOW模型很类似, 不同之处在于, FastText预测标签, 而CBOW模型预测中间词。
  • 在CBOW模型中，给定一组上下文词，模型的目标是通过预测目标词来学习词向量。在FastText中，每个上下文词的向量是通过其子词表示