【深度学习】常见模型-BERT（Bidirectional Encoder Representations from Transformers）（双向编码器表示）

BERT（Bidirectional Encoder Representations from Transformers）

🔹 BERT 是什么？

BERT 是 Google 在 2018 年推出的 NLP（自然语言处理）模型，全称 Bidirectional Encoder Representations from Transformers（双向编码器表示）。
BERT 采用 Transformer 结构，并使用 双向（Bidirectional）学习方式，与传统的单向语言模型（如 GPT）不同，它能同时利用 上下文信息，提升 NLP 任务的理解能力。

🔹 BERT 的关键技术

1. Masked Language Model（MLM，掩码语言模型）

   • 训练时随机 屏蔽部分单词，让模型通过上下文预测这些被遮挡的词汇。
   • 例如：
     输入：I love [MASK] movies.
     目标：模型预测 [MASK] 词应该是 "watching"。

2. Next Sentence Predic