bert-bilstm-crf图

### BERT-BiLSTM-CRF 模型架构 #### 架构概述 BERT-BiLSTM-CRF 结合了三个主要组件来提升中文实体识别（NER）的效果。这些组件分别是： - **BERT**：作为预训练语言模型，提供了丰富的上下文信息和语义表示[^1]。 - **BiLSTM**：增强了对输入序列前后向依赖性的捕捉能力，从而更好地理解句子中的复杂结构[^2]。 - **CRF**：用于解码阶段，在考虑整个标签序列的情况下预测最优路径，确保最终输出的全局一致性。 这种组合使得模型能够在保持局部特征的同时获得更广泛的背景知识，并通过优化后的转移概率矩阵进一步提高准确性。 #### 实现细节 为了具体展示如何实现这一架构，下面给出一段简化版 Python 代码示例，利用 Hugging Face 的 `transformers` 库加载预训练好的 BERT 模型并连接 BiLSTM 和 CRF 层: ```python import torch.nn as nn from transformers import BertModel, BertTokenizer class BERT_BiLSTM_CRF(nn.Module): def __init__(self, bert_model_name='bert-base-chinese', lstm_hidden_dim=768, tagset_size=9): super(BERT_BiLSTM_CRF, self).__init__() # 初始化 BERT 模型 self.bert = BertModel.from_pretrained(bert_model_name) # 定义 BiLSTM 层 self.lstm = nn.LSTM(input_size=self.bert.config.hidden_size, hidden_size=lstm_hidden_dim//2, num_layers=1, bidirectional=True, batch_first=True) # 添加线性变换层映射到标记空间 self.fc = nn.Linear(lstm_hidden_dim, tagset_size) # 使用 PyTorch 自带的 CRF 实现 from allennlp.modules.conditional_random_field import ConditionalRandomField self.crf = ConditionalRandomField(tagset_size) def forward(self, input_ids, attention_mask=None, labels=None): outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)[0] sequence_output, _ = self.lstm(outputs) emissions = self.fc(sequence_output) if labels is not None: log_likelihood, sequence_of_tags = -self.crf(emissions, tags=labels), \ self.crf.viterbi_tags(emissions) return (log_likelihood,), sequence_of_tags else: sequence_of_tags = self.crf.viterbi_tags(emissions) return sequence_of_tags ``` 此段代码展示了如何创建一个继承自 PyTorch Module 类的新类 `BERT_BiLSTM_CRF` ，其中包含了上述提到的关键组成部分以及它们之间的工作流程[^1]。