bert-bilstm python

### 使用 Python 实现 BERT-BiLSTM 模型 为了构建基于 Python 的 BERT-BiLSTM 模型，通常会依赖于 Hugging Face 提供的 `transformers` 库来加载预训练好的 BERT 模型[^1]。BiLSTM 层可以利用 PyTorch 或 TensorFlow 来实现。 #### 安装必要的库 首先安装所需的软件包： ```bash pip install transformers torch numpy scikit-learn ``` #### 加载数据集并准备输入特征 对于文本分类任务来说，需要先准备好相应的数据集，并将其转换成适合模型处理的形式。这里假设已经有了一个已经分词后的句子列表作为输入 X 和标签 y: ```python from sklearn.model_selection import train_test_split # 假设 sentences 是已有的句子列表, labels 是对应的类别标签 X_train, X_val, y_train, y_val = train_test_split(sentences, labels, test_size=0.2) print(f'Training samples: {len(X_train)}') print(f'Validation samples: {len(X_val)}') ``` #### 初始化 BERT 模型与 Tokenizer 通过 HuggingFace 的 Transformers 库获取预训练权重以及 tokenizer 工具用于编码输入序列: ```python from transformers import BertTokenizerFast, BertModel tokenizer = BertTokenizerFast.from_pretrained('bert-base-uncased') model_bert = BertModel.from_pretrained('bert-base-uncased') max_length = 128 # 可根据实际需求调整最大长度 encoded_inputs = tokenizer.batch_encode_plus( X_train, add_special_tokens=True, max_length=max_length, padding='max_length', truncation=True, return_attention_mask=True, return_tensors="pt" ) ``` #### 构建 BiLSTM 结构并与 BERT 进行融合 定义一个新的类继承自 nn.Module，在其中加入双向 LSTM 组件并将它连接到 BERT 输出之上形成完整的网络架构: ```python import torch.nn as nn class BertBILSTM(nn.Module): def __init__(self, hidden_dim, output_dim, lstm_layers, bidirectional, dropout): super().__init__() self.bert = model_bert embedding_dim = bert.config.to_dict()['hidden_size'] self.lstm = nn.LSTM(embedding_dim, hidden_dim, num_layers=lstm_layers, bidirectional=bidirectional, batch_first=True, dropout=dropout if lstm_layers > 1 else 0) self.out = nn.Linear(hidden_dim * 2 if bidirectional else hidden_dim, output_dim) self.dropout = nn.Dropout(dropout) def forward(self, text_ids, attention_masks=None): with torch.no_grad(): embedded = self.bert(input_ids=text_ids, attention_mask=attention_masks)[0] outputs, (hidden, cell) = self.lstm(embedded) hidden = self.dropout(torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim=1)) return self.out(hidden.squeeze(0)) # 创建实例化对象 HIDDEN_DIM = 256 OUTPUT_DIM = len(set(y_train)) # 类别数量 N_LAYERS = 2 BIDIRECTIONAL = True DROPOUT = 0.5 model = BertBILSTM(HIDDEN_DIM, OUTPUT_DIM, N_LAYERS, BIDIRECTIONAL, DROPOUT).to(device) ``` 上述代码片段展示了如何创建一个简单的 BERT-BiLSTM 网络结构，该结构能够接收经过 tokenization 处理过的文本 ID 列表及其注意力掩码矩阵作为输入，并最终输出预测的概率分布向量[^2]。