transformer 实战

### Transformer 实战教程与框架实现 #### 1. Transformer 的实际应用场景 Transformer 是一种广泛应用于自然语言处理 (NLP) 和其他领域的重要模型架构。它不仅能够用于机器翻译、文本摘要生成，还扩展到了时间序列预测、图像分类等领域[^1]。 以下是几个常见的应用案例： - **机器翻译**：通过编码器-解码器结构完成源语言到目标语言的转换。 - **问答系统**：基于预训练的语言模型微调以回答特定问题。 - **情感分析**：利用注意力机制捕捉上下文关系来判断文本的情感倾向。 - **时间序列预测**：如引用提到的时间融合 Transformer 模型，在金融市场中用于预测价格波动趋势[^3]。 #### 2. Python 示例代码实现 以下是一个简单的 Transformer 架构实现示例，基于 PyTorch 深度学习框架： ```python import torch import torch.nn as nn from torch.optim import Adam class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len=5000): super(PositionalEncoding, self).__init__() pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2) * -(torch.log(torch.tensor(10000.0)) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) pe = pe.unsqueeze(0) self.register_buffer('pe', pe) def forward(self, x): return x + self.pe[:, :x.size(1)] class TransformerModel(nn.Module): def __init__(self, vocab_size, embed_dim, num_heads, hidden_dim, num_layers, dropout=0.1): super(TransformerModel, self).__init__() self.embedding = nn.Embedding(vocab_size, embed_dim) self.pos_encoder = PositionalEncoding(embed_dim) encoder_layer = nn.TransformerEncoderLayer(d_model=embed_dim, nhead=num_heads, dim_feedforward=hidden_dim, dropout=dropout) self.transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=num_layers) self.fc_out = nn.Linear(embed_dim, vocab_size) def forward(self, src): embedded = self.embedding(src) * torch.sqrt(torch.tensor(src.shape[-1], dtype=torch.float32)) encoded = self.pos_encoder(embedded) output = self.transformer_encoder(encoded) output = self.fc_out(output) return output # 初始化参数 vocab_size = 10000 embed_dim = 512 num_heads = 8 hidden_dim = 2048 num_layers = 6 model = TransformerModel(vocab_size=vocab_size, embed_dim=embed_dim, num_heads=num_heads, hidden_dim=hidden_dim, num_layers=num_layers) criterion = nn.CrossEntropyLoss() optimizer = Adam(model.parameters(), lr=0.0001) # 假设输入数据形状为 [batch_size, seq_length] src = torch.randint(0, vocab_size, (32, 10)) output = model(src) loss = criterion(output.view(-1, vocab_size), src.view(-1)) loss.backward() optimizer.step() print("Training step completed.") ``` 上述代码展示了如何构建一个基础的 Transformer 编码器模型，并定义损失函数和优化器进行简单训练过程[^2]。 #### 3. 使用主流框架实现 Transformer 除了手动编写外，还可以借助现有库快速搭建 Transformer 模型。例如 TensorFlow/Keras 或 Hugging Face Transformers 库提供了丰富的 API 支持。 ##### （1）Hugging Face Transformers Hugging Face 提供了大量预训练好的 Transformer 模型及其变体（BERT、GPT 等）。下面是如何加载 BERT 并执行下游任务的一个例子： ```python from transformers import BertTokenizer, BertForSequenceClassification import torch tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertForSequenceClassification.from_pretrained('bert-base-uncased') inputs = tokenizer("Hello world!", return_tensors="pt", padding=True, truncation=True) outputs = model(**inputs) logits = outputs.logits predicted_class_id = logits.argmax().item() print(predicted_class_id) ``` 此脚本演示了加载预训练权重以及对新样本进行推理的过程。 --- ####