大模型微调实践

### 大模型微调的最佳实践和方法 #### 指令微调（SFT） 指令微调是一种有监督的微调方式，旨在使大模型学习特定的知识并释放其潜力。通过提供带有明确任务描述的指令数据集，可以让大模型理解当前所需完成的任务，并基于输入生成对应的输出反馈[^1]。例如，在情感分类任务中，经过指令微调的大模型可以根据不同输入文本准确标注相应的情感类别。 以下是实现指令微调的一个简单教程： ```python from transformers import AutoTokenizer, AutoModelForCausalLM import torch # 加载预训练模型及其分词器 model_name = "huawei/PangGu" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # 准备带指令的数据集 data = [ {"instruction": "对下面这句话进行情感分类", "input_text": "今天天气真好！", "output_label": "正面"}, {"instruction": "对下面这句话进行情感分类", "input_text": "我感到非常沮丧。", "output_label": "负面"} ] def prepare_data(data): inputs = [] labels = [] for item in data: prompt = f"{item['instruction']}: {item['input_text']} -> " label = item["output_label"] tokenized_input = tokenizer(prompt, return_tensors="pt")["input_ids"].squeeze() tokenized_label = tokenizer(label, return_tensors="pt")["input_ids"].squeeze() inputs.append(tokenized_input) labels.append(tokenized_label) return inputs, labels inputs, labels = prepare_data(data) # 定义优化目标函数 optimizer = torch.optim.AdamW(model.parameters(), lr=5e-5) for epoch in range(3): # 假设迭代三次 total_loss = 0 for i, (inp, lbl) in enumerate(zip(inputs, labels)): optimizer.zero_grad() outputs = model(inp.unsqueeze(0), labels=lbl.unsqueeze(0)) loss = outputs.loss loss.backward() optimizer.step() total_loss += loss.item() print(f"Epoch {epoch} Loss: {total_loss / len(inputs)}") ``` 此代码展示了如何利用 `transformers` 库加载预训练模型并对少量样本执行简单的指令微调过程。 #### 提示调整（Prompt Tuning） 提示调整是另一种有效的微调策略，它通过向输入序列添加可训练的前缀来改变模型行为，而无需更新整个模型参数。这种方法不仅显著减少了计算开销，还允许单个模型适配多个下游任务[^3]。 以下是一个关于提示调整的应用实例： ```python class PrefixTuning(torch.nn.Module): def __init__(self, num_prefix_tokens, hidden_size): super().__init__() self.prefix_embeddings = torch.nn.Parameter( torch.randn(num_prefix_tokens, hidden_size)) def forward(self, input_ids, attention_mask=None): batch_size = input_ids.shape[0] prefix_repeated = self.prefix_embeddings.repeat(batch_size, 1, 1) concatenated_inputs = torch.cat([prefix_repeated, input_ids], dim=1) if attention_mask is not None: extended_attention_mask = torch.ones((batch_size, prefix_repeated.size(1)), device=input_ids.device) new_attention_mask = torch.cat([extended_attention_mask, attention_mask], dim=1) return concatenated_inputs, new_attention_mask return concatenated_inputs num_prefix_tokens = 10 hidden_size = 768 # 根据具体模型设置隐藏层大小 prefix_tuner = PrefixTuning(num_prefix_tokens=num_prefix_tokens, hidden_size=hidden_size) # 使用自定义前缀模块修改原始输入 original_input_ids = ... # 输入ID张量 attention_mask = ... # 注意力掩码张量 new_inputs, updated_masks = prefix_tuner(original_input_ids, attention_mask) ``` 上述代码片段实现了基础版本的前缀调节机制，其中引入了一个额外的嵌入矩阵作为连续提示的一部分附加到实际输入之前。 --- ###