SingLoRA: Low Rank Adaptation Using a Single Matrix

### 如何实现LoRA（低秩适应） #### 准备环境 为了实现LoRA，首先需要准备合适的开发环境。这通常涉及安装必要的库和依赖项。由于LoRA的官方GitHub仓库提供了详细的设置指南[^1]，建议按照该指南配置环境。 #### 修改模型结构 在Transformer架构中实施LoRA的关键在于向选定的权重矩阵添加可训练的低秩分解矩阵对。具体来说： - 对于每一个目标权重矩阵 \( W \)，创建两个新的小规模矩阵 \( A \in \mathbb{R}^{r\times d} \) 和 \( B\in \mathbb{R}^{d\times r} \)，其中\( r \ll d \)[^3]。 ```python import torch.nn as nn class LoRAModule(nn.Module): def __init__(self, original_layer, rank=4): super().__init__() self.original_layer = original_layer # Initialize low-rank matrices A and B with Xavier uniform initialization. self.A = nn.Parameter(torch.empty(rank, original_layer.in_features)) self.B = nn.Parameter(torch.empty(original_layer.out_features, rank)) nn.init.xavier_uniform_(self.A) nn.init.zeros_(self.B) def forward(self, input_tensor): # Compute the output using both the original weights and the added low-rank adaptation terms. adapted_output = self.original_layer(input_tensor) + (input_tensor @ self.A.T @ self.B.T) return adapted_output ``` 此代码片段展示了如何为单个线性层定义一个带有LoRA机制的新模块。这里`original_layer`代表原有的预训练模型中的某一层，而`rank`则指定了要使用的低秩近似维度大小。 #### 训练过程调整 当采用LoRA时，只需更新这些额外加入的小型矩阵而不是整个网络的所有参数。因此，在实际训练过程中只需要关注这部分新增加的部分即可[^2]。 ```python from transformers import AdamW optimizer = AdamW([ {'params': model.lora_modules.parameters()}, # Only optimize parameters of LoRA modules ], lr=learning_rate) ``` 上述Python代码说明了怎样配置优化器来专门针对那些被注入到原有模型里的低秩矩阵进行梯度下降操作。 #### 部署阶段处理 一旦完成训练之后，在推断期间可以将所有已学得的低秩矩阵与对应的固定部分相乘合并成单一的整体表示形式，以此消除任何可能存在的性能瓶颈。 ```python def merge_lora_weights(model): for name, module in model.named_children(): if isinstance(module, LoRAModule): merged_weight = module.original_layer.weight.data.clone() merged_weight += (module.A @ module.B).T delattr(module, 'A') delattr(module, 'B') setattr(module, 'merged', True) module.original_layer.weight.data.copy_(merged_weight) ``` 这段函数遍历给定的PyTorch模型实例，并对于每个属于`LoRAModule`类型的子组件执行融合动作——即将之前分离出来的两组小型矩阵重新组合回原位，同时删除不再需要的对象属性以节省内存空间。 ---