torch.nn.Linear 参数初始化
时间: 2025-01-11 18:43:54 浏览: 156
### PyTorch 中 `torch.nn.Linear` 参数初始化方法
在构建神经网络时,权重和偏置的初始值对于训练过程至关重要。不恰当的初始化可能导致梯度消失或爆炸等问题,影响模型的学习效率。
#### 使用默认初始化方式
当创建一个新的线性层实例时,默认情况下会自动调用 Kaiming Uniform 初始化器来设置该模块内部张量的数据分布[^2]:
```python
import torch
from torch import nn
linear_layer = nn.Linear(784, 256)
print(linear_layer.weight.data) # 查看当前权重量化后的随机数
```
#### 自定义初始化函数
除了依赖框架自带的方式外,还可以通过重写 `_initialize_weights()` 或者直接操作 `.weight` 属性来进行个性化配置。这里给出几种常见的做法:
##### Xavier/Glorot 均匀分布初始化
Xavier 是一种广泛采用的技术,它考虑到了每一层输入输出节点数量之间的关系,从而使得信号能够稳定传递给下一层。
```python
def init_xavier_uniform(layer):
if type(layer) == nn.Linear:
torch.nn.init.xavier_uniform_(layer.weight)
model = nn.Sequential(
nn.Flatten(),
nn.Linear(784, 256),
nn.ReLU()
).apply(init_xavier_uniform)
```
##### 正态/高斯分布初始化
有时也可能会希望按照标准正态分布 N(0, σ²) 来分配这些参数,在这种场景下可以利用 `normal_()` 函数完成任务。
```python
for param in linear_layer.parameters():
if len(param.shape) > 1: # 只处理二维以上的张量(即权重)
torch.nn.init.normal_(param, mean=0., std=0.01)
```
##### 随机均匀分布初始化
如果想要让所有的数值都落在某个特定区间内,则可以选择 uniform_() 方法实现这一点。
```python
nn.init.uniform_(tensor=linear_layer.bias, a=-0.1, b=0.1)
```
上述三种方案各有优劣之处,实践中可以根据具体情况灵活选用最适合自己项目的那一款。
阅读全文
相关推荐


















