知识蒸馏知识点

CVer儿

已于 2025-03-05 19:14:07 修改

阅读量128

点赞数

CC 4.0 BY-SA版权

分类专栏：语义分割文章标签： pytorch 计算机视觉

于 2025-02-21 19:28:49 首次发布

本文链接：https://blog.csdn.net/qq_35054151/article/details/145783953

语义分割专栏收录该内容

122 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

1基于kl散度计算，学生模型需要用log_softmax处理

2 为了避免温度对梯度的影响，loss*T**2

操作	目的
教师 / 学生输出除以	软化概率分布，暴露类别间关系
损失乘以	抵消温度对梯度的缩放，维持梯度量级稳定，确保训练收敛性

import torch
import torch.nn.functional as F

# 原始logits（未缩放）
z_teacher = torch.tensor([[3.0, 1.0, 0.5]])
z_student = torch.tensor([[2.5, 0.8, 0.3]], requires_grad=True)  # 直接启用梯度

# 温度参数
T = 4.0

# 计算KL散度损失（带温度缩放）
P = F.softmax(z_teacher / T, dim=1)
log_Q = F.log_softmax(z_student / T, dim=1)  # 此时梯度已追踪

# 损失计算
loss_unscaled = F.kl_div(log_Q, P, reduction='batchmean')
loss_scaled = loss_unscaled * T**2

# 反向传播
loss_scaled.backward()
gradient = z_student.g