余弦退火算法作图理解（python）

最新推荐文章于 2025-03-25 23:49:02 发布

酸菜鱼摆摆

最新推荐文章于 2025-03-25 23:49:02 发布

阅读量1.9k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：算法知识文章标签：算法

本文链接：https://blog.csdn.net/Hexiaolian123/article/details/124100007

算法知识专栏收录该内容

1 篇文章

订阅专栏

model = MyBertModel()
optimizer = optim.AdamW(model.parameters(),lr=1) #一阶动量和二阶动量都用起来，就是 Adam 了——Adaptive + Momentum。
scheduel = CosineAnnealingWarmRestarts(optimizer,T_0 = 2,T_mult=1,eta_min=0,last_epoch=-1)#T_0就是初始restart的epoch数目，T_mult就是重启之后因子，默认是1。我觉得可以这样理解，每个restart后，T_0 = T_0 * T_mult。当T_mult默认时，
lrs = [] 
for epoch in range(5):
    for i in range(5):
        optimizer.step()
        scheduel.step(epoch+i/5)
        lrs.append(optimizer.param_groups[-1]['lr'])
pd.DataFrame({'lr':lrs}).plot()
#当为t_0*epoch ,突然增大