keras模块之-优化器（optimizers）--笔记

最新推荐文章于 2024-06-17 10:00:22 发布

asevb02442

最新推荐文章于 2024-06-17 10:00:22 发布

阅读量242

点赞数

CC 4.0 BY-SA版权

文章标签：人工智能

原文链接：http://www.cnblogs.com/68xi/p/8661108.html

本文介绍了深度学习中常用的优化器，包括随机梯度下降(SGD)及其变种，如RMSprop、Adagrad、Adadelta、Adam、Adamax和Nadam。通过实例展示了如何在Keras中配置和使用这些优化器，解释了关键参数如学习率、动量、衰减和Nesterov动量的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本笔记由博客园-圆柱模板博主整理笔记发布，转载需注明，谢谢合作!

优化器是调整每个节点权重的方法，如：

model = Sequential() 
model.add(Dense(64, init='uniform', input_dim=10)) model.add(Activation('tanh')) 
model.add(Activation('softmax')) 
sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True) model.compile(loss='mean_squared_error', optimizer=sgd)

　　可以看到优化器在模型编译前定义，作为编译时的两个参数之一

代码中的sgd是随机梯度下降算法
lr表示学习速率
momentum表示动量项
decay是学习速率的衰减系数(每个epoch衰减一次)
Nesterov的值是False或者True，表示使不使用Nesterov momentum

以上4个参数以后具体学习了再解析

除了sgd，还可以选择的优化器有RMSprop（适合递归神经网络）、Adagrad、Adadelta、Adam、Adamax、Nadam

转载于:https://www.cnblogs.com/68xi/p/8661108.html