2019/6/8CS231n课程笔记（批量归一化、监控训练过程、优化超参数）

绿小油

于 2019-06-08 14:54:31 发布

阅读量401

点赞数

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/html5baby/article/details/91340949

目录

批量归一化

监控训练过程

优化超参数

批量归一化

在训练过程中，每一层的输入分布总是变来变去，我们希望它能稳定成高斯分布，所以在全连接层或是卷积层之后进行批量归一化的操作，使得每一层的激活分布固定下来。首先计算每一维度的均值和方差，之后进行归一化。

在卷积层后面进行批量归一化的时候，不仅对训练数据进行批量归一化，对feature map也将进行这一操作。

对于tanh这种激活函数，我们需要控制饱和的程度，不是非要给tanh function输入一单位高斯数据，有时候有一点饱和也是允许的，所以，又引入了两个参数……γ用来缩放，β用来平移。

批量归一化总结：

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。