批量大小(batch size)是指单次训练中使用的样本数量，通常为2的幂次，如32、64、128等。在批量大小概念提出前，每个epoch需一次性加载所有数据，导致内存负担增加。批量大小的引入能提高内存利用率，加快训练速度，并使梯度方向计算更准确，从而加速模型收敛。合适的选择可以平衡计算效率和模型性能。
1 定义
单次训练用的样本数，通常为2^N，如32、64、128
2 提出背景
在batch_size概念没提出之前，神经网络的训练每一个epoch需要将所有的数据一次性加载训练，使得内存负载加大。这样会准确计算梯度方向更准确，但不同梯度值差异过大，无法确定全局的学习率。在这样的条件下，batch_size被提出来了。
3 合适的batch_size训练的优点
- 使内存利用率增大，加快训练速度
- 使梯度方向计算更准确，收敛快
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
