【笔记】深度学习入门：基于Python的理论与实现（六）

最新推荐文章于 2025-08-05 20:04:56 发布

⁢Easonhe

最新推荐文章于 2025-08-05 20:04:56 发布

阅读量1.1k

点赞数 24

CC 4.0 BY-SA版权

分类专栏：人工智能文章标签：笔记深度学习 python

本文链接：https://blog.csdn.net/qq_45471661/article/details/136349169

本文介绍了深度学习的基本概念、技术细节（如卷积层、ReLU等）、在MNIST数据集上的应用以及提高识别精度的方法。深度学习通过加深网络、GPU加速、分布式学习等方式实现高性能，涉及领域包括物体检测、图像分割、自动驾驶和强化学习。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

深度学习

深度学习是加深了层的深度神经网络

加深网络

本节我们将这些已经学过的技术汇总起来，创建一个深度网络，挑战 MNIST 数据集的手写数字识别

向更深的网络出发

基于3×3的小型滤波器的卷积层。
激活函数是ReLU。
全连接层的后面使用Dropout层。
基于Adam的最优化。
使用He初始值作为权重初始值。

进一步提高识别精度

可以发现进一步提高识别精度的技术和线索。比如，集成学习、学习率衰减、Data Augmentation(数据扩充)等都有助于提高识别精度。尤其是Data Augmentation，虽然方法很简单，但在提高识别精度上效果显著，Data Augmentation基于算法“人为地”扩充输入图像(训练图像)

加深层的动机

这种比赛的结果显示，最近前几名的方法多是基于深度学习的，并且有逐渐加深网络的层的趋势。也就是说，可以看到层越深，识别性能也越高。
加深层的好处：

可以减少网络的参数数量。

一次 5 × 5 的卷积运算的区域可以由两次 3 × 3 的卷积运算抵充。并且，相对于前者的参数数量 25(5 × 5)，后者(反向）一共是 18(2 × 3 × 3)，通过叠加卷积层，参数数量减少了。而且，这个参数数量之差会随着层的加深而变大。比如，重复三次 3 × 3 的卷积运算时，参数的数量总共是 27。而为了用一次卷积运算“观察”与之相同的区域，需要一个 7 × 7 的滤波器，此时的参数数量是 49。

使学习更加高效。

通过加深层，可以分层次地传递信息，这一点也很重要。比如，因为提取了边缘的层的下一层能够使用边缘的信息，所以应该能够高效地学习更加高级的模式。也就是说，通过加深层，可以将各层要学习的问题分解成容易解决的简单问题，从而可以进行高效的学习。

深度学习的小历史

一般认为，现在深度学习之所以受到大量关注，其契机是 2012 年举办的大规模图像识别大赛ILSVRC(ImageNet Large Scale Visual Recognition Challenge)。在那年的比赛中，基于深度学习的方法(通称 AlexNet)以压倒性的优势胜出，彻底颠覆了以往的图像识别方法。2012 年深度学习的这场逆袭成为一个转折点，在之后的比赛中，深度学习一直活跃在舞台中央。