泠山的博客

被广泛用于模型压缩和迁移学习当中。开山之作应该是。这篇文章中，作者的动机是找到一种方法，把多个模型的知识提炼给单个模型。这里的蒸馏针对的是神经网络的知识。一般认为模型的参数保留了模型学到的知识，因此最常见的迁移学习的方式就是在一个大的数据集上先做预训练，然后使用预训练得到的参数在一个小的数据集上做微调(两个数据集往往领域不同或者任务不同例如先在 ImageNet 上做预训练，然后在 COCO 数据集上做检测。在这篇论文中，作者认为可以将模型看成是黑盒，知识可以看成是输入到输出的映射关系。

Reference：在深度卷积神经网络章节中，我们提到过大型数据集是成功应用深度神经网络的先决条件。在对训练图像进行一系列的随机变化之后，生成相似但不同的训练样本，从而扩大了训练集的规模。此外，应用图像增广的原因是，随机改变训练样本可以减少模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以以不同的方式裁剪图像，使感兴趣的对象出现在不同的位置，减少模型对于对象出现位置的依赖。我们还可以调整亮度、颜色等因素来降低模型对颜色的敏感度。可以说，图像增广技术对于 AlexNet 的成功是必不可少的。在本节中

上一章我们介绍了卷积神经网络的基本原理，本章我们将带你了解现代的卷积神经网络架构，许多现代卷积神经网络的研究都是建立在这一章的基础上的。在本章中的每一个模型都曾一度占据主导地位，其中许多模型都是ImageNet竞赛的优胜者。ImageNet竞赛自2010年以来，一直是计算机视觉中监督学习进展的指向标。1×1虽然深度神经网络的概念非常简单——将神经网络堆叠在一起。但由于不同的网络架构和超参数选择，这些神经网络的性能会发生很大变化。

Reference：我们之前讨论的多层感知机十分适合处理表格数据，其中行对应样本，列对应特征。对于表格数据，我们寻找的模式可能涉及特征之间的交互，但是我们不能预先假设任何与特征交互相关的先验结构。此时，多层感知机可能是最好的选择，然而对于高维感知数据，这种缺少结构的网络可能会变得不实用。例如，在之前猫狗分类的例子中：假设我们有一个足够充分的照片数据集，数据集中是拥有标注的照片，每张照片具有百万级像素，这意味着网络的每次输入都有一百万个维度。即使将隐藏层维度降低到1000，这个全连接层也将有 106×103=

要想直观地了解块是如何工作的，最简单的方法就是自己实现一个。将输入数据作为其前向传播函数的参数；通过前向传播函数来生成输出。请注意，输出的形状可能与输入的形状不同。例如，我们上面模型中的第一个全连接的层接收一个20维的输入，但是返回一个维度为256的输出；计算其输出关于输入的梯度，可通过其反向传播函数进行访问。通常这是自动发生的；存储和访问前向传播计算所需的参数；根据需要初始化模型参数。在下面的代码片段中，我们从零开始编写一个块。...............

在本章中，我们将第一次介绍真正的深度网络。最简单的深度网络称为多层感知机。多层感知机由多层神经元组成，每一层与它的上一层相连，从中接收输入；同时每一层也与它的下一层相连，影响当前层的神经元。当我们训练容量较大的模型时，我们面临着过拟合的风险。因此，本章将从基本的概念介绍开始讲起，包括过拟合、欠拟合和模型选择。为了解决这些问题，本章将介绍和等正则化技术。我们还将讨论数值稳定性和参数初始化相关的问题，这些问题是成功训练深度网络的关键。 在本章的最后，我们将把所介绍的内容应用到一个真实的案例：房价预测。在上一节深

在介绍深度神经网络之前，我们需要了解神经网络训练的基础知识。本章我们将介绍神经网络的整个训练过程， 包括：定义简单的神经网络架构、数据处理、指定损失函数和如何训练模型。为了更容易学习，我们将从经典算法————线性神经网络开始，介绍神经网络的基础知识。经典统计学习技术中的线性回归和softmax回归可以视为线性神经网络， 这些知识将为本书其他部分中更复杂的技术奠定基础。是能为一个或多个自变量与因变量之间关系建模的一类方法 在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。在机器学习领域中的大多数

为了能够完成各种数据操作，我们需要某种方法来存储和操作数据。 通常，我们需要做两件重要的事：首先，我们介绍 nnn 维数组，也称为。 使用过 Python 中 NumPy 计算包的读者会对本部分很熟悉。 无论使用哪个深度学习框架，它的张量类(在 MXNet 中为 ndarray， 在 PyTorch 和 TensorFlow 中为 Tensor）都与 Numpy 的 ndarray 类似。但深度学习框架又比 Numpy 的 ndarray 多一些重要功能：首先，GPU 很好地支持加速计算，而 NumPy 仅