GarryWang1248的博客

接自上篇博客 高级生成对抗网络 (I)

章节目标介绍了生成对抗网络(GANs)，这是一类可以在一系列图像生成任务上得到经典结果的生成式模型。其在模型架构和训练过程上的灵活性让学术界和深度学习实践者持续寻找新的方法来设计和训练GANs，这直接导致本章中我们将要探索的很多不同的高级架构特性。

… 接。

在中，我们已经看到如何在文本数据上通过循环神经网络(RNNs), 如 LSTMs 和 GRUs，来构建生成式模型。这些自回归模型以一次一个token的方式来处理序列数据，持续更新一个捕获输出当前隐表示的隐向量。RNN可以通过在隐向量上应用一个全连层和一个softmax激活来预测序列中的下一个单词。在2017年之前，这种方式被认为是生成文本最复杂的方式，直到一篇论文的横空出世改变了文本生成的版图。

然而，我们不希望一次性去除噪声 — 从纯噪声一步预测图像显然不能work！我们将模仿前向过程，逐渐的一小步一小步来去除预测噪声，从而允许模型依据自己的预测进行调整。为了实现这一点，我们可以从。

终于到了扩散模型，开心😄！章节目标与 GANs一样，扩散模型(diffusion models)也是过去十年提出的，用于图像生成的最具影响力的生成式建模技术之一。在很多benchmarks中，扩散模型已经超过了之前的经典GANs模型，已经迅速成为生成式建模从业者 (尤其是视觉领域的文生图应用，如OpenAI的DALL.E 2和谷歌的Imagen) 之首选。最近，扩散模型开始爆炸式应用于一系列的任务，让人想起2017到2020年GAN的繁荣。

基于能量的模型是一大类生成式模型，其核心思想借鉴自物理系统建模 — 也即，一个事件的概率可以用玻尔兹曼分布来表达，玻尔兹曼分布是一个将实值能量函数归一化到0-1之间的特殊函数。该分布于1868年由 Ludwig Boltzmann首度提出，他将之用于描述热均衡中的气态。在本章中，我们将看看我们如何可以利用这一思想来训练一个可用于生成手写数字图像的生成式模型。我们也将探索几个新的概念，包括训练EBM的 contrastive divergence，以及用于采样的 Langevin dynamics。

我们将以一则短故事开始，来展现归一化流背后的关键概念。JACOB 和 THE F.L.O.W. 机器访问一个小乡村后，你注意到一个看起来颇为神秘的商店，门上的标识写到 JACOB’s。好奇的，你小心翼翼的进入，并问站在柜台的老人他有些什么东西可以售卖(图6-1)。老人回复到，它提供了一个服务，可以数字化画作。在商店后面搜索了一阵之后，他拿出了一个银盒，上有浮雕字母 F.L.O.W.。他告诉你这代表 Finding Likeness of Watercolors，这大概描述了机器做的事情。

章节目标迄今为止，我们已经探索了两类不同的包含隐变量的生成模型 — 变分自编码器 (VAEs) 以及 生成对抗网络(GANs)。在这两种情况下，我们都引入了一个新的变量，其分布易于采样，模型学会如何将该变量解码回原始的图像域。现在，我们将注意力转向 自回归模型 — 它将生成式建模问题简化为序列处理过程。自回归模型以序列中前序值作为预测条件，而非依赖于一个隐藏随机变量。因此，它们尝试显示对数据生成分布进行建模，而非只是(如VAEs)寻找数据分布的一个近似。

章节目标在2014年，Ian Goodfellow等在蒙特利尔的NeurIPS大会上提出了一篇论文，标题为《Generative Adversarial Nets》。生成对抗网络(或者更广为人知的名称 GANs)的引入现在普遍被认为是生成式建模历史上的一个关键转折点。因为本篇文章提出的核心思想直接启发了迄今为止的多个成功的生成式模型。本章将首先给出GANs的理论基础，然后我们再看看如何使用Keras构建我们自己的GANs。

由于本书中的kaggle数据库下载脚本依赖于docker，这里增加一下本机kaggle数据库下载方式说明:

我们以一个简单的故事开始，这将帮助我们解释自编码器所尝试解决的基础问题。Brian, 缝制，衣柜想象一下，在你面前的地板上，放了一堆衣服 — 裤子，上衣，鞋子，外套，各种不同的类型。你的造型师，Brian，因为帮你寻找你要求的东西耗时很长，而越来越沮丧，因此，他打算采用更聪明的计划。他告诉你，在一个足够高，足够宽的衣柜里放置后自己的衣服(下图3-1)。当你要求一个特定的东西时，你只需要简单告诉Brian它的位置，他就会用缝纫机从零开始缝制那件衣服。

神经网络包含一系列的堆叠层。每个层包含一些单元，与前层的单元通过一组权重连接。我们将看到，存在很多不同类型的层，但一种最常见的层是 全连接层，它将当前层的所有单元与前面层的所有单元进行直接的密集连接。所有邻近层都保持全连接的神经网络叫做多层感知机(multilayer perceptrons, MLPs)。这是我们将研究的第一种神经网络类型。MLP的一个示例如下图2-2所示。输入(例如图像)将在网络中被逐层变换，这一过程通常被称为 前向(forward pass), 直到碰到输出层为止。

按照书籍中的代码运行提示，需要配置Docker。个人的机器上正好有 conda4.14.0，索性就在本地环境进行配置。

生成式建模可以被宽泛的定义如下:生成式建模是机器学习的一个分支，它训练一个模型，以产生 与给定数据库高度相似的 新数据。在实际操作中，这意味着什么呢?假定我们有一个包含马匹照片的数据库。我们以此为基础可以训练一个生成式模型，该模型可以捕捉 图像中支配像素和马匹形象间复杂关系的规律。然后，我们可以从此模型中采样(sample)，来生成全新的，具备真实感的马匹图像，该图像在原始的数据库中并不存在。整个过程如 图1-1所示。为了构建生成式模型，我们需要一个数据库，其中包含我们要生成实体的多个样本。

凡我不能创造的，我不能理解。— 理查德·费曼生成式AI是我们这个时代最具革命性的技术之一，正在改变我们和机器交互的方式。而它变革我们生活、工作以及娱乐的巨大潜力，也日益成为无数访谈、辩论和预测的主题。但是，如果这种强大的技术拥有比我们想象更强大的潜力，又将如何呢？生成式AI的未来也许比我们所能想象的更令人兴奋……很早以前，我们就在寻求机会，来创造原创性、美观的创造物。对于早期的人类而言，展示的形式是岩洞里的壁画，使用精心布置的颜料来描述野生动物或者抽象的模式。

在揭示这项技术之后，作者提醒我们，我们正处在智能时代的黎明，而生成式AI是我们语言、艺术和创造力的一面镜子，不仅反映了我们过去创造的，也预示着我们可以创造的-唯一的限制是"我们自己的想象力"。对于生成式模型的核心主题，我深有共鸣。我怀疑在本书的下一个版本中，我们甚至将看到人工智能和自然智能的合流。到那时，我将把这本书放在《格雷解剖学》的旁边，和其它书架上的珍宝一起。他对一个正在快速发展的领域进行了非凡的描述，并提供了务实的例子，引人入胜的叙述，所引用的资料也都是最新的，整本书读起来就像是活生生的历史。

在书中我发现最棒的一点是，它不仅囊括了模型背后的理论，也为读者进一步夯实理解提供了实际的例子。我必须指出，本书关于GAN的章节是我读过最棒的，他提供了直觉方法来优化模型。本书囊括了生成式AI的丰富模态-文本，图片，音乐。本书实在是任何生成式AI入门者的优秀资源。毫无疑问的，对于任何对计算机创意该兴趣的人来讲，本书都是必读品。《生成式深度学习》一书是我关于生成式人工智能的入门资源，它现在就放在我工位旁边的书架上，上面只有为数不多的我非常喜欢的技术书籍。本书对该领域提供了详实的介绍，覆盖了几乎所有的技术细节。

2023年以来，生成式人工智能引爆学术界和工业界，仿佛一夜之间，人人都在谈论AIGC和大语言模型。为帮助自己深入理解生成式人工智能，笔者开启了本书的翻译，仅供个人学习等非商业用途，如有商业用途需要，请联系书籍原作者。Never too late to learn, 希望自己能够坚持完！2023年10月9日。