深度学习（10）---Vision Transformer详解

最新推荐文章于 2025-05-17 08:00:00 发布
最新推荐文章于 2025-05-17 08:00:00 发布
阅读量3.4k 收藏 45
点赞数 24
CC 4.0 BY-SA版权
分类专栏： 深度学习从0到1 文章标签： 深度学习 ViT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62881487/article/details/141318021

文章目录

一、简介

 1. Vision Transformer（ViT）是一种基于Transformer架构的深度学习模型，它将Transformer模型从自然语言处理（NLP）领域成功扩展到计算机视觉（CV）领域。

 2. Vision Transformer由Google Brain团队在2020年提出，该模型挑战了卷积神经网络（CNN）在视觉任务中的主导地位，证明了Transformer架构不仅在处理序列数据（如文本）方面非常有效，在处理图像数据时也能取得卓越性能。

 3. Vision Transformer的核心思想是将输入的图像视为一个序列化的输入，通过自注意力机制来处理图像中的像素关系。具体而言，ViT首先将输入图像划分为多个固定大小的图像块（Patches），然后对每个图像块进行线性映射（Flattening + Linear Projection），将其转换成一个向量。这些向量连同一个特殊的分类Token一起作为Transformer的输入序列。这样，图像就被转换成了一个序列数据，从而可以直接应用自注意力机制进行特征提取。

二、模型结构

2.1 整体架构

 ViT模型如下架构图所示，其中主要有三个部分组成：(1) Linear Projection of Flattened Patches（Embedding层，将子图映射为向量）；(2) Transformer Encoder（编码层，对输入的信息进行计算学习）；(3) MLP Head（用于分类的层结构）。

在这里插入图片描述

在这里插入图片描述

2.2 Linear Projection of Flattened Patches

 1. Linear Projection of Flattened Patches（平铺块的线性投影）是ViT模型架构中的一个重要组成部分。这个过程主要涉及到将输入的图像数据转换为Transformer模型能够处理的一维向量序列。

 2. 作用与目的：
 （1）图像数据转换：由于标准的Transformer模型接收的是一维的嵌入序列，而图像数据是三维的（高度H、宽度W、通道数C），因此需要通过线性投影将图像数据转换为Transformer能够处理的格式。
 （2）信息提取：通过平铺和线性投影，图像被划分为多个小块（Patches），每个小块被转换为一个一维向量，这些向量包含了图像中的局部信息。

 3. 具体步骤：
 （1）图像划分：将输入图像按照预定的尺寸（如16x16）划分为多个小块（Patches）。以ViT-B/16为例，如果输入图像的大小为224x224，则会被划分为(224/16)x(224/16)=196个小块。

 （2）平铺操作：将每个小块展平（Flatten）为一维向量。

 （3）线性投影：使用一个线性层（通常是卷积层）将每个展平后的小块映射到一个更高维的向量空间中。这个线性层的作用是将每个小块的特征进行抽象和整合，以便后续的自注意力机制能够处理。以ViT-B/16为例，线性投影层通常使用一个卷积核大小为16x16、步距为16、卷积核个数为768的卷积来实现。这个卷积操作会生成一个形状为[14, 14, 768]的特征图（由于步距为16，所以高度和宽度都减少了），然后将其展平为[196, 768]的形状，即196个长度为768的向量（后面都直接称为token）。

在这里插入图片描述

 （4）添加特殊Token和位置编码：在所有向量序列的开头添加一个特殊的class Token（分类Token），用于后续的图像分类任务。这个Token是一个可训练的参数，与其他向量具有相同的维度。给每个向量添加一个位置编码（Position Embedding），以保留它们在图像中的位置信息。位置编码通常是可学习的，并且与向量的维度相同。

 4. 图像分块代码块：

class PatchEmbed(nn
最低0.47元/天 解锁文章

200万优质内容无限畅学
详解视觉Transformers
u012374012的专栏
07-16 6336
从2017年在《Attention is All You Need》中首次提出以来，Transformer模型已经成为自然语言处理（NLP）领域的最新技术。在2021年，论文《An Image is Worth 16x16 Words》成功地将Transformer应用于计算机视觉任务。从那时起，基于Transformer的各种架构陆续被提出用于计算机视觉。Transformer是一种利用注意力机制作为主要学习机制的机器学习模型，它很快成为了序列到序列任务（如语言翻译）的最新技术。
【论文阅读】Vision Transformer
想当咸鱼的猫
09-05 6195
在计算机视觉领域中，多数算法都是保持CNN整体结构不变，在CNN中增加attention模块或者使用attention模块替换CNN中的某些部分。有研究者提出，没有必要总是依赖于CNN。因此，作者提出ViT算法，仅仅使用Transformer结构也能够在图像分类任务中表现很好。受到NLP领域中Transformer成功应用的启发，ViT算法中尝试将标准的Transformer结构直接应用于图像，并对整个图像分类流程进行最少的修改。
Vision Transformer (ViT) 算法详解
m0_51661400的博客
08-20 2543
本博客详细探讨了Vision Transformer (ViT)，一种革命性的模型，将Transformer架构应用于图像处理。ViT通过将图像切割成序列化的小块，利用自注意力机制直接捕捉全局依赖关系，与传统的卷积神经网络相比，提供了更高效的处理方式和更深入的数据理解。除了介绍ViT的算法原理和数学表达，本文还提供了模型的简单PyTorch实现和源代码链接，帮助读者从理论到实践深入了解并应用这一技术。
保姆级教学 —— 手把手教你复现Vision Transformer
大脸猫的博客
03-24 8584
前言 Transformer的初衷是借助多头注意力机制解决seq2seq在机器翻译中对长距离上下文翻译不准确的问题，因为seq2seq中的encoder对任意句子只能给出一个固定的size表征，而这个表征在遇到长句时会显得包含的信息量不够。 ViT的标题中的“AN IMAGE IS WORTH 16X16 WORDS”可以看出，ViT将图片分割为固定数量的patches，每个patch都视作一个token，同时引入了多头自注意力机制去提取包含了关系信息的特征信息。 阅读本文须知 为高效阅读本文，建议
【AI大模型】一文详解 Vision Transformers 原理与应用，收藏这一篇就够了！！
嘴巴吃糖了
05-17 1150
Vision Transformers (ViTs) 代表了计算机视觉领域的突破性变革，它利用了彻底革新自然语言处理的自注意力机制。与依赖分层特征提取的传统卷积神经网络(CNN) 不同，ViT 将图像视为更小块的序列，从而能够捕捉视觉数据中的全局关系和长距离依赖关系。这种独特的方法在图像分类、目标检测和生成建模等任务中展现出卓越的性能，使 ViT 成为推进人工智能驱动图像分析的强大工具。其多功能性和可扩展性使其成为不断发展的计算机视觉领域中的一项关键创新。
【深度学习】详解 Vision Transformer (ViT)
闻韶
07-18 18万+
【深度学习】详解 Vision Transformer (ViT)
Vision Transformer详解（附代码）
欢迎来到道的世界
01-10 6685
 受NLP\mathrm{NLP}NLP中Transformer\mathrm{Transformer}Transformer扩展成功的启发，Vision Transformer\mathrm{Vision\text{ }Transformer}Vision Transformer又进一步体现了Transformer\mathrm{Transformer}Transformer在计算机视觉的重要性，它可以很好的地取代卷积操作。本文会详细讲解 ...
深度学习（11）---Swin Transformer详解
m0_62881487的博客
09-01 1229
(2) Swin-Transformer使用窗口多头自注意力，将特征图划成多个不相交的区域，然后在每个窗口里进行自注意力计算，只要窗口大小固定，自注意力的计算复杂度也是固定的，那么总的计算复杂度就是图像尺寸的线性倍数，而不是Vit对整个特征图进行全局自注意力计算，这样就减少了计算量，但是也隔绝了不同窗口之间的信息交流，随之作者提出后文的移动窗口自注意力计算（Shifted Windows Multi-Head Self-Attention(SW-MSA)）。W-MSA是基于窗口的注意力计算。
深度学习--Transformer和BERT区别详解
GDHBFTGGG的博客
08-26 5198
Transformer和BERT区别详解
【计算机视觉】基于Vision Transformer的图像分类模型实现与优化：CIFAR-10数据集上的ViT架构详解与实践
最新发布
07-07
适合人群：具备一定深度学习基础，特别是熟悉PyTorch框架和计算机视觉领域的研究人员和工程师。 使用场景及目标：①理解ViT的核心原理和架构，掌握从零实现Vision Transformer的方法；②学习如何在CIFAR-10数据集上...
Swin-transformer详解
一去不复返的通信er
12-05 6552
swin transformer详解
【论文阅读】Vision Transformer 模型详解
aixiaomi123的博客
11-24 7336
关于Vision Transformer模型的详解 ，末尾附原论文下载链接以及pytorch代码。
一文详解Vision Transformer（附代码）
机器学习社区
01-19 4007
Transformer 在 NLP 中大获成功，Vision Transformer 则将 Transformer 模型架构扩展到计算机视觉的领域中，并且它可以很好的地取代卷积操作，在不依赖卷积的情况下，依然可以在图像分类任务上达到很好的效果。卷积操作只能考虑到局部的特征信息，而 Transformer 中的注意力机制可以综合考量全局的特征信息。Vision Trans
详解VIT（Vision Transformer)模型原理, 代码级讲解
qq_43449643的博客
01-16 1万+
详解VIT（Vision Transformer)模型原理, 代码级讲解
Vision Transformer
不要錯過才珍惜
12-18 6464
Vision Transformer (ViT)，就在图像识别任务达到了不亚于 ResNet 的精度，并且相较于ResNet 训练所耗费的时间，VIT的训练所耗费的算了减少了一大部分。由于 ViT 模型是从在 NLP 领域特别火的 Transformer 模型改编而来，并且没有对Transformer 内部进行修改，ViT主要的改变就是在输入端，将图像进行了分块和降维，从而将图像变成一种类似于词语编码的表达方式，方便了后续处理。
Vision Transformer(vit)原理分析以及特征可视化
z240626191s的博客
08-29 2万+
Vision Transformer（ViT）是一种基于架构的深度学习模型，用于图像识别和计算机视觉任务。与传统的卷积神经网络（CNN）不同，ViT直接，并利用自注意力机制来处理图像中的像素关系。ViT通过将图像分成一系列的，并。然后，这些向量将通过多层的Transformer编码器进行处理，其中包含了。这样可以。最后，通过对Transformer编码器输出进行分类或回归，可以完成特定的视觉任务。为什么不能直接将transformer直接应用于图像处理中呢？
Vision Transformer详解
热门推荐
霹雳吧啦Wz
06-26 32万+
论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源码：https://github.com/google-research/vision_transformer Pytorch实现代码： pytorch_classification/vision_transformer 文章目录前言模型详解Vision
Vision-Transformer详解
EMIvv的博客
02-08 2659
引言（Transformer） transformer一开始提出为上面这篇论文，主要应用在NLP领域。 在此之前，nlp主要使用RNN（记忆的长度是有限的，比较短，所以有了后面的LSTM），LSTM等时序网络， 且无法并行化训练（即必须先计算出t0时刻的数据，再计算t1时刻的数据），导致训练效率低。 所以提出transformer，如果在硬件不受限制的情况下，他的记忆长度是无限的。而且可以做并行化。 核心模块：self-attention 计算q,k,v 对(q*k) / np.sqrt(d)得到
vit中MLP Head的作用
03-30
<think>好的，我现在需要解释Vision Transformer（ViT）中的MLP Head的作用和功能。用户已经提供了一些相关的引用内容，我需要结合这些信息来构建一个清晰且准确的回答。 首先，根据引用[2]，MLP Head在训练ImageNet21K时由Linear层、tanh激活函数和另一个Linear层组成，而在迁移到其他数据集时可能仅使用一个Linear层。这说明MLP Head的结构可能因任务不同而有所变化，其主要作用可能涉及分类任务的最终输出处理。 接着，引用[3]提到，在输入Transformer Encoder之前需要加上class token和position embedding，这两者都是可训练的参数。而class token的嵌入向量通常会经过Transformer处理后被提取出来用于分类。因此，MLP Head可能负责将class token的输出转换为分类结果。 接下来，我需要将这些信息整合起来。MLP Head位于Transformer Encoder之后，接收class token对应的输出向量，并将其映射到目标类别的概率分布。这可能涉及多个全连接层和激活函数，具体结构取决于训练阶段和数据集。例如，在预训练时使用更复杂的结构，而在微调时简化。 同时，需要明确MLP Head在整个ViT流程中的位置和作用。ViT将图像分块、线性嵌入后，加上位置编码和class token，经过Transformer Encoder处理，最后提取class token的特征，通过MLP Head进行分类。因此，MLP Head是分类的关键组件，负责最终的决策。 还需要注意MLP Head与中间其他层的区别。例如，Transformer Encoder内部也有MLP层，但那是用于特征变换的，而MLP Head是最后的分类器，两者功能不同。 最后，确保回答结构清晰，分点说明作用、结构变化和应用场景，并引用提供的参考资料。同时生成相关问题，帮助用户进一步理解相关概念。</think>### Vision Transformer（ViT）中MLP Head的作用与功能解释 在Vision Transformer（ViT）中，**MLP Head**是模型末端的关键组件，其核心作用是将经过Transformer Encoder处理后的特征映射为最终的分类结果。以下是具体分析： #### 1. **功能定位** - **分类任务的核心输出层** MLP Head接收来自Transformer Encoder输出的`class token`对应的特征向量（该向量通过自注意力机制聚合了全局图像信息），并通过多层感知机（MLP）将其映射到目标类别的概率分布[^3][^2]。 例如，在ImageNet分类任务中，它将维度为$D$的`class token`向量（如$D=768$）转换为包含1000个类别的概率输出。 - **特征维度适配** Transformer Encoder输出的特征维度可能与目标类别数量不一致，MLP Head通过线性变换完成维度对齐。例如，从高维特征空间（如768维）映射到低维分类空间（如10分类任务）。 #### 2. **结构变化** - **预训练与微调阶段的差异** - 在**预训练阶段**（如ImageNet-21K数据集），MLP Head通常由`Linear + tanh激活函数 + Linear`组成，以增强非线性表达能力[^2]。 - 在**微调或迁移学习阶段**（如ImageNet-1K或自定义数据集），可能简化为单层线性变换（仅保留最后一个`Linear`层），以减少过拟合风险并提升计算效率。 - **数学表示示例** 假设输入特征为$\mathbf{z} \in \mathbb{R}^D$，则MLP Head的输出可表示为： $$ \mathbf{y} = \mathbf{W}_2 \cdot \tanh(\mathbf{W}_1 \cdot \mathbf{z} + \mathbf{b}_1) + \mathbf{b}_2 $$ 其中$\mathbf{W}_1, \mathbf{b}_1$和$\mathbf{W}_2, \mathbf{b}_2$为可训练参数。 #### 3. **与Transformer Encoder内部MLP层的区别** Transformer Encoder中每个注意力块后包含的MLP层（如两层全连接+GELU激活）主要用于**局部特征变换**，而MLP Head则是**全局分类决策层**，两者分工明确[^1]。 --- ### 流程图说明 ```plaintext 输入图像 → 分块嵌入 → [class token] + 位置编码 → Transformer Encoder → 提取class token特征 → MLP Head → 分类结果 ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冒冒菜菜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值