一文带你搞懂Vision Transformer(ViT)

最新推荐文章于 2025-07-28 18:02:01 发布
最新推荐文章于 2025-07-28 18:02:01 发布
阅读量3k 收藏 38
点赞数 33
CC 4.0 BY-SA版权
分类专栏： 深度学习 大模型 文章标签： transformer 深度学习 人工智能 算法 自然语言处理 大模型 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59596990/article/details/138976997

节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。

汇总合集

《大模型面试宝典》(2024版) 发布！
《大模型实战宝典》(2024版) 发布！

本文将从ViT的本质、ViT的原理、ViT的应用三个方面，带您一文搞懂Vision Transformer(ViT)。

图片

Vision Transformer（ViT）

一、ViT的本质

ViT的定义：ViT将Transformer架构从自然语言处理领域引入到计算机视觉中，用于处理图像数据。

在计算机视觉领域中，卷积神经网络（CNN）因其强大的局部特征提取能力而长期占据主导地位。然而，近年来，Vision Transformer（ViT）作为一种新兴的模型架构，已经开始在多个视觉任务中展现出与CNN相当甚至更好的性能。

图片

Transformer及其视觉变种Vision Transformer（ViT）发展历程中的关键节点如下，红色标记了与视觉任务相关的模型。

图片

Transformer的发展历程

Transformer的起源：

  • 2017年，Google提出了Transformer模型，这是一种基于Seq2Seq结构的语言模型，它首次引入了Self-Attention机制，取代了基于RNN的模型结构。

  • Transformer的架构包括Encoder和Decoder两部分，通过Self-Attention机制实现了对全局信息的建模，从而能够解决RNN中的长距离依赖问题。

图片

Transformer

ViT的出现：

  • ViT采用了Transformer模型中的自注意力机制来建模图像的特征，这与CNN通过卷积层和池化层来提取图像的局部特征的方式有所不同。

  • ViT模型主体的Block结构基于Transformer的Encoder结构，包含Multi-head Attention结构。

图片

ViT的进一步发展：

  • 随着研究的深入，ViT的架构和训练策略得到了进一步的优化和改进，使其在多个计算机视觉任务中都取得了与CNN相当甚至更好的性能。

  • 目前，ViT已经成为计算机视觉领域的一个重要研究方向，并有望在未来进一步替代CNN成为主流方法。

图片

ViT的本质：将图像视为一系列的“视觉单词”或“令牌”（tokens），而不是连续的像素数组。

Vision Transformer
图片

图像块（Image Patches）：

  • ViT首先将输入图像切分为多个固定大小的图像块（patches）。

  • 这些图像块被线性嵌入到固定大小的向量中，类似于NLP中的单词嵌入。

  • 每个图像块都被视为一个独立的“视觉单词”或“令牌”，并用于后续的Transformer层中进行处理。

图像块（Image Patches）
图片

二、ViT的原理

ViT的架构：通过将图像分割成一系列小块（patches）并视为序列化的token输入到Transformer编码器中，从而实现了图像特征的提取和分类。如下图所示：

ViT的架构
图片

ViT的核心组件：Patch Embeddings，Position Embeddings，Classification Token，Linear Projection of Flattened Patches，以及Transformer Encoder。

图片

ViT的核心组件

  1. Patch Embeddings：如上图虚线的左半部分，我们将图片分成固定大小的图像块patches（如图左下9×9的图像），将它们线性展开。

  2. Position Embeddings：Position embeddings加到图像块中是为了保留位置信息的。

  3. Classification Token：为了完成分类任务，除了以上九个图像块，我们还在序列中添加了一个*的块0，叫额外的学习的分类标记Classification Token。

  4. Linear Projection of Flattened Patches：图像分割为固定大小的图像块（patches）后，将每个图像块展平（flatten）为一维向量，并通过一个线性变换（即线性投影层或嵌入层）将这些一维向量转换为固定维度的嵌入向量（patch embeddings）。

  5. Transformer Encoder：由多个堆叠的层组成，每层包括多头自注意力机制（MSA）和全连接的前馈神经网络（MLP block）。

ViT的Transformer Encoder
图片

ViT的工作流程：将图像分割为固定大小的图像块（patches），将其转换为Patch Embeddings，添加位置编码信息，通过包含多头自注意力和前馈神经网络的Transformer编码器处理这些嵌入，最后利用分类标记进行图像分类等任务。

ViT的工作流程

图片

三、ViT的应用

分割（Segmentation）：涵盖了全景分割、实例分割、语义分割和医学图像分割等。

Segmentation四种分类

图片

Vision Transformer在Segmentation的应用：

  • 全景分割Transformer：考虑了目标对象与全局图像上下文之间的关系，并通过并行方式直接输出最终的预测集合。这种架构能够同时处理多个对象实例和背景，从而实现全景分割任务的高效完成。

  • 实例分割的Transformer：将视频实例分割任务视为一个直接的端到端并行序列解码/预测问题。它通过预测视频中每个实例的掩码序列，实现了高效的实例分割。这种方法的优点在于其能够处理动态变化的视频内容，并实时输出每个实例的分割结果。

  • 语义分割Transformer：利用Transformer的自注意力机制来捕获全局上下文信息，从而提高了语义分割的性能。通过考虑图像中的全局信息，它能够更准确地识别不同区域所属的类别，并生成更精细的分割结果。

  • 医学图像分割Transformer：通过预测各个对象实例，Transformer提高了数据处理的实验信息产量，使得在线监测实验和闭环最佳实验设计变得可行。这对于医学诊断、治疗和研究都具有重要的意义。

技术交流

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗面试与技术交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2040。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：技术交流
方式②、添加微信号：mlc2040，备注：技术交流+CSDN

用通俗易懂的方式讲解系列

相关论文

  • 《AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》
2020：ViT（Vision Transformer）【将Transformer应用在图像分类的模型】【当拥有足够多的数据进行预训练的时候，ViT的表现就会超过ResNets，反之不如】
u013250861的博客
02-19 2661
ViT作者团队出品，在CNN和Transformer大火的背景下，舍弃了卷积和注意力机制，提出了MLP-Mixer，一个完全基于MLPs的结构，其MLPs有两种类型，分别是和，前者独立作用于image patches（融合通道信息），后者跨image patches作用（融合空间信息）。实验结果表明该结构和SOTA方法同样出色，证明了convolution和attention不是必要操作，如果将其替换为简单的MLP，模型依然可以完美work。
一文详解Vision Transformer（附代码）
Paper weekly
01-19 2300
©PaperWeekly 原创 ·作者 | 孙裕道单位 | 北京邮电大学博士生研究方向 | GAN图像生成、情绪对抗样本生成引言Transformer 在 NLP 中大获成功，Visio...
【Vision Transformer】辅助理解笔记
Akiiiira的博客
09-25 1013
再比如，图书馆（source）里有很多书（value），为了方便查找，我们给书做了编号（key）。当我们想要了解漫威（query）的时候，我们就可以看看那些动漫、电影、甚至二战（美国队长）相关的书籍。为了提高效率，并不是所有的书都会仔细看，针对漫威来说，动漫，电影相关的会看的仔细一些（权重高），但是二战的就只需要简单扫一下即可（权重低）。当我们全部看完后就对漫威有一个全面的了解了。
VIT模型个人笔记
qq_45836365的博客
03-01 1万+
前言 VIT模型即vision transformer，其想法是将在NLP领域的基于自注意力机制transformer模型用于图像任务中，相比于图像任务中的传统的基于卷积神经网络模型，VIT模型在大数据集上有着比卷积网络更强的效果和更节约的成本。 transformer transformer模型 ...
深入浅出理解ViT(Vision Transformer)模型
likuoelie的博客
07-15 957
什么是ViT？ViT是一种基于Transformer的计算机视觉模型，将图像处理方式从传统的卷积神经网络（CNN）转变为序列处理。它将图像分割成小块（补丁），然后像处理文本一样，通过Transformer编码器分析这些补丁。工作原理补丁嵌入：将图像分割成固定大小的补丁（如16x16像素），每个补丁展平后通过线性投影转换为向量。位置编码：添加位置信息，确保模型知道补丁在图像中的位置。Transformer编码器：使用自注意力机制处理补丁序列，捕捉图像中不同区域的关系。分类。
Vision Transformer原理
qq_43570025的博客
01-03 2612
多头自注意力时，先将输入映射到q，k，v，如果只有一个头，qkv的维度都是197x768，如果有12个头（768/12=64），则qkv的维度是197x64，一共有12组qkv，最后再将12组qkv的输出拼接起来，输出维度是197x768，然后在过一层LN，维度依然是。最后会将特殊字符cls对应的输出z0 作为encoder的最终输出 ，代表最终的image presentation（另一种做法是不加cls字符，对所有的tokens的输出做一个平均），如下图公式(4)，后面接一个MLP进行图片分类。
ViT网络模型
Yore_的博客
03-30 1万+
一、背景介绍： 自2017年Google提出的Transformer结构以来，迅速引发一波热潮，最初《Attention is all you need》这篇论文的提出是针对于NLP领域的，通过自注意力机制代替传统处理序列数据时采用的循环神经网络结构，不仅实现了并行训练，提升了训练的效率，同时也在应用中取得很好的结果。之后的一段时间中，各种基于Transformer改进的网络结构涌现出来，在不同领域中都达到SOTA的效果。 2020年Google又提出了《AN IMAGE IS WORTH 16X16 WO
Vision Transformer（ViT）
null的专栏
02-26 4640
ViT模型将Transformer引入到图像的分类中，更准确的说是Transformer中的Encoder模块。为了能够尽可能少地对原始模型的修改，在ViT中将图像转换成一维的序列表示，以改成标准的文本形式，通过这种方式实现Transformer在CV中的应用。
Vision Transformer (ViT)
a264672的博客
11-27 1957
文章目录Vision Transformer (ViT)1. 回顾Transformer (TRM)2. ViT2.1. 输入处理2.2. patch embedding（结构图的2）2.3. CLS 和位置编码（结构图的3）2.4. Encoder（结构图的4）2.5. 总结 edited by nrzheng，2021.11.27 参考视频1 参考视频2 参考链接 Vision Transformer (ViT) 1. 回顾Transformer (TRM) transformer网络结构如下图所示：
【深度学习】一文带你搞懂Transformer中的QKV到底是什么，怎么更加通俗易懂的去理解？
最新发布
猫天意的博客
07-28 1188
发生了什么？最开始，“cat” 的词向量只代表“猫”这个孤立的概念。经过 QKV 的注意力计算后，“cat”新的向量表示变成了一个加权和。它吸收了句子中其他单词的信息，尤其是它最关注的 “drank” 和 “tired”。现在，新的 “cat” 向量不仅仅是“猫”了，它是一个融合了上下文的、正在喝东西的、疲惫的猫”**。这个新的向量更好地理解了它在句子中的角色和状态。总结一下 QKV 的角色：Q (Query): 我是谁？我在找什么？(主动的探针)K (Key): 你是谁？你能提供什么？
Transformer介绍，一文搞懂transformer！
2401_83026894的博客
05-16 759
Transformer是一种基于注意力机制的神经网络架构，专为处理序列数据设计，克服了RNN和LSTM在并行训练和长距离记忆方面的不足。它通过自注意力机制使模型能够同时关注序列中的多个元素，从而实现高效的并行处理。Transformer的核心组件包括线性层、前馈网络和自注意力层，以及残差连接和层规范化，这些组件共同构成了Transformer块。
vision_transformer
03-16
视觉变压器 作者：Alexey Dosovitskiy *†，Lucas Beyer *，Alexander Kolesnikov *，Dirk Weissenborn *，翟小华*，Thomas Unterthiner，Mostafa Dehghani，Matthias Minderer，Georg Heigold，Sylvain Gelly，Jakob Uszkoreit和Neil Houlsby *†。 （*）等于技术贡献，（†）等于建议。 由Andreas Steiner准备的开源发行版。 注意：此存储库是从分支和修改的。 介绍 在此存储库中，我们从论文 释放模型，这些模型已在 （ imagenet21k ）数据集上进行了预训练。 我们提供用于微调 / 已发布模型的代码。 模型概述：我们将图像分割成固定大小的块，线性地嵌入每个块，添加位置嵌入，然后将所得的矢量序列馈送到标
Vision Transformer（VIT）
lyclyc233的博客
03-26 4643
Vision Transformer（ViT）是一种新兴的图像分类模型，它使用了类似于自然语言处理中的Transformer的结构来处理图像。这种方法通过将输入图像分解成一组图像块，并将这些块变换为一组向量来处理图像。然后，这些向量被输入到Transformer编码器中，以便对它们进行进一步的处理。ViT在许多计算机视觉任务中取得了与传统卷积神经网络相当的性能，但其在处理大尺寸图像和长序列数据方面具有优势。
【深度学习】详解 Vision Transformer (ViT)
热门推荐
闻韶
07-18 19万+
【深度学习】详解 Vision Transformer (ViT)
【论文阅读】Vision Transformer
想当咸鱼的猫
09-05 6231
在计算机视觉领域中，多数算法都是保持CNN整体结构不变，在CNN中增加attention模块或者使用attention模块替换CNN中的某些部分。有研究者提出，没有必要总是依赖于CNN。因此，作者提出ViT算法，仅仅使用Transformer结构也能够在图像分类任务中表现很好。受到NLP领域中Transformer成功应用的启发，ViT算法中尝试将标准的Transformer结构直接应用于图像，并对整个图像分类流程进行最少的修改。
视觉Transformer（Vision Transformer , ViT ）
不断积累不断学习
05-16 1193
将传统的Transformer架构应用于计算机视觉任务的模型，2020年由Dosovitskiy等人提出，挑战了卷积神经网络（CNN）长期以来的主导地位。
Vision Transformer(2020)：Transformer在视觉领域的开创之作！实现NLP和CV的大一统
m0_63294504的博客
09-17 1895
谷歌团队探索了 Transformer 在图像识别中的直接应用。Vision Transformer（ViT）是一种基于Transformer架构的深度学习模型，用于图像识别和计算机视觉任务。与传统的卷积神经网络（CNN）不同，ViT直接将图像视为一个序列化的输入，并利用自注意力机制来处理图像中的像素关系。ViT通过将图像分成一系列的图块（patches），并将每个图块转换为向量表示作为输入序列。然后，这些向量将通过多层的Transformer编码器进行处理，其中包含了自注意力机制和前馈神经网络层。
Vision Transformer（VIT模型）
m0_61595251的博客
11-24 1748
MLP Head 是指位于模型顶部的全连接前馈神经网络模块，用于将提取的图像特征表示转换为最终的分类结果或其他预测任务输出。MLP Head 通常跟在 Transformer Encoder 的输出之后，作为整个模型的最后一层。可以简单理解为一个全连接层，若需要类别概率需要再接上一个softmax激活函数。
Vision Transformer
不要錯過才珍惜
12-18 6473
Vision Transformer (ViT)，就在图像识别任务达到了不亚于 ResNet 的精度，并且相较于ResNet 训练所耗费的时间，VIT的训练所耗费的算了减少了一大部分。由于 ViT 模型是从在 NLP 领域特别火的 Transformer 模型改编而来，并且没有对Transformer 内部进行修改，ViT主要的改变就是在输入端，将图像进行了分块和降维，从而将图像变成一种类似于词语编码的表达方式，方便了后续处理。
一文详解Vision Transformer
05-20
### Vision Transformer (ViT) 的详细解释、原理、架构与实现 #### ViT 的核心概念 Vision Transformer 是一种基于 Transformer 架构的深度学习模型，其设计初衷是为了处理视觉任务。传统的卷积神经网络（CNNs）主导了计算机视觉领域多年，然而随着自然语言处理中 Transformer 的成功应用，研究者们尝试将其扩展到图像识别等领域。ViT 将图像分割成固定大小的小块（patches），并通过线性变换将这些小块映射为一维向量序列[^1]。 #### 图像预处理流程 在实际应用中，输入的高分辨率图像会被划分为多个不重叠的小块（flattened patches）。每个 patch 被视为独立的 token，并通过一个可训练的线性层投影至统一维度的空间。这一过程被称为 **Linear Projection of Flattened Patches**，它是 ViT 模型的关键部分之一[^3]。 #### 自注意力机制的作用 自注意力机制允许模型动态调整不同区域的重要性权重，从而捕捉全局依赖关系。相比于 CNN 中局部感受野的设计理念，Transformer 可以一次性关注整个输入序列，这使得它更适合建模复杂的长距离交互模式。具体来说，在编码器阶段，每个多头注意力模块会计算 query、key 和 value 向量之间的相似度得分，进而生成加权后的特征表示[^2]。 #### 位置嵌入的意义 由于原始 Transformer 设计用于处理顺序数据（如文本句子），因此需要引入额外的位置信息来保留 tokens 在原图中的空间布局特性。通常采用的方法是在输入 embedding 上叠加一组固定的正弦/余弦波形或者随机初始化并随时间优化得到的学习型参数作为绝对位置编码[^2]。 #### 整体架构描述 完整的 ViT 结构由以下几个组件构成： - 输入准备：把图片切分成若干个相同尺寸的patch； - Embedding 层：执行上述提到过的 flatten operation 加 linear transformation 得到初始 embeddings； - Positional Encoding 添加步骤； - 多层堆叠的标准 transformer encoder blocks —— 包含 multi-head self attention layer 和 feed forward network layers； - Classification head 输出最终预测类别概率分布。 以下是 Python 实现的一个简化版例子： ```python import torch from torch import nn, optim class PatchEmbedding(nn.Module): def __init__(self, img_size=224, patch_size=16, embed_dim=768): super().__init__() num_patches = (img_size // patch_size)**2 self.patch_embeddings = nn.Conv2d(3, embed_dim, kernel_size=patch_size, stride=patch_size) def forward(self, x): x = self.patch_embeddings(x).flatten(2).transpose(1, 2) return x class MultiHeadAttention(nn.Module): pass # Implementation omitted for brevity. class EncoderBlock(nn.Module): pass # Implementation omitted for brevity. class VisionTransformer(nn.Module): def __init__(self,...): ... model = VisionTransformer() criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 以上代码片段仅展示了如何定义基本构建单元以及搭建整体框架的大致思路，并未包含全部细节内容。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值