vision transforme与transformer的区别

### Vision Transformer 深度学习模型架构 Vision Transformer（ViT）是一种基于Transformer架构的深度学习模型，它将原本主要用于自然语言处理领域的Transformer模型成功扩展到了计算机视觉领域[^1]。 ViT的核心思想是将图像分割成多个固定大小的小块(patch)，并将这些patch线性映射为向量作为输入送入Transformer编码器。 #### 输入表示 为了使Transformer能够理解图像的空间结构，在输入之前会对每个patch添加位置编码(position embedding)。具体来说： - 图像被划分为一系列非重叠的patches； - 每个patch通过线性变换转换为一维向量； - 将所有patch对应的向量拼接起来形成序列，并加上可学习的位置嵌入以保留空间信息。 ```python class PatchEmbedding(nn.Module): def __init__(self, img_size=224, patch_size=16, embed_dim=768): super().__init__() self.patch_embed = nn.Conv2d(3, embed_dim, kernel_size=patch_size, stride=patch_size) def forward(self, x): B, C, H, W = x.shape patches = self.patch_embed(x).flatten(2).transpose(1, 2) return patches ``` #### 编码器结构 ViT采用标准的Transformer编码器堆栈设计，其中包含了多层自注意机制(Multi-head Self Attention,MHSA)模块以及前馈神经网络(Feed Forward Network,FFN)[^3]。每一层都包括以下几个部分： - **Multi-head Self Attention**: 让不同位置上的特征可以相互关联并提取全局上下文信息。 - **Layer Normalization(LayerNorm)**: 对数据进行标准化处理，加速收敛过程。 - **Add & Norm**: 实现残差连接(residual connection),有助于缓解深层网络中的梯度消失问题。 - **MLP Block (Feed-forward Neural Networks)**: 使用两层全连接层组成的简单感知机来进行进一步的信息融合。 ```python import torch.nn as nn class EncoderBlock(nn.Module): def __init__(self, dim, num_heads, mlp_ratio=4., qkv_bias=False, drop_rate=0.): super().__init__() self.norm1 = nn.LayerNorm(dim) self.attn = MultiHeadAttention(dim, num_heads=num_heads, qkv_bias=qkv_bias, attn_drop=drop_rate) self.drop_path = DropPath(drop_rate) if drop_rate > 0. else nn.Identity() self.norm2 = nn.LayerNorm(dim) mlp_hidden_dim = int(dim * mlp_ratio) self.mlp = Mlp(in_features=dim, hidden_features=mlp_hidden_dim) def forward(self, x): x = x + self.drop_path(self.attn(self.norm1(x))) x = x + self.drop_path(self.mlp(self.norm2(x))) return x ``` ### 应用场景 由于其强大的表征能力,Vision Transformer已经在多种计算机视觉任务上展现了优异的表现，比如: - **图像分类**：通过对大规模预训练后的微调实现高效准确的目标类别预测。 - **物体检测与实例分割**：结合区域提议算法或锚框机制完成特定对象定位及边界框绘制工作。 - **视频分析**：利用时空建模特性捕捉动态变化规律，适用于动作识别等领域。

### Vision Transformer (ViT) 原理与应用详解 #### Embedding 层结构解析 Vision Transformer 首先通过线性投影的方式将输入图片转换成一系列向量，这些向量被称为 patches。每个 patch 被视为 token 输入到后续的 transformer 结构中。为了保留位置信息，在此阶段还会加入可学习的位置编码[^1]。 ```python class PatchEmbed(nn.Module): """ Image to Patch Embedding """ def __init__(self, img_size=224, patch_size=16, in_chans=3, embed_dim=768): super().__init__() num_patches = (img_size // patch_size) ** 2 self.img_size = img_size self.patch_size = patch_size self.num_patches = num_patches self.proj = nn.Conv2d(in_chans, embed_dim, kernel_size=patch_size, stride=patch_size) def forward(self, x): B, C, H, W = x.shape x = self.proj(x).flatten(2).transpose(1, 2) return x ``` #### Transformer Encoder 架构分析 Transformer 编码器由多层自注意力机制和前馈神经网络组成。每一层都包含了两个子层：一个多头自注意模块以及一个简单的全连接前馈网络。这两者之间还加入了残差连接和层归一化操作来稳定训练过程并提升性能。 #### MLP Head 设计理念 在经过多个 Transformer encoder layers 后，会得到一组特征表示。对于分类任务而言，通常只需要第一个 token 的输出作为整个图像的表征，并在其上接一个两层感知机（MLP），最后再加一层 softmax 函数完成最终预测。 #### 应用场景探讨 尽管最初 ViT 是针对大规模预训练数据集 JFT-300M 进行优化设计的，但在 DeiT 提出的一些改进措施下，即使是在相对较小的数据集如 ImageNet 上也可以取得不错的效果。此外，由于其灵活性高、易于扩展等特点，也被广泛应用于目标检测、语义分割等多个下游任务当中[^2]。