ViT-B参数量计算

最新推荐文章于 2025-05-10 01:46:59 发布
最新推荐文章于 2025-05-10 01:46:59 发布
阅读量1.2w 收藏 22
点赞数 5
CC 4.0 BY-SA版权
分类专栏： CV 文章标签： cv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zkxhlbt/article/details/115471463
本文详细介绍了ViT-B模型的参数量计算，包括Patch embedding的768*768参数，Transformer block中注意力机制和FFN的参数，以及Layernorm的gamma和beta参数。总计约86M参数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ViT-B: layers=12,hidden_size=768,MLP_size=3072,heads=12,params=86M,image_size=384+1

参考：https://blog.csdn.net/weixin_43922901/article/details/102602557

1 Patch embedding

在这里插入图片描述
patch_dim = 16163, dim = hidden_size = 768
所以参数量为768*768

2 Transformer block(attention+FFN)

attention: 这一部分的参数主要来源于x->q,k,v所要进行的linear变换，即 w q w_q w

最低0.47元/天 解锁文章
最强Transformer发布！谷歌大脑提出ViT-G：缩放视觉Transformer，高达90.45%准确率！
jacke121的专栏
06-12 5385
Scaling Vision Transformers 论文：https://arxiv.org/abs/2106.04560 本文改进了ViT的架构和训练，减少了内存消耗并提高了模型的准确性！最终成功训练了一个具有20亿参数的ViT模型：ViT-G，在ImageNet上达到了90.45%的Top-1准确率。作者单位：谷歌大脑（苏黎世），有原ViT一作和二作 1简介 视觉Transformer(ViT)等基于注意力的神经网络最近在许多计算机视觉基准测试中取得了最先进的结果。比例是获得出色结果的主
多模态大模型的技术底座：ViT的baseline
大F子的智能小课
03-15 799
论文研究的是谷歌和，同时加上和。
【指标原理】CNN和ViT的FLOPs、参数量计算
cjy_colorful0806的博客
03-14 3721
FLOPs（Floating Point Operations）是浮点运算次数的缩写，其计算包括所有的浮点数加法、减法、乘法和除法运算。在深度学习领域，FLOPs特别用来量化一个神经网络模型进行一次前向传播所需的浮点运算数量，这对于评估模型的计算效率和资源需求非常有用。
Vision Transformer（ViT-Base-16）处理CIFAR-100模式识别任务（基于Pytorch框架）
Mathematic_Van的博客
02-28 9846
ViT-B-16是Vision Transformer（ViT）模型的一个变体，由Google在2020年提出。ViT模型是一种应用于图像识别任务的Transformer架构，它采用了在自然语言处理（NLP）中非常成功的Transformer模型，并将其调整以处理图像数据。
Transformer——Q69 FFN参数量公式推导(GeLU(xW₁))W₂)
最新发布
墨顿随笔
05-10 1064
Transformer 架构主要由自注意力机制（Self - Attention）和前馈神经网络（FFN）等部分构成。自注意力机制能够捕捉输入序列中不同位置之间的依赖关系，而 FFN 则负责对自注意力机制输出的特征进行进一步的非线性变换，从而增强模型对语义信息的表达能力。设输入向量x的维度为，第一个全连接层的输出维度为，第二个全连接层的输出维度为。FFN类继承自nn.Module，这是 PyTorch 中所有神经网络模块的基类。在__init__方法中，通过nn.Linear分别初始化了两个全连接层。
Vit、Swin、CAT、Davit计算量计算方式
qq_61902743的博客
03-23 634
计算几个典型Transformer架构注意力的计算量，包括VIT，swin,CAT,Davit
谷歌「钞」能力 | 最强ViT模型来了！220亿参数
CV_Autobot的博客
02-19 1950
本文提出了迄今为止最大的密集视觉 ViT 模型 ViT- 22B，具有220亿参数。并发现超大 ViT 病态训练的不稳定性，这种不稳定性组织了模型尺度的进一步扩展。作者通过仔细设计模型，以较高的效率实现模型并行训练。
CV开启大模型时代！谷歌发布史上最大ViT：220亿参数，视觉感知力直逼人类
weixin_48827824的博客
04-13 1097
ViT模型何时才能破万亿？Transformer无疑是促进自然语言处理领域繁荣的最大功臣，也是GPT-4等大规模语言模型的基础架构。不过相比语言模型动辄成千上万亿的参数量，计算机视觉领域吃到Transformer的红利就没那么多了，目前最大的视觉Transformer模型ViT-e的参数量还只有40亿参数。最近谷歌发布了一篇论文，研究人员提出了一种能够高效且稳定训练大规模Vision Transformers(ViT)模型的方法，成功将ViT的参数量提升到220亿。
深度学习中参数量与计算量的理解
Monster_H7的博客
07-18 4219
接下来要分别概述以下内容： 　　１　首先什么是参数量，什么是计算量 　　２　如何计算　参数量，如何统计　计算量 　　３　换算参数量，把他换算成我们常用的单位，比如:mb 　　４　对于各个经典网络，论述他们是计算量大还是参数两，有什么好处 　　５　计算量，参数量分别对显存，芯片提出什么要求，我们又是怎么权衡 １　首先什么是计算量，什么是参数量 　　计算量对应我们之前的时间复杂度，参数量对应于我们之前的空间复杂度，这么说就很明显了 也就是计算量要看网络执行时间的长短，参数量要看占用显存的量.
hugging face的models-openai-clip-vit-large-patch14文件夹
03-08
ViT-large-patch14表示的是一个较大的Transformer版本，它使用14x14的图像块进行处理，这通常意味着模型具有更高的参数量和更强的表达能力。 `models-openai-clip-vit-large-patch14`文件夹的内容可能包含以下几个...
模型M-BERT-Base-ViT-B.zip
04-07
在“Base”配置下，它可能具有适中的参数量，以平衡性能和计算效率。 **文件名称列表** - **M-BERT-Base-ViT-B.pt**：这是一个PyTorch格式的模型权重文件，通常包含了模型训练后的参数，可以加载到相应的模型结构中...
【论文精读】ViT-Adapter
weixin_44934783的博客
02-09 1672
ViT-Adapter
媲美全局注意力！百度、港大提出双边局部注意力ViT：引入特征空间，显著降低计算量...
Paper weekly
04-28 815
©作者|马昊宇来源|机器之心在这项研究中，来自百度研究院和香港大学的研究者重新思考了局部自注意力机制，提出了特征空间局部注意力（feature-space local attention 或简称 FSLA）。Vision Transformer 舍弃了 ConvNet 先验信息，通过引入自注意力机制对远距离特征依赖进行建模，提升了模型的表征能力。然而 Vision...
参数量下降85%，性能全面超越ViT：全新图像分类方法ViR
深度学习技术前沿
01-12 585
来源：机器之心ViT 还不够完美？来自华东师范大学等机构的研究者提出了全新的图像分类方法 ViR，在模型和计算复杂性方面都优于 ViT。近一年来，视觉 Transformer(ViT)在图...
深入解析 ViT-B-32__openai 模型的参数设置
gitblog_02733的博客
12-31 705
深入解析 ViT-B-32__openai 模型的参数设置 ViT-B-32__openai 项目地址: https://gitcode.com/mirrors/immich-app/ViT-B-32__openai ...
TNT中transformer block的计算量和参数量的计算
00000cj的博客
05-31 1328
本文对标准transformer block的FLOPs和参数量，以及TNT block中的FLOPs和参数量进行的详细的推导。
【计算机视觉 | 目标检测】术语理解6：ViT 变种（ ViT-H、ViT-L & ViT-B）、bbox（边界框）、边界框的绘制（含源代码）
热门推荐
wzk4869的博客
05-30 1万+
【计算机视觉 | 目标检测】术语理解6：ViT 变种（ ViT-H、ViT-L & ViT-B）、bbox（边界框）、边界框的绘制（含源代码）
Transformer Vision（二）|| ViT-B/16 网络结构
qq1803291168
05-15 1万+
Transformer Vision（二）|| ViT-B/16 网络结构
新一代大核卷积反超ViT和ConvNet！同参数量下性能、精度、速度完胜
学姐带你玩AI的博客
06-14 1437
它使用较大的卷积核来处理图像数据，以提高模型对视觉信息的理解和处理能力。这种类型的网络能够捕捉到更多的空间信息，因为它的大步长和大感受野可以一次性覆盖图像的更多区域。比如美团提出的PeLK网络，内核大小可以达到101x101，同参数量下性能反超 ViT，目前已被CVPR 2024收录。更值得一提的，大核卷积网络不仅在性能上有所提升，在ImageNet分类等任务上，也展现出了优于ViT和ConvNet架构的效果。
CLIP-ViT-B
04-03
CLIP 是由 OpenAI 提供的一种用于连接图像和文本的多模态模型框架，而 CLIP-ViT-B 则是基于 Vision Transformer (ViT) 的一种变体。以下是关于 CLIP ViT-B 模型的一些细节及其使用方法： ### CLIP ViT-B Model Details #### 架构设计 CLIP-ViT-B 使用的是 Vision Transformers (ViT)，其架构具有强大的表示能力，并且能够高效处理视觉数据[^1]。具体来说，“B”代表 Base 版本，这意味着该模型拥有相对适中的参数量，在性能与计算资源之间取得了较好的平衡。 #### 参数规模 CLIP-ViT-B 基础版本大约有 **86M** 参数数量。这一大小使得它既适合研究用途也适用于实际部署场景下的推理操作。 #### 输入分辨率 对于输入图片尺寸而言，标准配置下通常设定为 224x224 或者更高解析度如 384x384 来提升精度表现效果。 ### Installation and Usage Methods 要安装并使用 CLIP 库以及加载预训练好的 CLIP-ViT-B 模型可以按照如下方式进行设置: ```bash pip install git+https://github.com/openai/clip.git ``` 之后可以通过 Python 脚本来调用此模型来进行图文匹配任务或其他相关功能实现: ```python import torch from PIL import Image import clip device = "cuda" if torch.cuda.is_available() else "cpu" model, preprocess = clip.load("ViT-B/32", device=device) image = preprocess(Image.open("example_image.jpg")).unsqueeze(0).to(device) text = clip.tokenize(["a diagram", "a dog", "a cat"]).to(device) with torch.no_grad(): image_features = model.encode_image(image) text_features = model.encode_text(text) logits_per_image, logits_per_text = model(image, text) probs = logits_per_image.softmax(dim=-1).cpu().numpy() print("Label probs:", probs) # 输出预测概率分布情况 ``` 上述代码片段展示了如何利用 PyTorch 和 PIL 加载一张测试图片，并将其转换成符合 CLIP 所需格式的数据；接着定义了一些候选描述语句作为对比选项之一；最后执行前向传播得到最终分类结果的概率值矩阵。 ### Case Applications CLIP 可广泛应用于多个领域之中，比如搜索引擎优化、广告推荐系统等领域内的跨媒体检索服务提供技术支持。例如在一个电商平台上，当用户上传了一张商品照片时，后台可以根据这张照片自动为其找到最贴近的商品标签或者关联产品列表展示给顾客查看选购。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值