计算神经网络参数量Params、计算量FLOPs（亲测有效的3种方法）

原创 已于 2023-03-07 16:07:36 修改 · 2.5k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #深度学习 #开发语言

于 2023-03-02 11:42:35 首次发布
本文介绍了通过torchstat、torchsummary和thop库来统计神经网络的参数量Params和计算量FLOPs，但这些方法在面对含有自定义参数的网络时可能无法准确统计。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.stat（cpu统计）

pip install torchstat

from torchstat import stat

stat(model, (3, 32, 32)) #统计模型的参数量和FLOPs，（3,32,32）是输入图像的size

结果：

 问题：当网络中有自定义参数时，就很有可能漏掉那部分参数对应的统计量；stat好像不支持双输入。

2.summary网络结构对应参数(cuda上面统计)

pip install torchsummary

from torchsummary import summary

summary(model,input_size=(3,32,32))

问题：当网络中有自定义参数时，就很有可能漏掉那部分参数。
结果：

3.统计flops和参数量

pip install thop

from thop import profile

dummy_input = torch.randn(1, 3, 32, 32)#.to(device)

flops, params = profile(model, (dummy_input,))

print('FLOPs: ', flops, 'params
最低0.47元/天 解锁文章

200万优质内容无限畅学
如何计算神经网络的参数量
weixin_44808274的博客
09-07 1464
计算神经网络的参数数量通常涉及到计算权重（weights）和偏差（biases）的数量。例如，对于一个3x3的卷积核，输入通道数为3，输出通道数为64的卷积层，权重参数数量为3x3x3x64。，权重参数数量是输入神经元数与输出神经元数的乘积。例如，一个输入神经元数为256，输出神经元数为128的全连接层，权重参数数量为256x128。因此，偏差参数的数量通常等于输出神经元的数量。这通常涉及到输入神经元的数量乘以输出神经元的数量。将每一层的权重参数数量和偏差参数数量相加，得到神经网络的总参数数量。
神经网络的计算量(FLOPs)、参数量(Params)、推理时间（FPS）的定义及实现方法
热门推荐
qq_43307074的博客
11-04 5万+
神经网络的计算量(FLOPs)和参数量(Params)的定义及实现方法
神经网络参数量的计算
lpj822的专栏
03-18 1247
神经网络参数量的计算简介卷积层BN层全连接层 简介 参数量就是指，模型所有带参数的层的权重参数总量。视觉类网络组件中带参数的层，主要有：卷积层、BN层、全连接层等。（注意：激活函数层(relu等)和Maxpooling层、Upsample层是没有参数的，不需要学习，他们只是提供了一种非线性的变换） 卷积层 K2×Ci×Co×+CoK^2{\times}C_i{\times}C_o{\times}+...
神经网络参数量计算
Michael’s Blog
09-06 4394
这篇文章主要是记录一下神经网络的参数量大致估算方法，计算过程利用的是mobilenet-v2来举例说明，如果对mobilenet-v2不太了解，可以参考文章mobilenet-v1和mobilenet-v2详解。 关于卷积参数计算的方式 假设输入feature（如果是第一层就是图片了）的维度为Ninput×Cinput×Hinput×WinputN_{input} \times C_{input} \times H_{input} \times W_{input}Ninput​×Cinput​×Hinput
6种方法计算神经网络参数量Params、计算量FLOPs、Macs简单代码
qq_40193227的博客
11-08 5157
6种方法计算神经网络参数量Params、计算量FLOPs、Macs简单代码
计算transUnet的Flops和params参数量
10-26
3. Transformer块中的参数：包括多头注意力机制中的权重和前馈神经网络的参数。 具体的计算方法是： - 对于卷积层，Flops大致为卷积核的数量乘以卷积核大小再乘以输入特征图的通道数。 - 对于自注意力机制，Flops为...
深度学习（4）——以AlexNet为例计算神经网络的参数量parameters和浮点运算次数FLOPs
weixin_41761357的博客
12-11 5952
上一片博客(指路)末尾有提到计算公式，这里就不再赘述了放个截图。 本文将以AlexNet为例，计算AlexNet参数量量和浮点运算次数。 计算参数量 1.首先回顾参数量的计算公式： 如果输入是C channel ×H×W；卷积核是C inchannel × M outchannel ×K ×K； parameters = [（K ×K）×C inchannel ]×M outchannel+M 2.分析AlexNet网络结构 共进行五次卷积操作,各层之间的kernel大小和输出feature尺寸下图
神经网络的参数量(Params)和计算量(FLOPs)
枉费红笺的博客
12-13 5717
神经网络的参数量（Params）和计算量（FLOPs）
神经网络参数的计算
weixin_43786241的博客
04-07 1686
在神经网络中参数量如何计算呢 卷积层：         参数量 = 核高×\times×核宽×\times×核通道数×\times×输入通道数+偏置 全连接层：         参数量 = 全连接层神经元数×\times×输入通道数+偏置 BN层：         参数量 = 2（平移因子，缩放因子）×\times×输入通道数 池化层：       &nbsp
如何计算神经网络参数的个数？
Henry的博客
11-28 7084
神经网络随着层数的加深，网络参数的个数会越来越多，小的网络有成千上万个参数，大的可以达到千万个网络参数。这里我们介绍一下如何计算神经网络参数的个数图像分类的神经网络，包含两个部分：特征提取层+ 分类层特征提取层就是将提取图像中的特征，这里的特征就是图像的细节，例如边缘、关键点等等。类似于人在识别物体的时候，往往不需要看清物体具体长什么样子，只需要观察大概的轮廓就知道这个物体是人还是树。那么这里人的轮廓或者树的轮廓就是特征，而我们是不需要知道这个人长得怎么样的。
卷积神经网络参数量和计算量的计算
weixin_42784169的博客
05-13 1万+
注意：本文先区分两个概念，再介绍stride = 1情况下CNN卷积的计算参数和计算量。文末会附上不同stride的计算CNN参数量和计算量和使用API自动计算CNN参数量和计算量的博客。 先区分两个概念： FLOPS 注意全部大写 是floating point of per second的缩写，意指每秒浮点运算次数。用来衡量硬件的性能。 FLOPs 是floating point of operations的缩写，是浮点运算次数，可以用来衡量算法/模型复杂度。 注意：以下得计算均默认stride = 1
神经网络的参数量、计算量
jwen_的博客
04-22 528
神经网络中参数量parameters和FLOPs计算：https://www.jianshu.com/p/650e87036fd4 模型 FLOPs, MACs, MAdds 关系 以及 常用计算工具的主要差异：https://www.jianshu.com/p/b5157e31c409 神经网络计算量FLOPs ：https://www.pianshen.com/article/626357924/ 神经网络参数量、数据量计算 ：https://www.cnblogs.com/hizhaolei/p/1.
神经网络中参数量以及计算量的计算
weixin_36083125的博客
07-21 1545
一个k×k的卷积，执行一次卷积操作，需要k×k次乘法操作（卷积核中每个参数都要和特征图上的元素相乘一次），k×k−1 次加法操作（将卷积结果，k×k 个数加起来）。在一个特征图上需要执行的卷积次数：(（H-k+Ph）/S +1 )×(（H-k+Pw）/S +1)，Ph，Pw表示在高和宽方向填充的像素，此处假定了宽高方向滑动步长和核的宽高是一样，若不同，调整一下值即可。假设输入特征图（B，C，H，W），卷积核大小为K×K， 输入通道为C，输出通道为N，步长stride为S， 输出特征图大小为H2，W2.
神经网络模型的参数量和计算量
凌逆战的博客
09-08 4539
其实模型的参数量好算，但浮点运算数并不好确定，我们一般也就根据参数量直接估计计算量了。但是像卷积之类的运算，它的参数量比较小，但是运算量非常大，它是一种计算密集型的操作。反观全连接结构，它的参数量非常多，但运算量并没有显得那么大。 FLOPs(Floating-point Operations)：浮点运算次数，理解为计算量，可以用来衡量算法的复杂度。一个乘法或一个加法都是一个FLOPs FLOP...
神经网络参数量，计算量FLOPS，内存访问量MAC
Keep_Trying_Go的博客
05-07 4550
文章目录神经网络参数量，计算量FLOPS，内存访问量MAC（Memory Access Cost）对于卷积层而言：1.神经网络参数量计算方式2.计算量3.内存访问量对于全连接层而言：1.参数量2.计算量3.内存访问量BN层的参数量： 神经网络参数量，计算量FLOPS，内存访问量MAC（Memory Access Cost） 对于卷积层而言： 1.神经网络参数量计算方式 卷积层：假设输入特征图大小为: Hin x Win x M，卷积核大小KxK，N个卷积核，输出特征图大小为Hout x Wout x N.
神经网络模型参数量和运算量计算方法
xiongzai2016的博客
05-09 1974
看了很多有关‘卷积层和全连接层中参数和计算量’的计算方法，觉得这篇写得简单明了且正确https://www.jianshu.com/p/d4db25322435 需要补充的是，很多框架(如pytorch)的参数是单精度浮点型数据(32位，8位为一个byte)，则一个参数占4byte，经过换算得262144个参数为1M。 ...
神经网络参数量 flops
最新发布
02-21
### 如何计算神经网络的参数量和FLOPs #### 参数量 (Params) 参数量指的是模型中可训练参数的数量总和。对于卷积层而言，其参数数量可以通过下面的方式得出： \[ \text{params} = (\text{kernel height} * \text{kernel width} * \text{input channels} + 1) * \text{output channels} \] 其中，“+1”代表偏置项(bias)，如果该层不使用偏置，则无需加上这一部分。 对于全连接层来说，参数数目等于输入节点数乘以输出节点数再加上一个偏置向量[^4]。 为了统计整个网络中的参数总量，在Python环境下可以利用PyTorch框架提供的接口遍历所有层并累加各层参数: ```python total_params = sum(p.numel() for p in model.parameters()) print(f'Total number of parameters: {total_params}') ``` 这段代码会返回给定`model`对象内所有的可训练参数之和[^5]。 #### 浮点运算次数 (FLOPs) 浮点操作数（Floating Point Operations Per Second, FLOPs），用于描述执行一次前向传播过程中涉及了多少次基本数学运算（比如加法、减法、乘法）。它不仅取决于权重矩阵尺寸还关联到激活函数的选择等因素。 针对不同类型的层有不同的估算方式；例如标准二维卷积层的理论FLOPs可通过如下公式近似估计： \[ \text{FLOPs}_{conv2d} = 2 * W_{out}H_{out}\times C_{in}\times K_hK_w\times C_{out}/S^2 \] 这里\(W_{out}, H_{out}\)表示输出特征图宽高,\(C_{in}, C_{out}\)分别是输入输出通道数,\(K_h,K_w\)为核大小而\(S\)则是步幅(step size)[^3]。 实际应用中推荐借助第三方库如`thop`来自动化获取更精确的结果： ```python from thop import profile macs, params = profile(model, inputs=(input_tensor,)) print('Computational complexity:', macs) print('Number of parameters:', params) ``` 上述脚本能够方便快捷地得到指定模型及其输入张量组合下的MACs(Multiply-Accumulate operations)与参数计数[^1]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值