pytorch 激活函数

最新推荐文章于 2025-04-02 13:37:25 发布

AI算法网奇

最新推荐文章于 2025-04-02 13:37:25 发布

阅读量3.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： pytorch知识宝典文章标签： pytorch 深度学习人工智能

本文链接：https://blog.csdn.net/jacke121/article/details/83046244

pytorch知识宝典专栏收录该内容

512 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了PyTorch中几种常见的激活函数，包括Swish、ReLU、ReLU6和LeakyReLU。在速度比较中，ReLU表现最快，而Swish可能在某些场景下提供更好的收敛性。注意到，使用inplace=True会改变输入值。此外，LeakyReLU在收敛速度上较慢，且不适用于BCELoss的情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

swish激活函数：

Swish激活 hswish激活_jacke121的专栏-CSDN博客_swish激活

mobilefacenet:

prelu 平均106ms

relu 平均94ms，快12ms，快10%

relu6 平均97ms，收敛慢

leakyrelu，平均106ms，收敛更慢。

inplace=True会x把输入前的删掉了，都变成了输入后的，

没有inplace，输入还是输入，输出是新的了。

import torch
import torch.nn as nn

#inplace为True，将会改变输入的数据 ，否则不会改变原输入，只会产生新的输出
m = nn.LeakyReLU(inplace=True)
input = torch.randn(7)

print("输入处理前图片：")
print(input)

output = m(input)

print("ReLU输出：")

了解本专栏