YOLOv5改进系列(二) 本文(1.万字) | 解读各种激活函数 | 更换激活函数 | SiLU | ReLU | ELU | Hardswish | Mish | Softplus | 等 |

已于 2024-01-29 01:15:47 修改
阅读量1.3k 收藏 15
点赞数 24
CC 4.0 BY-SA版权
文章标签： YOLO 人工智能 深度学习 激活函数 SiLU ReLU Mish
于 2023-12-29 11:54:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44302770/article/details/135275234
人工智能专栏计划 专栏收录该内容
142 篇文章

已下架不支持订阅

本文详细解读了多种激活函数，包括ReLU、SiLU、Swish、Hardswish、Mish等，探讨了它们的优缺点及在神经网络中的应用，旨在帮助选择合适的激活函数以提升模型性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

点击进入专栏：
《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程

代码函数调用关系图(全网最详尽-重要)

因文档特殊，不能在博客正确显示，请移步以下链接！

图解YOLOv5_v7.0代码结构与调用关系(点击进入可以放大缩小等操作)

预览：
在这里插入图片描述

文章目录

    • 一、激活函数的简介
      • 1.1 什么是激活函数？
      • 1.2 激活函数有什么用？
    • 二、一些常见的激活函数
      • 2.1 sigmoid函数
      • 2.2 tanh / 双曲正切激活函数
      • 2.3 ReLU激活函数
      • 2.4 SiLU
      • 2.5 swish激活函数
      • 2.6 hardswish激活函数
      • 2.7 Mish激活函数
      • 2.8 ELU激活函数
      • 2.9 AconC/MetaAconC激活函数
      • 2.10 Softplus激活函数
      • 2.11 Leaky ReLU、 PReLU
      • 2.12 代码复现
        • 复现一
        • 复现二
    • 三、更换激活函数的步骤
        • 第①步 打开activations.py文件，查看已有函数
        • 第②步 在common.py中更换激活函数
    • 四、如何选择合适的激活函数

一、激活函数的简介

1.1

了解本专栏 已下架不支持订阅
小酒馆燃着灯
关注
专栏目录

已下架不支持订阅

YOLOv5改进系列（13）——更换激活函数之SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC系列等
路人贾的博客
07-04 6569
手把手教你学会YOLOv5改进系列之如何更换激活函数，内含SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC系列等详细讲解及改进方法！
YOLOv5算法改进（18）— 手把手教你去更换激活函数（SiLU/ReLU/ELU/Hardswish/Mish/Softplus）
突然好想你
09-18 2226
在YOLOv5中，使用了不同的激活函数。本节课就简单介绍一下常见的激活函数并重点讲解如何去更换激活函数！
YOLOv5改进系列(二) 更换激活函数SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC等
专注于人工智能学习，总结
12-14 8019
1.1 什么是激活函数？在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等等）对结果进行运算，这个函数就是激活函数（Activation Function）。那么为什么需要添加激活函数呢？如果不添加又会产生什么问题呢？首先，我们知道神经网络模拟了人类神经元的工作机理，**激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。**
yolov5学习笔记
ZHUYOUKANG的博客
02-02 606
这篇博客写的很详细yolov5理论学习笔记，我这里主要结合代码再详细进行学习记录。 网络结构 1）Focus结构，对输入的四种下采样切片后Concat,输入[n,c,h,w]->[n,c*4,h/2,w/2] 2)
【YOLOv5/v7改进系列】替换激活函数为SiLU、ReLU、LeakyReLU、FReLU、PReLU、Hardswish、Mish、ELU等
2401_84870184的博客
05-24 5617
激活函数不仅决定了神经网络的学习能力，还在很大程度上影响了目标检测模型的精度、训练效率以及最终的检测性能。因此，在设计目标检测网络时，精心选择和设计激活函数是一个重要环节。
YOLO系列梳理（三）YOLOv5
CV技术指南（微信公众号）
04-24 1万+
前言YOLOv5 是在 YOLOv4 出来之后没多久就横空出世了。今天笔者介绍一下 YOLOv5 的相关知识。目前 YOLOv5 发布了新的版本，6.0版本。在这里，YOLOv5 也在5.0基础上集成了更多特性，同时也对模型做了微调，并且优化了模型大小，减少了模型的参数量。那么这样，就更加适合移动端了。 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 YOLOv5 网络模型结构 与之前的 YOLOv3、YOLOv4 不同，v3、v4 除..
YOLOv5永不缺席 | YOLO-Pose带来实时性高且易部署的姿态估计模型！！！
qq_29462849的博客
04-16 2855
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨ChaucerG来源丨集智书童本文介绍了YOLO-Pose，一种新的无Heatmap联合检测方法，是基于YOLOv5目标检测框架的姿态估计。现有的基于Heatmap的两阶段方法并不是最优的，因为它们不是端到端训练的，且训练依赖于替代L1损失，不等价于最大化评估度量，即目标关键点相似度(OKS)。YOLO-Pos...
YOLOv8改进 | 激活函数 | 十余种常见的激活函数一键替换【完整代码】
kay_545
08-02 2267
yolov8改进，激活函数，yolov8
[YOLOv7/YOLOv5系列算法改进NO.34]更换激活函数为FReLU等十余种激活函数
m0_70388905的博客
10-18 8314
YOLOv5、v7改进之三十四：更换激活函数为FReLU。关注即免费获取深度学习资料！
YOLOv5/v 更改激活函数：计算机视觉研究
JjtlReact的博客
09-19 348
激活函数是深度学习中的关键组成部分，它对于神经网络的性能和收敛速度有重要影响。在计算机视觉领域，YOLOv5/v是一个广泛应用的目标检测框架，它具有高精度和实时性能。本文将探讨如何在YOLOv5/v中更改激活函数，并提供相应的源代码。YOLOv5/v是一种基于单阶段目标检测方法的模型，它采用了骨干网络和检测头两个部分。骨干网络用于提取图像特征，而检测头用于预测目标的边界框和类别。在YOLOv5/v中，激活函数通常用于增加非线性能力，帮助模型更好地捕捉图像特征。一种常见的激活函数是ReLU（Rectified
【YOLO系列】YOLOv5超详细解读（源码详解＋入门实践＋改进）
热门推荐
路人贾的博客
03-03 22万+
一文带你详细了解YOLOv5（含YOLO系列论文讲解+源码详解+入门实践+算法改进）
绘制yolov5自带的几种激活函数
孟孟单单的博客
12-01 1379
绘制yolov5自带的几种激活函数
改进YOLOv5的激活函数选择：SiLU、ReLU、ELU、Hardswish、Mish、Softplus和AconC系列
IdfdFsharp的博客
09-18 1517
激活函数在神经网络中起着重要的作用，它们引入了非线性性质，帮助网络模型学习复杂的特征表示。在YOLOv5中，选择合适的激活函数对于提高模型的性能和准确性至关重要。本文将讨论改进YOLOv5的激活函数选择。我们将介绍SiLU、ReLU、ELU、Hardswish、Mish、Softplus和AconC系列等常用激活函数，并提供相应的源代码示例。以上是几种常用的改进YOLOv5的激活函数选择。在实际应用中，可以根据具体的任务和数据集特点选择适合的激活函数，以提高模型的性能和准确性。
深度学习卷积神经网络YOLOv5详解
09-22 2万+
样本扩充的依据是判断gt的中心点落在的网格相对的上下左右偏移量.( 例如,gt的中心在网格中偏向左上角,那么gt所在gird的上方和左方的gird也会被扩充为gt样本.同时,扩充的gird所对应的gt框是由原始的gt框移动一个单位到其所在的gird中) ,下面这张图可以很好的解释这一过程。Yolov4的Neck结构中，采用的都是普通的卷积操作。作者认为，在项目实际使用时，很多图片的长宽比不同，因此缩放填充后，两端的黑边大小都不同，而如果填充的比较多，则存在信息冗余，影响推理速度。
目标检测算法——YOLOv5/YOLOv7改进之更换FReLU激活函数
加勒比海带66——【YOLO魔法搭配&论文投稿咨询】
10-27 1万+
目标检测算法——YOLOv5/YOLOv7更换FReLU激活函数。
yolov5 激活函数 SiLU 改为 ReLU
SZ170110231的博客
11-01 705
在这里插入图片描述。
YOLOv5核心基础知识讲解
weixin_43960370的博客
04-12 1万+
我这主要是老师的内容！！
yolov5激活函数和损失函数改进
游泳的鱼的专栏
11-15 3449
本文尝试通过改进更为专用于视觉任务的激活函数来网络进行改进。
通俗易懂的YOLO系列（从V1到V5）模型解读！
小白学视觉
01-01 4万+
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达0 前言本文目的是用尽量浅显易懂的语言让零基础小白能够理解什么是YOLO系列模型，以及他们的设计思想和改进思路分别是什...
YOLOV5是用silu还是relu
最新发布
06-10
尽管 YOLOv5 默认使用 SiLU 作为激活函数，但用户也可以根据需求更换为其他激活函数，例如 ReLU、ELU、Hardswish、Mish 或 Softplus 等[^3]。ReLU 是一种常见的激活函数，其定义为 \( f(x) = \max(0, x) \)，虽然...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小酒馆燃着灯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值