深度学习自学（三十六）：有效提升图像分类噪声鲁棒性的小波卷积网络

一个模型既需要能够在训练数据上学到有效的特征（良好的拟合），又需要能够在未知数据上表现良好（泛化能力），同时还需要能够处理各种干扰和噪声（鲁棒性）。深度学习中的鲁棒性（Robustness）和泛化能力（Generalization）是两个重要的概念，它们都与模型在面对不同数据集或噪声条件下的表现有关。：泛化能力指的是一个模型对于在训练过程中未曾见过的数据的表现能力。：泛化能力是机器学习中至关重要的一个概念，因为我们往往希望训练出的模型能够对未来遇到的新数据做出准确的预测或分类。

已经提出将噪声作用于输入，作为数据集增强策略。对于某些模型而言，向输入添加方差极小的噪声等价于对权重施加范数惩罚。在一般情况下，注入噪声远比简单地收缩参数强大，特别是噪声被添加到隐藏单元时会更加强大。向隐藏单元添加噪声是值得单独讨论重要的话题。另一种正则化模型的噪声使用方式是将其加到权重。这项技术主要用于循环神经网络。这可以被解释为关于权重的贝叶斯推断的随机实现。贝叶斯学习过程将权重视为不确定的，并且可以通过概率分布表示这种不确定性。向权重添加噪声是反映这种不确定性的一种实用的随机方法。

对于某些模型而言,向输入添加方差极小的噪声等价于对权重施加范数惩罚 (Bishop, 1995a,b)。在一般情况下,注入噪声远比简单地收缩参数强大,特别是噪声被添加到隐藏单元时会更加强大。向隐藏单元添加噪声是值得单独讨论重要的话题;...

本文主要介绍算法或模型的稳定性与鲁棒性区别，解释说明

权重噪声输入是深度学习中的一种常见的正则化方法，其等同于在原代价函数中添加一个正则项，并鼓励代价函数下降到平坦的区域，从而实现噪声鲁棒性

本文系统梳理了边缘检测从经典Canny算法到深度学习方法的演进，重点解析了Canny算法的数学原理及其对卷积神经网络设计的深远影响。通过PyTorch实战，详细演示了如何构建并训练一个基于HED架构的深度学习边缘检测模型，并探讨了模型优化、评估及与传统方法融合的高级技巧。

噪声鲁棒语音识别 语音识别的噪声鲁棒性：指在输入语音质量退化，语音的音素特性、分割特性或声学特性在训练和测试环境中不同时，语音识别系统仍保持较高识别率的性质。 基于统计模型的语音识别系统中，训练的数据必须具有充分的代表性。 当识别系统应用于噪声环境时，纯净的训练数据与被噪声污染的测试数据之间存在着不匹配，识别系统在噪声环境下的性能下降主要归因于这种不匹配。 噪声鲁棒语音识别的研究目标就是消除或减少这种不匹配的影响，使识别系统的性能尽量接近匹配条件下的性能。 由噪声引起的训练和测试的不匹配可以从信号空间、特

指的是模型对于输入数据的健壮性，即模型在遇到各种不同的数据输入时，仍然能够保持高效的表现。一个鲁棒性强的模型能够在噪声、缺失数据或者其他异常情况下也能够准确地预测结果。则是指模型对于新数据的适应能力，即模型能否对于未在训练集中出现的数据进行准确的预测。一个具有很强泛化性的模型能够在不同的数据集上都表现出色，而不仅仅是在训练集上表现好。深度学习中的目标是构建既有鲁棒性又有泛化性的模型，即能够在多种情况下都能够高效准确预测结果的模型。

小波集成CNN进行噪声鲁棒的图像分类 Wavelet Integrated CNNs for Noise-Robust Image Classification 文章目录小波集成CNN进行噪声鲁棒的图像分类摘要一、引言二、相关工作2.1 噪声鲁棒性2.2 下采样2.3 小波三、我们的方法3.1 DWT和IDWT层3.2 WaveCNets 摘要 卷积神经网络（CNN）通常容易受到噪声干扰，即较小的图像噪声会导致输出的急剧变化。 为了抑制噪声对最终预测的影响，我们通过用离散小波变换（DWT）替换最大池化

**1.鲁棒性：**鲁棒性指对数据集中的异常值也能保持稳定可靠的性质称为鲁棒性。常见的应用有鲁棒性控制实验。 **2.噪声数据（noisy labels）：**深度神经网络的成功依赖于高质量标记的训练数据。训练数据中存在标记错误（标记噪声，即Noisy Labels）会大大降低模型在干净测试数据上的准确性。不幸的是，大型数据集几乎总是包含带有不正确或不准确的标签。这导致了一个悖论：一方面，大型数据集对于深度网络的训练是非常必要的，而另一方面，深度网络往往会记住训练标签噪声，从而在实践中导致较差的模型性能。

深度学习的安全性与鲁棒性 作者：禅与计算机程序设计艺术 1. 背景介绍 深度学习作为当前人工智能领域最为热门和成功的技术之一,在计算机视觉、自然语言处理、语音识别等众多应用中取得了突破性进展。然而,随着深度学习模型在关键领域的广泛应用,其安全性和鲁棒性也逐渐引起了人们的高度关注。

鲁棒性（Robustness）是指系统或模型在面对不确定性、噪声或扰动时，依然能够表现出良好性能的能力。

这是一篇ICCV 2019的论文，论文地址： ICCV 2019 Open Access Repository (thecvf.com)https://openaccess.thecvf.com/content_ICCV_2019/html/Wang_Symmetric_Cross_Entropy_for_Robust_Learning_With_Noisy_Labels_ICCV_2019_paper.html如果访问较慢，可以尝试科学上网 目录 1.摘要 2.简介 3.相关研究 4.交叉熵的

深度学习中的鲁棒性指的是模型对于输入数据变化的健壮性。具体来说，一个具有鲁棒性的深度学习模型，在遇到各种不同的输入变化时，能够保持良好的性能，并准确地做出预测。这种鲁棒性不仅体现在模型对噪声、缺失数据或其他异常情况的适应能力上，也体现在模型对于新数据或未知情况的适应能力上。

论文链接：Multi-level Wavelet-CNN for Image Restoration | IEEE Conference Publication | IEEE Xplorex​​​​​​​x 论文来源：CVPRW2018 项目地址：GitHub - lpj0/MWCNN: Multi-level Wavelet-CNN for Image Restoration（matlab）GitHub - lpj-github-io/MWCNNv2: Multi-level Wavelet Conv