卷积(convolution)和互相关(cross-correlation)

在卷积神经网络中，虽然卷积层得名于运算，但我们通常在卷积层中使用更加直观的运算。

傅里叶变换（Fourier Transform, FT）的结果是对​​，其核心输出是一个​​，包含信号的全部频率成分信息。

互相关运算和卷积运算是两种常用的图像处理方法。它们都是用于在图像处理中进行滤波操作的。

在卷积神经网络（CNN）中，通常所说的“卷积”实际上是指的互相关操作，因为卷积核在滑动过程中并没有进行翻转。：一种常用的相似系数是余弦相似度（Cosine Similarity），它基于两个向量的内积和它们的模长（或范数）来定义。内积（Inner Product），也称为点积（Dot Product）或标量积，它接受两个向量作为输入，并输出一个标量（通常是实数或复数）。需要注意的是，协方差的大小受变量量纲和尺度的影响，所以当需要比较不同变量之间的关系强度时，通常会使用标准化后的度量——相关系数。

前言：尽最大努力，把【卷积】和【互相关】的诞生、原理，及其物理意义搞清楚。 目录 1 卷积 1.1 卷积是什么 1.2 卷积公式的定义 1.3 卷积运算的物理意义 1.3.1 离散卷积例子：信号分析 1.3.2 连续卷积例子：馒头的腐败量 该例子总结：馒头的生产总量是一个‘输出信号’，馒头的腐败公式描述了‘食物腐败系统’的特性。利用卷积公式，我们能解决这个【信号和系统】问题。 1.3.3 卷积在图像处理中例子： 2 互相关 2.1 互相关的定义 2.2 互相关的例子——雷达回波分

1.互相关（cross correlation）与卷积（convolution）1）互相关：2）卷积相关的计算步骤：（1）移动相关核的中心元素，使它位于输入图像待处理像素的正上方（2）将输入图像的像素值作为权重，乘以相关核（3）将上面各步得到的结果相加做为输出卷积的计算步骤：（1）卷积核绕自己的核心元素顺时针旋转180度（2）移动卷积核的中心元素，使它位于输入图像待处理像素的正上方（3）在旋转后的...

深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现 1. 分组卷积(Group Convolution) 分组卷积最早出现在AlexNet中，如下图所示。在CNN发展初期，GPU资源不足以满足训练任务的要求，因此，Hinton采用了多GPU训练的策略，每个GPU完成一部分卷积，最后把多...

一.卷积和相关函数的定义 1.卷积的定义 设函数是上的两个可积函数，作积分： 则称为函数的卷积。常表示为。 卷积是频率分析的一种工具，其与傅里叶变换有着密切关系。 2.互相关函数的定义 设函数是上的两个可积函数，作积分： 则称为函数的互相关函数。 （容易证明与等价。） 互相关函数描述了两信号之间的相关情况或取值依赖关系。如果对一个理想测试系统的输入与输出信号求互相...

理清卷积和互相关运算在深度学习中的区别背景卷积定义实际使用 背景 信号与系统这门课我忘得快差不多了，现在只记住了一个概念：时域卷积等于频域乘积 现在用深度学习，总感觉里面的卷积怪怪的，如下是深度学习所谓的“卷积”（其实是互相关运算）： 输入对应位置和卷积核对应位置相乘再求和，得到输出。 0×0+1×1+3×2+4×3=19, 1×0+2×1+4×2+5×3=25, 3×0+4×1+6×2+7×3...

http://paulbourke.net/miscellaneous/correlate/ Cross Correlation AutoCorrelation -- 2D Pattern Identification Written by Paul Bourke August 1996 Cross correlation is a standard meth

互相关和卷积听起来就很复杂的样子，接下来，慢慢钻研以下。

卷积注重通过滤波器翻转来提取特定方向或模式的特征，因此在某些特定的应用中效果更好。互相关更侧重于度量信号或图像的相似性，直接应用于匹配和检测等领域。尽管两者在计算上略有不同，但由于卷积神经网络的实际实现经常省略滤波器翻转，所以在很多深度学习的文献中，它们几乎是等价的。