（NCR）NeurIPS-2021-learning-with-noisy-correspondence-for-cross-modal-matching-Paper

1.背景

要解决的问题：识别False Positive，并尽可能找到最佳配对

2.网络

这是原文网络，之后会拆开讲

3.流程

左边是文章原图，右边是我自己补充了一些细节后的图
原图中用S表示数据集，由于在文中S也表示相似度，所以我改成D了，方便讲解

3-0.数据集与A/B网络 && 3-1.Warmup：A/B网络预训练

• 数据集：
  (noisy correspondence 指的是y=1但是实际是false positive对)
• A/B网络：包含f,g,S三个网络。f/g将I/T embeding到同一维度，S网络计算(f(I),g(T))对的相似度得S(f(I),g(T))，简写为S(I,T)
• DNN记忆性：

DNNs tend to first learn simple samples and then gradually fit the noisy samples. This so-called memorization effect of DNNs will lead to a relatively low loss for the clean samples.

对于上面这个loss，我们用per-sample loss

3-2.Divide：根据w将数据分成clean(𝐷c)和noisy(𝐷𝑛)

（在文中，预测的True Positive分到clean数据集，预测的False Positive分到noisy）

后验概率详解： $$w_i=p(k|l_i)=p(k)p(l_i|k)/p(l_i)$$
p(k|li)是第i个数据是clean的概率，k指有较低平均值的高斯成分 实际含义是第i个数据属于第k类的概率 后验概率可以用来分类，绝绝子

3-3.Rectify：预测数据标签𝑦 ̂

公式里的原标签y=1，毕竟noisy corresponding是解决y=1但是实际是false positive的问题。

3-4.Training：标签𝑦 ̂+Lsoft训练网络B

soft-margin指数增长的好处是：让正对True Positive的相似度S与和该正对有关的 相似度最大的 负对hard negative拉的更开

4.一些细节

6.为什么divide已经预测了数据对为clean的概率，但还有rectify这一步：交叉，预测的clean数据集中可能有false positive，预测的noisy数据集中可能有true positive

5.实验结果