我想简单的写写nce和infonce

最新推荐文章于 2025-06-29 21:15:15 发布
最新推荐文章于 2025-06-29 21:15:15 发布
阅读量4.8k 收藏 14
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 推荐系统 机器学习 文章标签： 概率论 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lili555521/article/details/124801603
本文探讨了NCE（噪声对比估计）和Infonce在解决大规模多分类问题中的作用。NCE通过将原始分布转化为二分类问题来减少计算量，而Infonce则进一步将其转化为多分类问题，但比传统的全分类更高效。两者的关系在于都采用了转化方法，优化分类损失函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

从概念上了解区分nce 和info nce


我这两天都在看infonce 的推导，我表示很头大。今天感觉看明白了，写出来大家讨论一下。

为什么有nce

为了解决一个问题：多分类问题，尤其是类别相当大的时候msoftmax 函数中分母计算量大的问题。
softmax：softmax
类别上百万的时候，咋算

nce 方案： 不算

咋算？ 不算，转化一下，二分类好算吧，用二分类来算。
怎么转化 ：如上我们要求的是p(w｜c) 分布，nce 方案是，我们转化为一个二分类问题。正样本是p(w,c) 中的，负样本是噪声分布q(w)中的，那么根据后验概率，我们可以求
p(label=1 ｜w,c)，p(label=0|w,c) ,怎么求的看下图，kd 代表 p(w,c)中获取的kd 个正样本，kn 代表q(w） 中kn个负样本。
后验概率推导
那么转化为的二分问题就是求D变量的二分类函数， 就可以区p(w,c) 和 q(w) 。 即是 Noise Contrastive Estimation 噪声对比估计。用相求的分布（正样本分布）和噪声分布做对比。
ps： 关于负样本数量的问题，有一些推导，记住一点就好，负样本愈多，模型越精准。其实我理解就是负样本分布越正确（不一定准确）

为什么有infonce

nce 是将数据分布求解转化为了二分类问题，而infonce 是将数据分布，转化成了多分类问题，但是比softmax 下面的全分类要少,(全分类我自己创的名词，大家理解就好)
infonce 取一

最低0.47元/天 解锁文章

200万优质内容无限畅学
softmax + NCE + infoNCE
weixin_43845922的博客
09-12 1526
InfoNCE 是从 NCE 派生出来的一种特殊形式，主要用于对比学习中的表征学习任务，而 NCE 本质上是一个用于概率密度估计的技术。InfoNCE 的 “Info” 代表互信息的最大化，这也是它与传统 NCE 的核心区别之一。InfoNCE 通过对比正样本和负样本，隐式地最大化了正样本对之间的互信息。它的损失形式在最大化相似样本的联合概率时，类似于在最大化样本间的互信息。虽然 InfoNCE 的原始形式没有直接提及互信息，但它的作用可以被解释为在对比学习中通过最大化互信息来学习有效的表征。
多模态vlm综述：An Introduction to Vision-Language Modeling 论文解读
samoyan的博客,记录技术成长~
06-06 6117
论文：这里主要整理了多模态的技术发展历程，没有一些实验对比的数据。VLM家族：1）对比训练是一种广泛应用的策略，它采用正面例子和负面例子的配对方式。视觉语言模型（VLM）通过这种方式被训练，以针对正面配对预测出相似的表示，同时对于负面配对则预测出不同的表示。2）掩码技术是另一种训练VLM的策略，它通过重构给定的未掩码文本字幕中缺失的部分来实现。类似地，通过在字幕中掩码词语，也可以训练VLM来重构给定未掩码图像中的这些词语。
Noise Contrastive Estimation (NCE) 、负采样（NEG）和InfoNCE
taoqick的专栏
04-06 3269
The issueThere are some issues with learning the word vectors using an "standard" neural network. In this way, the word vectors are learned while the network learns to predict thenext wordgiven awi...
对比学习损失函数：InfoNCE（Information Noise-Contrastive Estimation）【用于Embedding模型（BiEncoder双塔结构）】
最新发布
u013250861的博客
06-29 974
交叉熵损失：是分类任务的标准损失函数，通过 Softmax 将 logits 转换为概率分布，并最小化预测与真实标签之间的差异。它适用于监督学习任务。InfoNCE：是一种自监督学习中的损失函数，通过区分正负样本对的相似度来学习数据表示。它避免了 Softmax 计算的昂贵成本，适用于对比学习任务。构建一个类似于多类对比任务的框架，在其中正样本是“正确类别”，负样本是“错误类别”。在优化过程中平衡正负样本的相似度，避免过拟合。确保对比学习的目标能够最大化正样本的相似度并最小化负样本的相似度。
对比学习前置知识--NCE和InfoNCE
loki2018的博客
04-03 8432
它旨在拉近正样本（相似样本）之间的距离，同时推开负样本（不相似样本）之间的距离，以此来学习数据的有效表示。InfoNCE通过最大化正样本对之间的互信息，同时使得锚点样本与负样本对之间的信息量最小化，从而学习有效的数据表示。它通过对比来自数据分布的样本和来自已知噪声分布的样本，使得模型能够学习区分这两种样本。NCE通常用于语言模型和其他概率模型的训练中，特别是在处理大规模词汇表时，如自然语言处理中的词嵌入学习。代表的是模型输出的概率，它是一个二分类的概率，即模型判别当前正样本。代表噪声样本的数量。
Noise Contrastive Estimation 前世今生——从 NCE 到 InfoNCE
Lethe's Blog
12-22 6725
0 前言 作为刚入门自监督学习的小白，在阅读其中 Contrastive Based 方法的论文时，经常会看到 InfoNCE 这个 loss（在 CPC 的论文中提出），之前只知道它的思想来自于 NCE 以及代表什么含义，但是对其背后的理论推导、以及如何从 NCE 迁移到 InfoNCE 的思想不太清楚，因此这篇文章就是通过理论推导和自己的理解来对 NCE 和 InfoNCE 的来龙去脉有个了解。 1 从 NLP 入手 1.1 背景 NCE，也就是 Noise Contrastive Noise（噪声对比
MoCo中的InfoNCE
weixin_45104951的博客
03-17 1万+
data-sample数据样本q，noise-sample噪声样本（k+、k2、k3…），每次拿数据样本和噪声样本作对比（noise contrastive）。为降低计算复杂度，取部分负样本做损失（estimation）。部分负样本越多，近似越精确，也就是MoCo强调字典尽可能大。NCE将超级多分类问题转换为一系列二分类问题，进而使用softmax操作。 τ控制分布形状，τ变大，分布相应的值变小，分布平滑。如果τ设的过大，对比损失对所有负样本一视同仁，模型学习没有轻重。如果τ设的过小，模型只关注那些特..
infonce
03-18
对于每一个样本 \( x_i \)，其嵌入向量记作 \( z_i \)，则 InfoNCE 损失可写成： \[ L_{i} = -\log \frac{\exp(\text{sim}(z_i, z_j^+)/\tau)}{\sum_{k=1}^{K}\exp(\text{sim}(z_i, z_k^-)/\tau)+\exp(\text{sim}(z_...
overleaf写图对比学习的Notations and Preliminaries
02-28
def info_nce_loss(anchor_embeddings, positive_embeddings, negative_embeddings, temperature=0.5): pos_scores = F.cosine_similarity(anchor_embeddings, positive_embeddings) neg_scores = [] for neg_...
从NCE loss到InfoNCE loss
热门推荐
m0_37876745的博客
12-10 2万+
关于NCE loss： NCE bridges the gap between generative models and discriminative models, rather than simply speedup the softmax layer. 知乎上的说法，NCE强大之处真的不只是能够解决巨大词表Softmax的运算量的问题（关于这个，有更多的解决此问题的思路：https://link.zhihu.com/?target=http%3A//ruder.io/word-embedding
对比学习中的NCE(Noise-Contrastive Estimation)和InfoNCE(SimCLR)损失函数+案例（附SimSiam分析）
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
04-05 1196
在对比学习（Contrastive Learning）中，NCE（Noise-Contrastive Estimation）和InfoNCE是两种常见的目标函数，它们都用于通过区分正样本和负样本来学习高质量的表示。NCE 是 word2vec 中用于高效训练词嵌入的关键技术，它通过将多分类问题转化为二分类问题来避免 softmax 计算中的归一化项，大幅提高训练效率。
NCEloss与InfoNCEloss的区别
qq_45809323的博客
09-26 1466
NCE Loss（Noise Contrastive Estimation Loss）和是两种常用的损失函数，主要应用在对比学习和自监督学习任务中。它们的区别在于应用场景和具体实现细节。
InfoNCE：解锁深度学习中的对比编码之钥
gitblog_00085的博客
06-09 672
InfoNCE：解锁深度学习中的对比编码之钥 项目地址:https://gitcode.com/gh_mirrors/in/info-nce-pytorch 在当今的机器学习领域，如何高效地从大量的高维度数据中提取有意义的信息并将其映射到低维空间，已成为研究的热点。InfoNCE，这一源自论文《 Representation Learning with Contrastive Predictive...
SupConLoss&(CE/NCE/info NCE)
记录/交流，加油啊呀...
02-09 1226
参考。
InfoNCE的理解
Cybenko
03-09 883
InfoNCE
InfoNCE损失
超大青花鱼的博客
07-16 2083
InfoNCE损失基于噪声对比估计的思想，用于训练模型来区分正样本对和负样本对。
InfoNce损失
buyaotutou的博客
10-25 2571
LInfoNCE−log⁡exp⁡simITτ∑k1Kexp⁡simITkτLInfoNCE​−log∑k1K​expsimITk​τexpsimITτ​simITsimIT表示图像III和文本TTT的相似度（例如，可以是余弦相似度）。τ\tauτ是温度超参数，用于控制分布的平滑度。TkTk​表示负样本集合（即不匹配的文本集合）。KKK是负样本的数量。
超大规模分类（二）：InfoNCE
Jamence的博客
01-05 1107
结合噪声对比估计（Noise Contrastive Estimation，NCE）的思想，通过互信息（Mutual Information）最小化来优化大规模分类任务，2019年，DeepMind的研究人员提出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值