本文深入探讨对比学习在人工智能领域的应用，特别是在文本表示模型中的作用。通过对对比学习的原理、损失函数、算法思想和前沿研究的阐述，揭示其如何通过拉近相似样本和拉开不相似样本，学习到高质量的语义表示，提升模型在半监督学习等任务中的性能。此外，介绍了多层对比学习在跨模态检索中的应用，以及如何构建和评价表示空间的质量，强调了构建优质对比样本的关键性。
目录
基于对比学习(ContrastiveLearning)的文本表示模型【为什么】能学到文本【相似】度？
视图预测 View Prediction (Cross modal-based)
Contrastive Learning with Hard Negative Samples
Support-set bottlenecks for video-text representation learning
Hard Negative Mixing for Contrastive Learning
Supervised Contrastive Learning
Contrastive Learning with Adversarial Examples
What Makes for Good Views for Contrastive Learning?
前言
自监督学习（Self-supervised learning）最近获得了很多关注，因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号，然后把学习到的表示（representation）用作下游任务里。最近，对比学习被当作自监督学习中一个非常重要的一部分，被广泛运用在计算机视觉、自然语言处理等领域。它的目标是：将一个样本的不同的、增强过的新样本们在嵌入空间中尽可能地近，然后让不同的样本之间尽可能地远。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
