多模态相关论文笔记

(cilp) Learning Transferable Visual Models From Natural Language Supervision

从自然语言监督中学习可迁移的视觉模型
openAI 2021年2月 48页
PDF
CODE
CLIP(Contrastive Language-Image Pre-Training)对比语言图像预训练模型

引言

它比ImageNet模型效果更好，计算效率更高。尤其是zero-shot能力更强。

方法

选择一个高效的预训练策略

最初的想法类似于VirTex，联合训练一个图像CNN和文本Transformer预测一张图片的标题。但是很难预测到最准确的词汇。因此将预测目标函数改为了对比目标函数。

给定一个batch里的N个图文对（图片，文本），CLIP用来预测N×N个实际可能发生的图文对。为此，CLIP通过联合训练图片编码器和文本编码器学习了一个多模态的embedding空间，来最大化这N个真实图文对中图片和文本embedding之间的cosine相似度，同时最小化错误对的cosine相似度。损失函数：SCE 对称交叉熵
只使用了一个线性投影将各编码器表示汇集到多模态embedding空间中。简化了很多模块。架构图如图所示。

伪代码：

# ima