论文精读之BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding

前言：因为之前看了CLIP，所以把BLIP看了一下，其实模型也没有很复杂，整体来说还是编解码器结构，只不过 加了图像文本对比学习以及图像文本匹配学习，作者还提出了一种针对有噪声的图像文本对的数据增强方式，想法蛮不错，但是还是需要有文本描述的图像才行，我个人是觉得，要是只有图像就能获得对应的描述作为增强数据就好了，因为实际生活中，常常是只有图像没有对应的文本。好了，我们进入正题吧~

《BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation》

2022
论文: https://arxiv.org/pdf/2201.12086.pdf
代码：https://github.com/salesforce/BLIP

作者创新点

思考依据：

①许多VLP模型要么在基于理解的任务上表现的好，要么在基于生成的任务上表现的好，很少有模型能够兼顾这两方面
②而且，很多模型的性能改进都是通过扩大相关的图像文本对的数据集来实现的，这并不是一个好的方法