CLIP模型手把手复现

### CLIP 模型复现教程 CLIP (Contrastive Language–Image Pre-training) 是一种多模态模型，能够通过联合训练文本和图像来生成高质量的特征表示。以下是基于 PyTorch 的 CLIP 模型复现的关键步骤。 #### 1. 数据准备与预处理 为了从头开始复现 CLIP 模型，需要构建一个包含配对的图像和对应描述的数据集。数据预处理通常涉及以下几个方面[^3]: - **加载图像**: 使用 `PIL` 或其他库读取图像文件。 - **文本编码**: 将自然语言描述转换为数值向量形式，常用的方法是词嵌入或 BERT 风格的编码器。 - **标准化**: 对图像进行缩放、裁剪和归一化操作以便于输入到卷积神经网络中。 ```python from PIL import Image import torch from torchvision.transforms import Compose, Resize, CenterCrop, ToTensor, Normalize transform = Compose([ Resize(224), CenterCrop(224), ToTensor(), Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) def preprocess_image(image_path): image = Image.open(image_path).convert('RGB') return transform(image) text_encoder = ... # 自定义实现或使用现有工具如 HuggingFace Transformers ``` #### 2. 构建网络架构 CLIP 模型由两个主要部分组成：视觉编码器（Vision Encoder）和文本编码器（Text Encoder）。两者分别提取图像和文本的特征，并通过对比损失函数优化它们之间的相似度[^1]: - **视觉编码器**: 可以采用 ResNet 或 ViT 等主流架构作为基础骨架。 - **文本编码器**: 推荐使用 Transformer 结构，类似于 GPT 或 BERT 中的设计。 ```python class VisionEncoder(torch.nn.Module): def __init__(self): super().__init__() self.model = torch.hub.load('pytorch/vision:v0.10.0', 'resnet50', pretrained=False) def forward(self, x): return self.model(x) class TextEncoder(torch.nn.Module): def __init__(self): super().__init__() from transformers import AutoModel self.text_model = AutoModel.from_pretrained("bert-base-uncased") def forward(self, input_ids, attention_mask=None): outputs = self.text_model(input_ids=input_ids, attention_mask=attention_mask) return outputs.last_hidden_state[:, 0] vision_encoder = VisionEncoder() text_encoder = TextEncoder() ``` #### 3. 设置参数并训练 在完成上述准备工作之后，可以通过自定义损失函数进一步调整模型权重。具体来说，CLIP 利用了 InfoNCE Loss 来最大化正样本间的余弦相似度而最小化负样本的影响： \[ \mathcal{L} = -\log{\frac{\exp{(s_{i,j}/\tau)}}{\sum_k \exp{(s_{i,k}/\tau)}}}, \] 其中 \( s_{i,j} \) 表示第 i 张图片与其匹配文本 j 的相似分数，\( \tau \) 是温度超参用于控制分布平滑程度。 ```python temperature = 0.07 criterion = torch.nn.CrossEntropyLoss() def compute_loss(vision_features, text_features): logits_per_vision = vision_features @ text_features.T / temperature labels = torch.arange(len(vision_features), device=logits_per_vision.device) loss_i = criterion(logits_per_vision, labels) loss_t = criterion(logits_per_vision.t(), labels) return (loss_i + loss_t) / 2 ``` #### 4. 测试训练好的模型 当模型收敛后即可保存下来供后续推理阶段调用。对于新传入的一张照片及其候选标签列表，则只需重复执行前两步流程再计算最终得分矩阵即可得出预测结果. ---