CLIP ViT原理

### CLIP 和 ViT 模型工作原理 #### CLIP 工作原理 CLIP (Contrastive Language–Image Pre-training) 是一种多模态模型，旨在通过对比学习框架联合训练图像编码器和文本编码器。该方法利用大量的互联网图片及其描述作为无监督数据源来预训练模型。 具体来说，在训练过程中，给定一批成对的图文样本以及一些负样本，CLIP 将计算每一对之间的相似度得分并优化目标函数使得正样本间的距离更近而负样本间则相反[^1]。这种机制允许模型学会理解不同形式的数据之间语义上的关联性。 对于实际应用而言，经过充分训练后的 CLIP 可以用于多种下游任务如零样本分类、跨模态检索等场景下表现优异。 ```python import clip model, preprocess = clip.load("RN50") text_inputs = clip.tokenize(["a diagram", "a dog", "a cat"]) image_input = preprocess(image).unsqueeze(0) with torch.no_grad(): image_features = model.encode_image(image_input) text_features = model.encode_text(text_inputs) logits_per_image = image_features @ text_features.T probs = logits_per_image.softmax(dim=-1).cpu().numpy() ``` #### ViT 工作原理 Vision Transformer(ViT)，即视觉变换网络，是一种基于Transformer架构设计用来处理计算机视觉问题的方法。不同于传统的卷积神经网络(CNNs),ViT直接将输入图像分割成固定大小的小块(patch)，并将这些patch线性映射到高维向量空间形成序列化表示；之后再送入标准的Transformers层中进行特征提取与聚合操作最终完成预测任务。 为了使纯Transformer能够有效地应用于二维结构化的像素级数据上，研究者们引入了位置嵌入(position embedding)技术帮助捕捉局部关系信息，并且还采用了特殊的初始化策略确保稳定收敛性能良好。 ```python from transformers import ViTFeatureExtractor, ViTForImageClassification from PIL import Image import requests url = 'http://images.cocodataset.org/val2017/000000039769.jpg' image = Image.open(requests.get(url, stream=True).raw) feature_extractor = ViTFeatureExtractor.from_pretrained('google/vit-base-patch16-224') model = ViTForImageClassification.from_pretrained('google/vit-base-patch16-224') inputs = feature_extractor(images=image, return_tensors="pt") outputs = model(**inputs) logits = outputs.logits predicted_class_idx = logits.argmax(-1).item() print(f"Predicted class: {model.config.id2label[predicted_class_idx]}") ```