CLIP-as-service项目详解：构建高效的跨模态搜索服务-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00373/article/details/148392746

CLIP-as-service项目详解：构建高效的跨模态搜索服务

clip-as-service 🏄 Scalable embedding, reasoning, ranking for images and sentences with CLIP 项目地址: https://gitcode.com/gh_mirrors/cl/clip-as-service

项目概述

CLIP-as-service是一个基于OpenAI CLIP模型的跨模态搜索服务框架，它能够将图像和文本映射到统一的向量空间，实现图像与文本之间的语义搜索。该项目将CLIP模型封装为可扩展的微服务架构，支持多种运行时环境，包括PyTorch、ONNX和TensorRT，满足不同场景下的性能需求。

核心特性

跨模态检索：支持"以图搜文"和"以文搜图"两种搜索模式
高性能服务：提供多种运行时后端选择，包括PyTorch原生实现、ONNX优化版本和TensorRT加速版本
分布式架构：采用微服务设计，客户端和服务端可独立部署
简单易用：提供简洁的Python API，几行代码即可实现跨模态搜索功能

安装指南

环境要求

Python 3.7+
根据运行环境选择安装包

安装选项

客户端安装（仅需执行搜索操作）

pip install clip-client

服务端安装（提供搜索服务）

PyTorch版本（兼容性最好）

pip install clip-server

ONNX版本（性能优化）

pip install "clip_server[onnx]"

TensorRT版本（最高性能）

pip install nvidia-pyindex 
pip install "clip_server[tensorrt]"

快速验证

启动服务端

根据硬件环境选择合适的启动方式：

PyTorch服务

python -m clip_server

ONNX服务

python -m clip_server onnx-flow.yml

TensorRT服务

python -m clip_server tensorrt-flow.yml

首次启动时会自动下载预训练模型，完成后会显示服务地址信息：

╭────────────── 🔗 Endpoint ───────────────╮
│  🔗     Protocol                   GRPC  │
│  🏠        Local          0.0.0.0:51000  │
│  🔒      Private    192.168.31.62:51000  │
|  🌍       Public   87.105.159.191:51000  |
╰──────────────────────────────────────────╯

客户端连接测试

根据网络环境选择合适的地址：

同机测试：使用本地地址(0.0.0.0)
内网连接：使用私有地址(192.168.x.x)
公网连接：使用公网地址

测试代码：

from clip_client import Client

c = Client('grpc://0.0.0.0:51000')
c.profile()

成功连接后会返回性能分析数据：

 Roundtrip  16ms  100%
├──  Client-server network  8ms  49%
└──  Server  8ms  51%
    ├──  Gateway-CLIP network  2ms  25%
    └──  CLIP model  6ms  75%