elasticsearch 关于向量化检索

会发paper的学渣

已于 2024-12-01 19:46:44 修改

阅读量1.8k

点赞数 11

CC 4.0 BY-SA版权

文章标签： elasticsearch RAG向量检索

于 2024-04-18 16:54:50 首次发布

本文链接：https://blog.csdn.net/sslfk/article/details/137925767

1、elasticsearch使用的是8.5.0

索引和mapping构建：

PUT image-index
{
  "mappings": {
    "properties": {
      "mydatavector": {
        "type": "dense_vector",
        "dims": 3,
        "index": true,
        "similarity": "dot_product"
      },
      "title": {
        "type": "text"
      }
    }
  }
}

2、数据入库：使用python的elasticsearch 包如果为7.11的，可以同时兼容6.x、7.x、8.x版本

from sentence_transformers import SentenceTransformer

from elasticsearch import Elasticsearch

from elasticsearch.helpers import bulk

encoder = SentenceTransformer('你的模型本地路径')

client2 = Elasticsearch(['http://用户名:密码@IP:PORT'])

def batch_write(data):
    actions = [
        {

            "_index": "index_name", # 替换为您的索引名称
     &nb