vanna-ai本地部署(qdrant向量库+mysql数据库+qwen-plus llm)
背景
Vanna AI 是一个多功能的数据分析和智能决策平台,旨在帮助企业通过自然语言与数据进行交互。它通过 自动生成 SQL 查询、智能报告、数据可视化等功能,可以大大提高工作效率,并支持 无编程知识的用户 直接与数据进行交互。Vanna AI 非常适合需要大量数据分析和报告生成的企业,特别是在 客户关系管理(CRM)、销售分析、市场研究等领域。
本博客主要展示如何本地部署vanna
着手部署
部署前准备
官方给出有好几种搭配(数据库,向量库,LLM),这里我们选择mysql数据库,向量库使用qdrant,LLM模型使用百炼平台的qwen-plus
qdrant向量库启动(参考https://blog.csdn.net/shizidushu/article/details/141651538)
在win系统上使用wsl拉取镜像并启动
docker pull qdrant/qdrant
docker run -d -p 6333:6333 -p 6334:6334 \
-v $(pwd)/qdrant_storage:/qdrant/storage:z \
qdrant/qdrant
启动后就是下面的情况了:
vanna 安装
接着就根据官网指引开始安装:https://vanna.ai/docs/
pip install 'vanna[qdrant,mysql]'
官方给出的代码:
from vanna.base import VannaBase
from vanna.qdrant import Qdrant_VectorStore
from qdrant_client import QdrantClient
class MyCustomLLM(VannaBase):
def __init__(self, config=None):
# Implement here
pass
def submit_prompt(self, prompt, **kwargs) -> str:
# Implement here
# See an example implementation here: https://github.com/vanna-ai/vanna/blob/main/src/vanna/mistral/mistral.py
class MyVanna(Qdrant_VectorStore, MyCustomLLM):