AI老板心中的迈巴赫:DeepSeek+Ollama+Xinference+RAGFlow+Dify部署教程,RAG落地5件套!

DeepSeek-R1火了之后,Ai老板部署需求大大提升,抛开效果不谈,五件套易用性和灵活性相比VLLM大大提升,门槛较低,但是效果不言而喻。

以下部署全部以docker方式进行,因为太方便了,但同时坑很多,请做好心理准备

喜欢折腾的同学可以按照下面教程进行部署,我也是被逼无奈

请杯子里面装满水,原地坐牢,不出意外的话就马上出意外了,一个BUG一支烟

Xinference部署

Xorbits Inference (Xinference) 是一个开源平台,用于简化各种 AI 模型的运行和集成。借助 Xinference,您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理,并创建强大的 AI 应用。

项目地址:https://github.com/xorbitsai/inference#/ 文档地址:https://inference.readthedocs.io/zh-cn/latest/#/

docker run \
  --name xinference \
  -d \
  -p 9997:9997 \
  -e XINFERENCE_HOME=/data \
  -v $(pwd):/data \
  --gpus all \
  xprobe/xinference:latest \
  xinference-local -H 0.0.0.0
  1. docker run- 启动一个新的Docker容器
  2. --name xinference- 将容器命名为"xinference"
  3. -d- 以分离(后台)模式运行容器
  4. -p 9997:9997- 将容器的9997端口映射到主机的9997端口
  5. -e XINFERENCE_HOME=/data- 设置环境变量,指定Xinference的主目录为容器内的/data
  6. -v $(pwd):/data- 将当前工作目录挂载到容器内的/data目录,实现数据持久化
  7. --gpus all- 允许容器使用主机上的所有GPU资源
  8. xprobe/xinference:latest- 使用最新版本的xprobe/xinference镜像
  9. xinference-local -H 0.0.0.0- 在容器内运行xinference-local命令,并设置主机地址为0.0.0.0(允许从任何IP地址访问)

img

部署成功之后可以直接访问:http://localhost:9997

部署一个reranker

选择从modelscope下载速度比较快

img部署成功之后

img

RAGFlow部署

RAGFlow 是一款基于深度文档理解构建的开源 RAG(Retrieval-Augmented Generation)引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程,结合大语言模型(LLM)针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。

项目地址:https://github.com/infiniflow/ragflow 文档地址:https://ragflow.io/docs/dev/

步骤1:克隆仓库

$ git clone https://github.com/infiniflow/ragflow.git
$ cd ragflow/docker
$ git checkout -f v0.17.2

步骤2:使用预构建的Docker镜像并启动服务器

注意: 下面的命令会下载v0.17.2-slim版本的RAGFlow Docker镜像。有关不同RAGFlow版本的说明,请参考下表。如果要下载不同于v0.17.2-slim的RAGFlow版本,请在使用docker compose启动服务器之前,在docker/.env中相应地更新RAGFLOW_IMAGE变量。例如:设置RAGFLOW_IMAGE=infiniflow/ragflow:v0.17.2以获取完整版本v0.17.2img

# 使用CPU进行嵌入和DeepDoc任务:
$ docker compose -f docker-compose.yml up -d

# 使用GPU加速嵌入和DeepDoc任务:
# docker compose -f docker-compose-gpu.yml up -d

img

问题3: ragflow-mysql is unhealthy

dependency failed to start: container ragflow-mysql is unhealthy

依次执行:

docker compose down -v 

docker compose up

https://blog.csdn.net/qq_63490595/article/details/145803280#/

不出意外的话要出意外了! http://localhost:81/login#/

  • 81是修改了默认web端口img

img

Dify部署

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。

项目地址:https://github.com/langgenius/dify 文档地址:https://docs.dify.ai/zh-hans#/

下载对应版本:

https://github.com/langgenius/dify/tags

img

访问安装页面:

http://localhost/install

img

启动报错pgdata: Operation not permitted

以下是关于解决 PostgreSQL 权限错误的步骤的中文翻译:

错误/var/lib/postgresql/data/pgdata: Operation not permitted通常是由于 PostgreSQL 尝试使用的目录存在权限问题。以下是解决步骤:

  1. 确保目录存在:
mkdir -p ./volumes/db/data
  1. 设置正确的权限:
sudo chown -R 999:999 ./volumes/db/data
  1. 验证 Docker Compose 配置:确保你的docker-compose.yaml文件正确映射了 PostgreSQL 的卷。示例:
version: '3'
services:
  db:
    image: postgres:15-alpine
    restart: always
    environment:
      PGUSER: postgres
      POSTGRES_PASSWORD: difyai123456
      POSTGRES_DB: dify
      PGDATA: /var/lib/postgresql/data/pgdata
    volumes:
      - ./volumes/db/data:/var/lib/postgresql/data
    healthcheck:
      test: [ "CMD", "pg_isready" ]
      interval: 1s
      timeout: 3s
      retries: 30
  1. 清理现有数据:
sudo rm -rf ./volumes/db/data/*
  1. 运行 Docker Compose:
docker compose up -d

dify docker部署后,在install界面卡住,step请求报502的问题解

具体可参考:https://blog.csdn.net/qq_53597256/article/details/143745465#/

postgres报错

img

修正后

新的 _docker-compose.yaml

# PostgreSQL 数据库
db:
image:postgres:15-alpine
restart:always
environment:
    PGUSER:xxxx
    # 默认 postgres 用户的密码
    POSTGRES_PASSWORD:xxxx
    # 默认的 postgres 数据库名称
    POSTGRES_DB:dify
    # PostgreSQL 数据目录
    PGDATA:/var/lib/postgresql/data/pgdata
volumes:
    -db_data:/var/lib/postgresql/data
# 取消注释以将数据库(PostgreSQL)的端口暴露给主机
# ports:
#   - "9999:9999"
healthcheck:
    test:["CMD","pg_isready"]
    interval:1s
    timeout:3s
    retries:30

# 添加卷名称
volumes:
db_data:

简而言之,修复了以下问题:

volumes:
  - db_data:/var/lib/postgresql/data

在文件最后并添加了以下内容:

# 添加卷名称
volumes:
  db_data:

Ollama部署

Ollama 是一个开源的大型语言模型(LLM)平台,旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。

Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型,支持文本生成、翻译、代码编写、问答等多种自然语言处理任务。

Ollama 的特点在于它不仅仅提供了现成的模型和工具集,还提供了方便的界面和 API,使得从文本生成、对话系统到语义分析等任务都能快速实现。

与其他 NLP 框架不同,Ollama 旨在简化用户的工作流程,使得机器学习不再是只有深度技术背景的开发者才能触及的领域。

Ollama 支持多种硬件加速选项,包括纯 CPU 推理和各类底层计算架构(如 Apple Silicon),能够更好地利用不同类型的硬件资源

Ollama 下载:https://ollama.com/download

Ollama 官方主页:https://ollama.com

Ollama 官方 GitHub 源代码仓库:https://github.com/ollama/ollama/

运行模型

ollama run deepseek-r1:14b

img以下是Ollama在Windows系统中常用的环境变量表格,包含了描述和示例值:

环境变量描述默认值示例值
OLLAMA_HOST指定Ollama服务器的主机地址和端口127.0.0.1:114340.0.0.0:11434 或 192.168.1.100:11434
OLLAMA_MODELS指定模型文件的存储位置%USERPROFILE%.ollama\modelsD:\ollama\models
OLLAMA_KEEP_ALIVE控制模型在内存中保持加载状态的时间(秒)5分钟(300秒)1800 (30分钟)
OLLAMA_VERBOSE启用详细日志输出01
OLLAMA_TIMEOUTAPI请求超时时间(秒)3060

设置这些变量后,记得重启Ollama服务或重新打开命令行窗口以使更改生效。

缝合怪如何集成组件

  • RAGFlow集成Ollama

img

deepseek-r1:14b 基础 Url http://host.docker.internal:11434 API-Key 最大token数 8192

  • RAGFlow集成Xinference 重排序模型

我在Xinference 运行了一个排序模型imgip填写本机地址img

  • Dify集成Ollama模型

img

  • Dify集成Xinference 排序模型

img

  • Dify集成Xinference 向量模型img

Dify集成RAGFlow

img

  • 获取RAGFlow知识库idimg
  • Dify添加外部知识库img

如何零基础入门 / 学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

👉 福利来袭CSDN大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

read-normal-img

640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

👉学会后的收获:👈
基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

👉 福利来袭CSDN大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

img

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

<think>好的,我现在需要帮助用户了解如何集成DeepSeekOllamaDify、SQL Server、RPA和Power BI这几个技术栈。首先,我得理清每个组件的作用以及它们之间的潜在连接点。 用户提到的技术栈包括AI模型、本地模型服务、应用开发平台、数据库、自动化工具和可视化工具。可能用户想构建一个端到端的智能系统,从数据处理到自动化再到分析和展示。需要分步骤考虑各个组件的集成方式。 首先,DeepSeek可能指的是深度求索公司的某个模型,比如用户提到的deepseek-r1:14b模型,这需要通过Ollama部署Ollama作为本地运行大型模型的工具,需要先安装并启动服务。然后,Dify作为AI应用开发平台,可以连接Ollama提供的模型API,这样就能在Dify中调用DeepSeek模型进行推理。 接下来是SQL Server,作为数据库,可能需要存储业务数据或者模型处理后的结果。RPA(机器人流程自动化)可以用来自动化数据抓取或流程操作,比如从某个系统中提取数据存入SQL Server,或者触发Dify中的模型处理流程。Power BI则用于从SQL Server中读取数据进行分析和可视化展示。 集成步骤可能包括:1. 部署Ollama并加载DeepSeek模型;2. 配置Dify连接Ollama的API;3. 使用RPA工具将数据从源系统导入SQL Server;4. Dify处理数据后,将结果存回数据库;5. Power BI连接数据库生成报表。 需要注意各个组件之间的接口,比如Ollama的API地址是否正确配置Dify中,RPA操作的数据格式是否与SQL Server表结构匹配,以及Power BI的数据刷新频率是否满足需求。此外,安全性方面,如API访问权限、数据库连接字符串的保护也需要考虑。 用户可能还关心具体的配置步骤和工具间的协作流程,比如如何在Dify中创建应用,调用模型API,或者如何设置RPA定时任务。需要给出清晰的步骤和可能的代码示例,比如Ollama的运行命令,Dify的API配置界面截图,或者RPA脚本的编写方法。 可能还需要验证每个步骤是否成功,比如测试Ollama的模型是否可用,Dify是否能正确调用模型,RPA是否成功写入数据库,以及Power BI是否能读取最新数据。如果在集成过程中遇到问题,如何排查错误,比如检查网络连接、日志信息等。 最后,用户可能希望了解整个技术栈的最佳实践,比如如何优化模型性能,如何设计高效的数据流程,以及如何确保系统的可扩展性和维护性。需要提供相关的资源链接或文档参考,帮助用户进一步学习和解决问题。</think>### 分步骤集成技术栈方案 #### 一、基础环境部署 1. **OllamaDeepSeek模型部署** - 安装Ollama服务(需提前配置Docker环境): ```bash curl -fsSL https://ollama.com/install.sh | sh ollama serve ``` - 加载DeepSeek-R1模型: ```bash ollama run deepseek-r1:14b ``` - 验证服务可用性:访问 `http://<服务器IP>:11434/api/tags` 查看模型列表[^1] 2. **Dify平台搭建** - 通过Docker部署Dify(需预装Docker Compose): ```bash git clone https://github.com/langgenius/dify cd dify/docker && docker compose up -d ``` - 在Dify控制台配置Ollama模型接口: ``` 模型类型:自定义API API端点:http://<Ollama_IP>:11434/v1 认证方式:无(或根据实际配置) ``` #### 二、数据层集成(SQL Server) ```mermaid graph TD A[RPA系统] -->|定时数据注入| B(SQL Server) B -->|ODBC连接| C[Dify应用] C -->|结果存储| B B -->|DirectQuery| D[Power BI] ``` 1. **RPA数据注入** - 使用UiPath/Power Automate设计流程: ```python # 示例:Python自动化脚本 from sqlalchemy import create_engine import pandas as pd engine = create_engine('mssql+pyodbc://user:pass@dsn') df = pd.read_csv('data_source.csv') df.to_sql('raw_data', engine, if_exists='append') ``` 2. **Dify数据连接** - 在Dify的"数据集"模块配置SQL Server连接: ```env 驱动类型:ODBC 连接字符串:Driver={ODBC Driver 18 for SQL Server};Server=<IP>;Database=<DB>;UID=<user>;PWD=<pass> ``` #### 三、智能处理层 1. **Dify应用开发** - 创建AI工作流示例: ```yaml nodes: - type: sql-query query: "SELECT * FROM sales_data WHERE date > {{start_date}}" - type: llm-process model: deepseek-r1:14b prompt: | 分析以下销售趋势:{{sql_result}} 输出JSON格式:{"trend":"上升/下降","confidence":0-1} ``` 2. **RPA与AI联动** - 设计自动化审批流程: ```python # 通过Dify API触发处理 import requests response = requests.post( "https://dify.example.com/api/workflow/run", json={"input": {"document_id": "INV-2023-123"}}, headers={"Authorization": "Bearer <API_KEY>"} ) ``` #### 四、可视化层(Power BI) 1. **实时仪表盘配置** - 使用Power Query建立直连: ```powerquery-m let Source = Sql.Database("sqlserver.example.com", "sales_db"), fact_sales = Source{[Schema="dbo",Item="fact_sales"]}[Data] in fact_sales ``` 2. **智能分析增强** - 集成Dify分析结果: ```DAX Sales Trend = VAR jsonResult = GET_DIFY_ANALYSIS([transaction_id]) RETURN COALESCE(jsonResult[trend], "未知") ``` #### 五、安全加固措施 1. **网络层保护** - 使用Nginx反向代理配置: ```nginx server { listen 443 ssl; server_name dify.example.com; location / { proxy_pass http://localhost:3000; proxy_set_header X-Real-IP $remote_addr; auth_basic "Restricted Access"; auth_basic_user_file /etc/nginx/.htpasswd; } } ``` 2. **数据加密方案** - 启用SQL Server透明数据加密(TDE): ```sql CREATE DATABASE ENCRYPTION KEY WITH ALGORITHM = AES_256 ENCRYPTION BY SERVER CERTIFICATE MyServerCert; ALTER DATABASE SalesDB SET ENCRYPTION ON; ``` ### 典型应用场景 1. **智能财务审计系统** - RPA抓取原始凭证 → SQL Server存储 → Dify进行异常检测 → Power BI展示风险热力图 2. **客户服务分析平台** - 通话录音文本存储于SQL Server → Dify进行情感分析 → RPA自动生成工单 → Power BI展示满意度趋势
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值