RAG简述

概述

基于NLP（自然语言处理）和IR（信息检索）的一项服务于AI的技术
旨在解决传统大模型数据陈旧易瞎编的特质
通过建立知识库，基于知识库进行回答
达到更专业更准确更有时效性的内容回答

RAG重点在于通过检索强化生成
检索相应知识库–可构建专属化的专业知识库（例：智能客服基于企业知识库进行回答）
生成回答–有依据更准确（基于RAG的大模型回答有理可依）

技术简述

回答前

构建

构建相应的知识库系统
知识库可以是各种形式的文档、数据库等

切片

通过一定的规则对知识库文件进行切片
（可能是语义完整性、字数、段落等等）
方便后续进行索引

索引

Embedding：将文本映射到向量空间的关键技术
向量–用于后续判断相似性（通过Embedding模型将切片文本生成对应向量）
向量数据库–将向量维度化存储，便于判断相似性

回答时

召回

返回与问题相似的片段
通过向量相似度进行判断
向量相似度（方式：余弦相似度，欧式距离，点积）

重排

在召回的基础上，采用不同的相似度计算逻辑对召回结果进行再次排序
相当于二次召回 但准确率较高
向量相似度计算逻辑不一样

生成

基于召回重排的知识库文本结合AI进行问题的回答

图片来源：【RAG 工作机制详解——一个高质量知识库背后的技术全流程】https://www.bilibili.com/video/BV1JLN2z4EZQ?vd_source=348c0caa35137a273d3953200a08e748