100%解决调用OpenAI api报错:HTTPSConnectionPool(host=‘openaipublic.blob.core.windows.net‘, port=443)

在调用openAI里面的api接口的时候报错:HTTPSConnectionPool(host='openaipublic.blob.core.windows.net', port=443): Max retries exceeded with url: /encodings/cl100k_base.tiktoken (Caused by SSLError(SSLZeroReturnError(6, 'TLS/SSL connection has been closed (EOF) (_ssl.c:1133)')))

目前解决的方式如下:

  1. 在本地计算机上下载此文件
  2. 将其重命名为9b5ad71b2ce5302211f9c61530b329a4922fc6a4(后缀也要修改掉)
  3. 传输到远程计算机的名为 “tiktoken_cache” 的文件夹中
  4. 每次需要使用 tiktoken 时,都运行以下代码
tiktoken_cache_dir = "/share/home/huangjinxin/RagLoinc/langchain_ollama/tiktoken_cache"
os.environ["TIKTOKEN_CACHE_DIR"] = tiktoken_cache_dir

# validate
assert os.path.exists(os.path.join(tiktoken_cache_dir,"9b5ad71b2ce5302211f9c61530b329a4922fc6a4"))

为什么要这么做?详细步骤如下:

能否帮我修改代码让我避开或者解决这个报错# ======================================================= # 业务领域多模态RAG智能问答系统 (Business-RAG-MultiModal) # v2.1 - 最终稳定版 # ======================================================= # --- 核心依赖库导入 --- import os import hashlib import json import logging import base64 import pathlib import re import requests # 用于直接调用Ollama API from typing import List, Dict # --- LlamaIndex 核心导入 --- from llama_index.core import Settings from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, PromptTemplate, Document, StorageContext from llama_index.core.readers.base import BaseReader as LlamaBaseReader from llama_index.core.node_parser import SentenceSplitter from llama_index.core.schema import TextNode from llama_index.llms.ollama import Ollama from llama_index.core.postprocessor import SentenceTransformerRerank from llama_index.embeddings.huggingface import HuggingFaceEmbedding # --- Milvus 相关导入 --- from llama_index.vector_stores.milvus import MilvusVectorStore from pymilvus import utility, connections, Collection # --- 配置日志 --- logging.basicConfig(level=logging.INFO, format=&#39;%(asctime)s - %(levelname)s - %(message)s&#39;) logger = logging.getLogger(__name__) # ======================================================= # 1. 全局配置区 # ======================================================= CONFIG = { "knowledge_base_dir": "knowledge_base", "image_cache_file": "image_description_cache_offline.json", "embed_model_path": "D:/models/text2vec-base-chinese", "reranker_model_path": "D:/models/bge-reranker-v2-m3", "llm_model_name": "qwen3:8b", "mllm_model_name": "llava", "llm_request_timeout": 600.0, "chunk_size": 512, "chunk_overlap": 50, "retrieval_top_k": 10, "rerank_top_n": 3, "device": "cpu", # --- Milvus配置 --- "milvus_host": "127.0.0.1", "milvus_port": "19530", "milvus_collection": "law_rag_collection_v1", "vector_dim": 768 } # ======================================================= # 2. 核心功能函数区 # ======================================================= def load_image_cache(): if os.path.exists(CONFIG["image_cache_file"]): with open(CONFIG["image_cache_file"], &#39;r&#39;, encoding=&#39;utf-8&#39;) as f: try: return json.load(f) except json.JSONDecodeError: return {} return {} def save_image_cache(cache): with open(CONFIG["image_cache_file"], &#39;w&#39;, encoding=&#39;utf-8&#39;) as f: json.dump(cache, f, ensure_ascii=False, indent=4) def get_image_description_from_mllm(image_bytes: bytes, local_mllm: Ollama, question="请详细描述这张图片的内容,如果图片中有文字也请一并识别出来。") -> str: """ 【修正版】直接调用Ollama API来获取图片描述,并使用正确的sha256。 """ image_cache = load_image_cache() image_hash = hashlib.sha256(image_bytes).hexdigest() if image_hash in image_cache: logger.info(f" - 发现已缓存的离线图片描述 (hash: {image_hash[:8]}...),从缓存加载。") return image_cache[image_hash] logger.info(f" - 未找到图片缓存,正在直接调用Ollama API (模型: {local_mllm.model})...") try: image_b64 = base64.b64encode(image_bytes).decode("utf-8") payload = { "model": local_mllm.model, "prompt": question, "images": [image_b64], "stream": False } response = requests.post( "http://localhost:11434/api/generate", json=payload, timeout=CONFIG["llm_request_timeout"] ) response.raise_for_status() response_data = response.json() description = response_data.get(&#39;response&#39;, &#39;[模型未返回有效描述]&#39;).strip() formatted_description = f"[图片描述]: {description}\n" image_cache[image_hash] = formatted_description save_image_cache(image_cache) return formatted_description except requests.exceptions.RequestException as e: logger.error(f"直接调用Ollama API处理图片时发生网络异常: {e}") return "[网络异常导致图片处理失败]\n" except Exception as e: logger.error(f"处理图片时发生未知异常: {e}") return "[未知异常导致图片处理失败]\n" class CustomMultimodalReader(LlamaBaseReader): def __init__(self, mllm_instance: Ollama): super().__init__() self.mllm = mllm_instance def load_data(self, file_path_obj: pathlib.Path, extra_info: Dict = None) -> List[Document]: file_path_str = str(file_path_obj) if file_path_str.endswith(".pdf"): return self._load_pdf(file_path_str, extra_info) elif file_path_str.endswith(".docx"): return self._load_docx(file_path_str, extra_info) else: # 为 .txt 文件添加一个基本的加载器 try: with open(file_path_str, &#39;r&#39;, encoding=&#39;utf-8&#39;) as f: text = f.read() return [Document(text=text, extra_info={**(extra_info or {}), "file_name": os.path.basename(file_path_str)})] except Exception as e: logger.error(f"处理TXT文件 &#39;{file_path_str}&#39; 时发生错误: {e}") return [] def _load_pdf(self, file_path: str, extra_info: Dict = None) -> List[Document]: documents = [] try: import pypdf with open(file_path, "rb") as fp: reader = pypdf.PdfReader(fp) if reader.is_encrypted: logger.warning(f"文件 {os.path.basename(file_path)} 是加密PDF,已跳过。") return [] for i, page in enumerate(reader.pages): page_info = {**(extra_info or {}), "page_label": str(i + 1), "file_name": os.path.basename(file_path)} if page_text := page.extract_text(): documents.append(Document(text=page_text.strip(), extra_info=page_info.copy())) for img_file_obj in page.images: if img_bytes := img_file_obj.data: image_description = get_image_description_from_mllm(img_bytes, self.mllm) documents.append(Document(text=image_description, extra_info={**page_info.copy(), "content_type": "image_description"})) except Exception as e: logger.error(f"处理PDF文件 &#39;{file_path}&#39; 时发生错误: {e}") return documents def _load_docx(self, file_path: str, extra_info: Dict = None) -> List[Document]: documents = [] try: import docx doc = docx.Document(file_path) file_info = {**(extra_info or {}), "file_name": os.path.basename(file_path)} for para in doc.paragraphs: if para.text.strip(): documents.append(Document(text=para.text.strip(), extra_info=file_info.copy())) for table in doc.tables: table_text = "\n".join([" | ".join([cell.text for cell in row.cells]) for row in table.rows]).strip() if table_text: documents.append(Document(text=f"[表格内容]:\n{table_text}", extra_info={**file_info.copy(), "content_type": "table_content"})) for rel in doc.part.rels.values(): if "image" in rel.target_ref: if image_bytes := rel.target_part.blob: image_description = get_image_description_from_mllm(image_bytes, self.mllm) documents.append(Document(text=image_description, extra_info={**file_info.copy(), "content_type": "image_description"})) except Exception as e: logger.error(f"处理DOCX文件 &#39;{file_path}&#39; 时发生错误: {e}") return documents # --- RAG核心流程函数 --- def setup_models_and_services(): """集中加载所有本地AI模型,并进行全局配置。""" logger.info("--- 步骤A: 加载所有本地AI模型 ---") embed_model = HuggingFaceEmbedding( model_name=CONFIG["embed_model_path"], device=CONFIG["device"] ) logger.info(f"成功加载本地嵌入模型: {CONFIG[&#39;embed_model_path&#39;]}") llm_model = Ollama(model=CONFIG["llm_model_name"], request_timeout=CONFIG["llm_request_timeout"]) logger.info(f"成功配置本地Ollama LLM (模型: {CONFIG[&#39;llm_model_name&#39;]})") mllm_for_parsing = Ollama(model=CONFIG["mllm_model_name"], request_timeout=300.0) logger.info(f"成功配置本地Ollama MLLM (模型: {CONFIG[&#39;mllm_model_name&#39;]})") reranker = SentenceTransformerRerank( model=CONFIG["reranker_model_path"], top_n=CONFIG["rerank_top_n"], device=CONFIG["device"] ) logger.info(f"成功加载本地重排模型: {CONFIG[&#39;reranker_model_path&#39;]}") # 将加载好的模型设置到全局 Settings 中,确保所有组件统一使用 Settings.embed_model = embed_model Settings.llm = llm_model logger.info("--- 已将embed_model和llm配置为全局默认 ---") logger.info("--- 所有AI模型加载完成 ---") return llm_model, embed_model, reranker, mllm_for_parsing def build_knowledge_index(mllm_for_parsing: Ollama, embed_model: HuggingFaceEmbedding): """ 【最终修正版】构建向量索引并将其持久化到Milvus数据库。 包含手动嵌入生成以绕过库的潜在bug。 """ logger.info("--- 步骤B: 连接Milvus并构建/加载知识库向量索引 ---") try: connections.connect(alias="default", host=CONFIG["milvus_host"], port=CONFIG["milvus_port"]) logger.info(f"成功连接到 Milvus 服务 at {CONFIG[&#39;milvus_host&#39;]}:{CONFIG[&#39;milvus_port&#39;]}") except Exception as e: logger.error(f"无法连接到 Milvus 服务: {e}") raise vector_store = MilvusVectorStore( uri=f"http://{CONFIG[&#39;milvus_host&#39;]}:{CONFIG[&#39;milvus_port&#39;]}", collection_name=CONFIG["milvus_collection"], dim=CONFIG["vector_dim"], overwrite=False ) collection_exists_and_has_content = False if utility.has_collection(CONFIG["milvus_collection"]): collection = Collection(name=CONFIG["milvus_collection"]) collection.load() if collection.num_entities > 0: collection_exists_and_has_content = True if collection_exists_and_has_content: logger.info(f"在Milvus中已找到包含实体的集合,直接加载索引...") index = VectorStoreIndex.from_vector_store(vector_store) logger.info("从Milvus加载索引完成。") else: if utility.has_collection(CONFIG["milvus_collection"]): logger.info("在Milvus中找到空集合,开始处理并填充数据...") else: logger.info(f"在Milvus中未找到集合,开始完整的数据处理和索引构建流程...") # 步骤 1: 数据加载和切分 (此部分不变) reader = SimpleDirectoryReader( input_dir=CONFIG["knowledge_base_dir"], required_exts=[".pdf", ".docx", ".txt"], file_extractor={".pdf": CustomMultimodalReader(mllm_instance=mllm_for_parsing), ".docx": CustomMultimodalReader(mllm_instance=mllm_for_parsing)}, recursive=True ) documents = reader.load_data(show_progress=True) all_nodes = [] sentence_splitter = SentenceSplitter(chunk_size=CONFIG["chunk_size"], chunk_overlap=CONFIG["chunk_overlap"]) for doc in documents: filename = doc.metadata.get("file_name", "").lower() if doc.metadata.get("content_type") == "image_description": all_nodes.append(doc); continue if filename.endswith(".pdf"): article_pattern = r&#39;(第[一二三四五六七八九十百千万零〇\d]+条)&#39;; text_chunks = re.split(article_pattern, doc.text); i = 1 while i < len(text_chunks): article_title = text_chunks[i]; article_content = text_chunks[i+1] if (i + 1) < len(text_chunks) else "" full_article_text = (article_title + article_content).strip() if full_article_text: node = Document(text=full_article_text, extra_info=doc.metadata.copy()); all_nodes.append(node) i += 2 else: nodes = sentence_splitter.get_nodes_from_documents([doc]); all_nodes.extend(nodes) logger.info(f"文档条件化切分完毕,共生成 {len(all_nodes)} 个内容块 (Nodes)。") # --- 【核心修正】 --- # 步骤 2: 手动、显式地为所有节点生成向量嵌入 logger.info(f"正在为 {len(all_nodes)} 个节点手动生成向量嵌入...") for node in all_nodes: # node.get_content() 是获取节点文本最稳健的方法 node.embedding = embed_model.get_text_embedding(node.get_content()) logger.info("所有节点的向量嵌入已手动生成。") # --- 【核心修正结束】 --- # 步骤 3: 将已经带有向量的节点添加到Milvus logger.info(f"正在将 {len(all_nodes)} 个带有预生成向量的节点添加到Milvus...") vector_store.add(all_nodes) logger.info("节点已成功添加到Milvus。") # 步骤 4: 从已填充的向量存储创建索引对象 index = VectorStoreIndex.from_vector_store(vector_store) logger.info("索引对象创建完成。") connections.disconnect("default") logger.info("已断开与 Milvus 服务的连接。") return index def run_query_pipeline(index: VectorStoreIndex, llm_model: Ollama, reranker: SentenceTransformerRerank): """启动问答流程,循环处理预设的问题。""" logger.info("--- 步骤C: 开始RAG问答流程 ---") QA_PROMPT_TEMPLATE = PromptTemplate( "你是一个专业的业务问答助手,负责根据内部知识库提供精准、可靠的回答。\n\n" "**你的任务是:**\n" "1. 仔细阅读下面提供的“参考信息”。\n" "2. 根据“参考信息”直接回答“用户问题”,禁止进行任何形式的猜测、推理或使用你自己的知识。\n" "3. **引用来源**:在回答中,如果引用了某份文件的内容,必须在相关句子末尾用 `(文件名)` 的格式注明来源。\n" "4. **版本对比**:如果参考信息来自不同版本的文件(例如,文件名中包含年份),请对比说明它们之间的差异。\n" "5. **提供建议**:在回答的最后,根据回答内容,提供1-2条具体、可执行的业务建议。\n" "6. **未知问题**:如果“参考信息”中完全没有能回答问题的内容,你必须且只能回答:“根据提供的资料,无法回答该问题。”\n" "7. **格式要求**:回答的最后,必须附上一个“参考依据”列表,列出所有被引用的文件名。\n\n" "---------------------\n" "**参考信息:**\n{context_str}\n" "---------------------\n" "**用户问题:** {query_str}\n\n" "**你的回答:**\n" ) query_engine = index.as_query_engine( similarity_top_k=CONFIG["retrieval_top_k"], node_postprocessors=[reranker], text_qa_template=QA_PROMPT_TEMPLATE # llm会从全局Settings获取 ) questions = [ "根据附图1的技术架构图,究竟是哪个芯片独立负责生成刷新信号?", "数据出境安全评估申报流程图里,如果个人信息达到10万人规模该怎么办?", "我国公民的基本权力以及义务有哪些", "借钱不还怎么办?" ] for q in questions: logger.info(f"\n{&#39;=&#39;*70}\n--- 用户提问: {q} ---") try: response = query_engine.query(q) logger.info("\n--- 模型最终回答 ---\n" + str(response)) logger.info("\n--- 回答引用的参考信息 (经重排后) ---") for i, node_with_score in enumerate(response.source_nodes): logger.info(f"--- 来源 {i+1} (得分: {node_with_score.score:.4f}, 文件: {node_with_score.metadata.get(&#39;file_name&#39;, &#39;N/A&#39;)}) ---") node = node_with_score.node if hasattr(node, &#39;text&#39;) and node.text: logger.info(f"内容预览: {node.text[:150]}...\n") else: logger.info(f"内容预览: [这是一个非文本节点,类型为: {type(node).__name__}]\n") except Exception as e: logger.error(f"执行RAG查询时发生错误: {e}", exc_info=True) logger.info(f"{&#39;=&#39;*70}") # ======================================================= # 3. 主执行入口 # ======================================================= if __name__ == "__main__": logger.info("===== 启动业务领域多模态RAG智能问答系统 =====") try: llm, embed_model, reranker, mllm = setup_models_and_services() knowledge_index = build_knowledge_index(mllm, embed_model) run_query_pipeline(knowledge_index, llm, reranker) except Exception as e: logger.error(f"程序主流程发生致命错误,即将退出: {e}", exc_info=True) exit(1) logger.info("\n===== RAG系统执行完成 =====")(rag_project_env) PS D:\new_rag> docker ps >> (rag_project_env) PS D:\new_rag> & D:/miniconda/envs/rag_project_env/python.exe d:/new_rag/law_rag.py 2025-07-24 09:54:07,238 - INFO - ===== 启动业务领域多模态RAG智能问答系统 ===== 2025-07-24 09:54:07,238 - INFO - --- 步骤A: 加载所有本地AI模型 --- 2025-07-24 09:54:07,240 - INFO - Load pretrained SentenceTransformer: D:/models/text2vec-base-chinese 2025-07-24 09:54:07,958 - INFO - 成功加载本地嵌入模型: D:/models/text2vec-base-chinese 2025-07-24 09:54:07,958 - INFO - 成功配置本地Ollama LLM (模型: qwen3:8b) 2025-07-24 09:54:07,958 - INFO - 成功配置本地Ollama MLLM (模型: llava) 2025-07-24 09:54:08,410 - INFO - 成功加载本地重排模型: D:/models/bge-reranker-v2-m3 2025-07-24 09:54:08,410 - INFO - --- 已将embed_model和llm配置为全局默认 --- 2025-07-24 09:54:08,410 - INFO - --- 所有AI模型加载完成 --- 2025-07-24 09:54:08,410 - INFO - --- 步骤B: 连接Milvus并构建/加载知识库向量索引 --- 2025-07-24 09:54:18,468 - ERROR - 无法连接到 Milvus 服务: <MilvusException: (code=2, message=Fail connecting to server on 127.0.0.1:19530, illegal connection params or server unavailable)> 2025-07-24 09:54:18,468 - ERROR - 程序主流程发生致命错误,即将退出: <MilvusException: (code=2, message=Fail connecting to server on 127.0.0.1:19530, illegal connection params or server unavailable)> Traceback (most recent call last): File "d:\new_rag\law_rag.py", line 357, in <module> knowledge_index = build_knowledge_index(mllm, embed_model) File "d:\new_rag\law_rag.py", line 223, in build_knowledge_index connections.connect(alias="default", host=CONFIG["milvus_host"], port=CONFIG["milvus_port"]) File "D:\miniconda\envs\rag_project_env\lib\site-packages\pymilvus\orm\connections.py", line 459, in connect connect_milvus(**kwargs, user=user, password=password, token=token, db_name=db_name) File "D:\miniconda\envs\rag_project_env\lib\site-packages\pymilvus\orm\connections.py", line 420, in connect_milvus raise e from e File "D:\miniconda\envs\rag_project_env\lib\site-packages\pymilvus\orm\connections.py", line 412, in connect_milvus gh._wait_for_channel_ready(timeout=timeout) File "D:\miniconda\envs\rag_project_env\lib\site-packages\pymilvus\client\grpc_handler.py", line 159, in _wait_for_channel_ready raise MilvusException( pymilvus.exceptions.MilvusException: <MilvusException: (code=2, message=Fail connecting to server on 127.0.0.1:19530, illegal connection params or server unavailable)>,services: etcd: container_name: milvus-etcd image: quay.io/coreos/etcd:v3.5.5 environment: - ETCD_AUTO_COMPACTION_MODE=revision - ETCD_AUTO_COMPACTION_RETENTION=1000 - ETCD_QUOTA_BACKEND_BYTES=4294967296 - ETCD_SNAPSHOT_COUNT=50000 volumes: - ./volumes/etcd:/etcd command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd minio: container_name: milvus-minio image: quay.io/minio/minio:RELEASE.2023-03-20T20-16-18Z environment: - MINIO_ROOT_USER=minioadmin - MINIO_ROOT_PASSWORD=minioadmin volumes: - ./volumes/minio:/minio_data command: minio server /minio_data standalone: container_name: milvus-standalone image: milvusdb/milvus:v2.5.0 # <-- 修正点在这里 command: ["milvus", "run", "standalone"] environment: - ETCD_ENDPOINTS=etcd:2379 - MINIO_ADDRESS=minio:9000 volumes: - ./volumes/milvus:/var/lib/milvus ports: - "19530:19530" # Milvus port - "9091:9091" # Milvus metrics port depends_on: - "etcd" - "minio" volumes: etcd: minio: milvus:
最新发布
07-25
<think>好的,用户想了解如何在离线环境下使用Dify,并且提到了两个OpenAI的链接:一个是vocab.bpe文件,另一个可能是拼写错误或者不完整的链接。我需要先确认用户的需求到底是什么。 首先,Dify是一个开源的LLM应用开发平台,允许用户构建基于大语言模型的应用程序。用户提到离线使用,可能是指在没有互联网连接的情况下部署和运行Dify,这通常需要本地部署模型和相关依赖。 接下来,用户提供的链接是OpenAI的GPT-2的词汇文件,这可能意味着用户想使用GPT-2模型或者类似的模型在Dify中进行离线操作。需要确认Dify是否支持本地模型,比如通过OpenAI API的本地替代方案,如LocalAI或self-hosted模型。 用户可能遇到的挑战包括:如何配置Dify以使用本地模型,如何获取和设置所需的模型文件(如vocab.bpe),以及如何处理依赖项的离线安装。需要分步骤说明,包括环境准备、模型部署、Dify配置、依赖处理等。 另外,用户提供的第二个链接可能有问题,可能是指向另一个资源,但无法访问。需要提醒用户检查链接,并建议使用正确的模型文件来源,比如Hugging Face或官方渠道。 还需要考虑操作系统的差异,是否需要在Linux、Windows或macOS上进行不同的步骤。可能涉及Docker部署,因为Dify官方推荐使用Docker,这在离线环境下需要提前准备好镜像。 最后,要确保整个流程符合用户的技术水平,避免过于复杂的步骤,同时强调可能的常见问题及解决方法,比如端口冲突、模型加载失败等。</think>以下为您分步介绍离线使用Dify的方法及注意事项: ### 一、离线部署核心要素 1. **环境隔离要求** - 需准备与互联网环境完全隔离的服务器/计算机 - 最低配置推荐:4核CPU/16GB内存/50GB存储(实际需求根据模型大小调整) 2. **基础组件准备** ```bash # 需提前下载的离线安装包: - Docker安装包(.deb/.rpm) - Docker-Compose二进制文件 - PostgreSQL离线包 - Redis离线包 - Node.js运行环境 ``` ### 二、模型部署流程(以LLaMA为例) 1. **模型获取** - 通过合法渠道下载模型文件(如Hugging Face Hub) - 典型文件结构: ``` models/ ├── config.json ├── pytorch_model.bin └── tokenizer/ ├── vocab.json └── merges.txt # 类似用户提供的vocab.bpe文件 ``` 2. **本地模型服务部署 ```bash # 使用LocalAI搭建本地推理服务 docker run -d \ -p 8080:8080 \ -v /path/to/models:/models \ quay.io/go-skynet/local-ai:latest ``` ### 三、Dify配置调整 1. **修改.env配置文件** ```env # 模型服务指向 OPENAI_API_KEY=sk-no-key-required OPENAI_API_BASE=http://localhost:8080/v1 # 数据库配置 POSTGRES_PASSWORD=yourpassword REDIS_PASSWORD=yourpassword ``` 2. **启动命令** ```bash # 离线环境需先加载本地镜像 docker load < dify-arm64-image.tar docker-compose up -d ``` ### 四、关键问题处理 1. **依赖管理** - 使用`pip download`提前下载Python依赖包 - 创建本地PyPI镜像仓库 2. **词汇文件处理** - 将用户提供的`vocab.bpe`文件放入: ``` /app/your_model/tokenizer/ ``` - 需确保文件编码为UTF-8 ### 五、验证步骤 1. 访问`http://localhost:80`进入控制台 2. 创建测试应用→选择"自定义模型" 3. 输入测试prompt验证响应 ### 六、注意事项 1. 模型文件需完整包含: - 模型权重(.bin/.pth) - 配置文件(config.json) - 分词器文件(vocab.json, merges.txt等) 2. 推荐使用Nvidia GPU加速: ```bash # 需提前安装CUDA驱动 docker run --gpus all ... ``` 3. 定期更新机制: - 建立内部镜像仓库 - 制定离线更新包分发流程 > **注**:用户提供的`https://openaipublic.blob.core.windows.net/gpt-2/encodings/main/vocab.bpe`文件可直接用于GPT-2系列模型的分词器配置,但需注意使用需符合OpenAI的模型使用政策。建议优先考虑开源模型(如LLaMA系列、ChatGLM等)以避免版权风险。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值