读取huggingface上的预训练模型 代码示例

要读取本地的Hugging Face预训练模型，你可以使用`transformers`库中的`AutoModel`和`AutoTokenizer`类。下面是一个代码示例： ```python from transformers import AutoModel, AutoTokenizer # 指定模型名称或模型路径 model_name = "bert-base-uncased" model_path = "/path/to/your/model" # 加载模型和分词器 model = AutoModel.from_pretrained(model_name) # 从Hugging Face模型库加载模型 tokenizer = AutoTokenizer.from_pretrained(model_name) # 从Hugging Face模型库加载分词器 # 或者使用本地路径加载模型和分词器 model = AutoModel.from_pretrained(model_path) tokenizer = AutoTokenizer.from_pretrained(model_path) # 使用模型和分词器进行文本处理和推理 inputs = tokenizer("Hello, how are you?", return_tensors="pt") outputs = model(**inputs) ``` 在上面的示例中，你可以通过指定模型名称（如`bert-base-uncased`）或模型路径（如`/path/to/your/model`）来加载预训练模型。然后，你可以使用加载的模型和分词器进行文本处理和推理。

### 如何从 HuggingFace 下载 GGUF 格式的模型 HuggingFace 提供了丰富的预训练模型，但并非所有模型都直接以 GGUF 格式提供。如果目标是从 HuggingFace 下载 GGUF 格式的模型文件，通常需要检查目标模型页面是否已提供 GGUF 文件的下载链接。如果没有直接提供的 GGUF 文件，则需要通过其他方式转换生成。 #### 1. 检查 HuggingFace 模型页面是否有 GGUF 文件 在 HuggingFace 的模型页面上，查看“Files and versions”部分，确认是否存在 `.gguf` 文件。如果存在，可以直接使用 `wget` 或 `curl` 命令下载[^4]。例如： ```bash wget https://huggingface.co/gorilla-llm/gorilla-openfunctions-v2-gguf/resolve/main/gorilla-openfunctions-v2-q2_K.gguf ``` #### 2. 如果没有直接提供的 GGUF 文件 如果 HuggingFace 模型页面未提供 GGUF 文件，则需要将 HuggingFace 格式的模型文件转换为 GGUF 格式。以下是具体步骤： ##### (1) 安装依赖工具 确保安装了必要的工具和库，例如 `llama.cpp` 和相关脚本。可以通过以下命令安装： ```bash git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp pip install -r requirements.txt ``` ##### (2) 使用转换脚本 利用 `convert-hf-to-gguf.py` 脚本将 HuggingFace 格式的模型转换为 GGUF 格式。例如： ```bash python convert-hf-to-gguf.py /path/to/huggingface/model /output/path/qwen2.5-3b-chat-1022-r2.q4_K_M.gguf ``` 此脚本会读取 HuggingFace 模型文件并生成对应的 GGUF 文件[^2]。 ##### (3) 验证 GGUF 文件 转换完成后，可以使用以下命令验证 GGUF 文件是否正确生成： ```bash ls -lh /output/path/qwen2.5-3b-chat-1022-r2.q4_K_M.gguf ``` #### 3. 在 Ollama 中加载 GGUF 文件 一旦获得了 GGUF 文件，可以将其放置到 Ollama 的模型目录中，并创建 `Model File` 来完成加载[^3]。例如： ```bash mkdir -p ~/.ollama/models/qwen2.5-instruct cp /path/to/qwen2.5-3b-chat-1022-r2.q4_K_M.gguf ~/.ollama/models/qwen2.5-instruct/ ``` ### 示例代码 以下是一个完整的脚本示例，用于从 HuggingFace 下载模型并转换为 GGUF 格式： ```bash # 克隆 llama.cpp 仓库 git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp # 安装依赖 pip install -r requirements.txt # 下载 HuggingFace 模型（如果未提供 GGUF 文件） # 替换为实际的 HuggingFace 模型路径 wget https://huggingface.co/{model-repo}/resolve/main/pytorch_model.bin -O /tmp/hf-model.bin # 转换为 GGUF 格式 python convert-hf-to-gguf.py /tmp/hf-model.bin /tmp/model.gguf # 验证 GGUF 文件 ls -lh /tmp/model.gguf ```