如何在transforms使用hf-mirror下载的本地模型

### 如何在Hugging Face Transformers中使用通过hf-mirror下载的本地模型 为了在Hugging Face Transformers库中加载并使用通过`hf-mirror`或其他方式下载到本地的模型，可以按照以下方法实现。以下是具体的操作说明： #### 配置环境变量以指定本地路径 可以通过设置`env.localModelPath`来定义本地存储模型的位置，并禁用远程模型的加载功能。这一步骤确保了即使网络不可用的情况下也能正常运行模型。 ```javascript import { env } from '@xenova/transformers'; // 设置自定义位置用于保存模型文件，默认为'/models/'。 env.localModelPath = 'D:/code/embedding/'; // 禁止从Hugging Face Hub加载远程模型。 env.allowRemoteModels = false; ``` 上述代码片段展示了如何配置本地模型路径以及关闭远程模型加载的功能[^1]。 #### 加载本地模型的方法 当需要加载已经存在于本地磁盘上的预训练模型时，可以直接传递该目录作为参数给相应的类初始化函数。例如对于PyTorch版本的Transformers库来说，通常会这样操作： ```python from transformers import AutoTokenizer, AutoModelForCausalLM # 定义本地模型所在的绝对路径 local_model_path = "/path/to/local/model" # 初始化分词器和模型实例 tokenizer = AutoTokenizer.from_pretrained(local_model_path) model = AutoModelForCausalLM.from_pretrained(local_model_path) ``` 这里的关键在于提供正确的`local_model_path`指向实际存放模型权重及相关元数据的具体地址[^3]。 #### 下载InternLM等特定模型至本地 如果目标是从HuggingFace官方站点获取像InternLM这样的特殊架构，则需遵循其文档指南完成克隆仓库、安装依赖项及转换脚本执行等一系列动作之后才能获得适配于框架使用的格式化后的权重文件夹结构[^2]: ```bash git clone [email protected]:huggingface/transformers.git cd transformers pip install -r requirements.txt python src/transformers/models/llama/convert_llama_weights_to_hf.py \ --input_dir /path/to/downloaded/internlm/weights --model_size 7B --output_dir ./internlm_converted/ ``` 此命令序列将原始Llama风格权重组件转化为兼容形式存放到指定输出目录下以便后续调用。 --- ### 总结 综上所述，要利用已由`hf-mirror`或者其他途径取得的离线状态下的大型语言处理单元(LLM)，应当先调整好对应的应用程序接口(API)设定使其仅限查找内部资源而非外部链接；接着依据所选编程语言选取恰当的方式读取这些预先准备完毕的数据集或者算法组件即可达成目的。