huggingface模型手动下载
时间: 2025-05-11 16:21:47 浏览: 70
### 手动下载 Hugging Face 模型的方法
为了手动下载 Hugging Face 的模型,可以按照以下方法操作:
#### 使用 `transformers` 库中的命令行工具
Hugging Face 提供了一个名为 `transformers-cli` 的工具来帮助用户轻松下载模型文件。可以通过安装 `transformers` 库并运行相应的命令实现这一目标[^1]。
以下是具体的操作方式:
```bash
pip install transformers
```
接着使用如下命令下载指定的模型:
```bash
transformers-cli download model_name_or_path
```
例如,如果要下载 BERT-base 模型,则输入:
```bash
transformers-cli download bert-base-uncased
```
此过程会自动将模型权重及相关配置保存到本地缓存目录中,默认路径通常为 `~/.cache/huggingface/transformers/`。
#### 利用 Python 脚本程序化获取
除了通过 CLI 工具外,还可以编写一段简单的 Python 脚本来完成相同的功能。这种方法更加灵活可控,尤其适合批量处理多个模型的情况。
示例代码如下所示:
```python
from transformers import AutoModel, AutoTokenizer
model_name = "bert-base-uncased"
model_save_dir = "./models/bert_base_uncased"
# 下载模型结构及其参数至指定位置
model = AutoModel.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# 保存到自定义目录下
model.save_pretrained(model_save_dir)
tokenizer.save_pretrained(model_save_dir)
```
上述脚本不仅能够加载预训练好的神经网络架构与对应的权值矩阵,还会一并将分词器(Tokenizers)一同存储下来以便后续调用。
#### 注意事项
当面临显存不足 (OOM) 的情况时,考虑调整硬件资源配置或者优化数据读取流程可能是必要的解决方案之一。另外,在实际应用过程中还需要关注许可证协议以及版权归属等问题以确保合法合规地利用这些公共资源。
阅读全文
相关推荐

















