huggingface下载模型并加载
时间: 2025-02-02 15:07:51 浏览: 68
### 下载并加载Hugging Face模型
#### 安装Transformers库
为了能够顺利操作来自Hugging Face的模型,需先安装`transformers`库。这可通过conda来完成:
```bash
conda install -c conda-forge transformers
```
此命令会自动处理依赖关系并将所需的包安装到位[^2]。
#### 使用Python脚本下载模型
一旦安装好环境,就可以通过编写简单的Python代码片段来进行模型下载以及后续的操作。下面是一个例子,展示了怎样获取名为`bert-base-uncased`的BERT模型及其对应的分词器(Tokenizer),并且保存至本地目录中:
```python
from transformers import BertModel, BertTokenizer
model_name = "bert-base-uncased"
save_directory = "./models/bert-base-uncased"
# 加载预训练模型和tokenizer
model = BertModel.from_pretrained(model_name)
tokenizer = BertTokenizer.from_pretrained(model_name)
# 将模型与tokenizer保存到指定位置
model.save_pretrained(save_directory)
tokenizer.save_pretrained(save_directory)
```
这段程序执行完毕之后,在当前工作区下的`./models/bert-base-uncased/`文件夹内将会存在三个主要组件:`pytorch_model.bin`, `config.json`, 和 `vocab.txt`,它们分别代表了模型参数、配置设定还有词汇表数据[^1]。
#### 在项目里重新加载已下载的模型
当希望再次利用之前已经存储下来的资源时,则不需要重复访问网络去拉取相同的资产;而是可以直接读入硬盘上存在的这些二进制文件。这里是如何实现这一点的方法:
```python
from transformers import BertModel, BertTokenizer
load_path = "./models/bert-base-uncased"
# 从本地路径加载模型和tokenizer
loaded_model = BertModel.from_pretrained(load_path)
loaded_tokenizer = BertTokenizer.from_pretrained(load_path)
print("成功加载模型:", loaded_model.config.model_type)
```
上述过程确保了即使在网络条件不佳的情况下也能高效地部署AI应用,同时也减少了对外部服务端口调用的需求。
阅读全文
相关推荐

















