三条命令快速配置Hugging Face

大家好啊,我是董董灿。

本文给出一个配置Hugging Face的方法,让你在国内可快速从Hugging Face上下在模型和各种文件。

1. 什么是 Hugging Face

Hugging Face 本身是一家科技公司,专注于自然语言处理(NLP)和机器学习领域。

最初以其聊天机器人应用闻名,后来逐渐转型,专注于开发和提供开源的人工智能模型和工具。

这家公司最著名的就是开发一个名为“Transformers”的库,这个库集成了很多比较先进的预训练模型,如BERT、GPT-2、GPT-3等等。

除此之外,Hugging Face 还有一个模型共享平台,类似于大模型界的Github,开发者可以在这个平台上下载训练好的大模型来使用。

官网在这:huggingface.co/

要学习与Transformer架构相关的知识,肯定要接触一些大模型,要接触大模型就免不了要从Hugging Face上下载一些模型和参数等文件。

但很多同学限于国外网站网速的问题,以及一些模型都很大(基本都是几个G起步),经常下载很长时间最终还是失败。

本节给出一个配置 Hugging Face镜像的方法,可以帮助你快速从Hugging Face上下载模型。

2、操作步骤

这里就不说原理了,按以下操作即可,在开发环境下安装以下库,执行命令:

pip3 install -U huggingface_hub 
pip install -U "huggingface_hub[cli]"

待上述命令执行完,导入一个环境变量:

export HF_ENDPOINT=https://hf-mirror.com

之后访问Hugging Face就可以用该镜像网站访问,并且下载模型了,速度很快。

另外,如果你是在Linux 环境下做开发,建议将导入环境变量那条命令放在 ~/.bashrc 中,这样系统启动就会自动导入该环境变量,之后所有的开发就不用关心Hugging Face 有关的环境配置了。

本文首发于《transformer专栏》,点击专栏可查看所有内容。

### 如何在 Ubuntu 系统中配置 Hugging Face 镜像源 为了确保在国内环境下能够顺利访问和下载 Hugging Face 的预训练模型,在 Ubuntu 系统上可以通过修改环境变量的方式指定镜像源。具体操作如下: #### 安装 `huggingface_hub` 和 `hf_transfer` 首先,更新现有的软件包并安装最新的 `huggingface_hub` 及其加速工具 `hf_transfer`。 ```bash pip install --upgrade pip pip install -U huggingface_hub hf_transfer ``` #### 设置镜像源地址 通过导出环境变量的方式来更改默认的 Hugging Face API 终端节点至国内可用的镜像站点。 ```bash export HF_ENDPOINT=https://hf-mirror.com ``` 此命令会临时改变当前终端会话中的 Hugging Face 访问链接为 `https://hf-mirror.com`[^4]。如果希望永久生效,则需将上述命令添加到用户的 shell profile 文件(如 `.bashrc`, `.zshrc` 或者其他相应的初始化脚本)中去。 #### 验证配置是否成功 完成以上步骤之后,可以尝试加载某个特定模型来验证新的镜像源是否正常工作。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "gpt2" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) print(f"Successfully loaded {model_name} model and tokenizer.") ``` 当一切设置无误时,这段代码应该可以在不触发任何网络错误的情况下顺利完成执行,并打印出成功的消息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董董灿是个攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值