HuggingFace作为当前AI入门者快速上手,接触大佬发布的开源模型、数据集的必经之路,是每个想要从事AI领域的必会科目。HuggingFace在AI领域的作用相当于代码领域的github,我们可以在HuggingFace中使用别人上传到HuggingFace的开源模型和数据集,并且不需要配置复杂的环境。这么好的工具我们该如何上手呢,下面我带大家如何在命令行配置HuggingFace。
HuggingFace相关链接:
HuggingFace官网
HuggingFace官方中文文档
第一步 配置虚拟环境
注意:这里要安装高于3.9版本的python,我安装的3.10版本
conda create -n transformer python=3.10
如图所示即为创建成功
激活环境
conda activate transformer
安装transform包
pip install transformers
安装完成后需要安装对应cuda版本的pytorch
输入
nvidia-smi
图中红框便是你电脑的cuda版本
去pytorch官网:pytorch官网下载对应cuda版本或者低于你主机版本的pytorch
第二步 测试运行情况
编写一个python文件
import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
from transformers import pipeline
classifier = pipeline("zero-shot-classification")
res = classifier(
"this is a course about python list comprehension",
candidate_labels=["edition","politics","business"],
)
print(res)
此处有个坑,记得把Numpy降一下版本
pip uninstall Numpy #卸载高版本Numpy包
pip install Numpy==1.23.5
运行python文件,显示如下内容即为成功,此代码是调用零样本学习算法,分析这句话是属于列表中哪一类别,根据结果的显示edution可能性高达0.78,与教育相关。由于我们在代码中没有调用gpu和模型因此会有提示,不影响使用。
到此HuggingFace命令行配置变完成了!