Blue&boke

4、下载llama factory代码，并cd到文件夹内部，然后运行官网给的pip命令，同样可以添加镜像源，不然会有包下载失败，导致一直重新装。2、激活后可检查内部包是否纯净，要确保环境内包较纯净，不然后续安装对应包会出现一系列水土不服的问题，导致安装包冲突而失败。（1）、初始环境一定要较为纯净，不然可能会导致库之间的冲突而安装失败。（2）、安装命令皆可添加镜像源，防止过程中下载失败导致一直重新安装库。3、首先安装bitsandbytes库，可添加镜像源，命令如下。安装完同样会出现如下提示。

1、按照网上搜索的一些代码，如使用auto_gptq原生库进行训练后量化，可能会正常量化，但是在线推理时会出现如找不到bin文件或者tf文件，即模型权重文件，所以和网上大部分代码不同的地方在于，需要提前保存对应模型的权重文件，如果是BaiChuan13B，那么在进行模型量化前，对其进行保存。按照上述步骤，此时模型量化文件保存成功，接下来就是模型在线推理。

【代码】Qwen-13B推理代码。

解决方法：需要保存的文件名字为"pytorch_model.bin"

报错：ValueError: Tokenizer class BaichuanTokenizer does not exist or is not currently imported。环境：使用 AutoTokenizer 加载量化后的百川模型。添加 trust_remote_code=True。可以在量化时对 Tokenizer 进行保存。

【代码】运行 baichuan2-13B-chat 模型。