轻量微调和推理stanford_alpca

Kun Li

于 2023-06-02 15:54:31 发布

阅读量504

点赞数

CC 4.0 BY-SA版权

分类专栏：大语言模型文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/u012193416/article/details/131005622

大语言模型专栏收录该内容

60 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在A10 GPU上轻量微调和推理Stanford Alpaca模型，该模型基于7B LLaMA模型在52K条指令数据上进行训练。内容包括下载模型、安装依赖、数据准备、模型微调及参数调整，以适应有限的GPU显存，以及推理阶段的说明。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当前的Alpaca模型是在Self-Instruct论文中使用的技术生成的52K条指令数据，从7B LLaMA模型微调而来，并进行了一些修改。

A10 gpu显存：22G，cu117，驱动470.103.01

absl-py                  1.4.0
accelerate               0.18.0
addict                   2.4.0
aenum                    3.1.12
aiofiles                 23.1.0
aiohttp                  3.8.4
aiosignal                1.3.1
albumentations           0.4.3
altair                   4.2.2
antlr4-python3-runtime   4.9.3
anyio                    3.6.2
appdirs                  1.4.4
asttokens                2.2.1
async-timeout            4.0.2
attrs                    22.2.0
backcall                 0.2.0
basicsr                  1.4.2
bcrypt                   4.0.1
beautifulsoup4           4.12.1
blendmodes