微调 Llama 2 以进行新闻类别预测：微调任何 LLM 的分步综合指南（第 1 部分）

微调任何法学硕士的分步综合指南。

在这篇博客中，我将指导您完成对 Meta 的Llama 2 7B模型进行微调的过程，以实现 18 个不同类别的新闻文章分类。我将利用之前使用GPT 3.5创建的新闻分类指令数据集。

本笔记本的目的是提供全面的分步教程，用于微调任何 LLM（大型语言模型）。与许多可用的教程不同，我将详细解释每个步骤，涵盖使用的所有类、函数和参数。

本指南将分为两部分：

第 1 部分：微调的设置和准备 [此博客]

安装并加载所需的模块
Meta 的 Llama 2 系列型号获得批准的步骤
设置 Hugging Face CLI 和用户身份验证
加载预训练模型及其关联的分词器
加载训练数据集
预处理训练数据集以进行模型微调

第 2 部分：微调和开源

配置 PEFT（参数高效微调）方法 QLoRA 进行高效微调
微调预训练模型
保存微调模型及其关联的分词器
将微调后的模型推送至 Hugging Face Hub 供公众使用
请注意，在 CPU 上运行它实际上是不可能的。如果在 Google Colab 上运行，请转至运行时 > 更改运行时类型。将硬件加速器更改为 GPU。将 GPU 类型更改为 T4。将运行时形状更改为高 RAM