文本分类模型训练及部署

步骤 1：准备数据集

为了判断用户输入的文本是否为控制指令，需要准备一个包含文本和标签的数据集，标签会标记文本是否属于控制指令。数据集中的文本包括控制指令（如调节温度、音量等）和非控制指令（如一般查询、对话等）。

1.1 数据集格式

我们可以将数据集格式化为一个JSON或CSV文件，包含两列：文本和标签。

文本：用户的输入文本。
标签：标签分为两类：control_command（控制指令）和non_control_command（非控制指令）。
json
[
{
“text”: “调高温度到30度”,
“label”: “control_command”
},
{
“text”: “你今天过得怎么样？”,
“label”: “non_control_command”
},
{
“text”: “音量调大一点”,
“label”: “control_command”
},
{
“text”: “请帮我查一下今天的天气”,
“label”: “non_control_command”
}
]

1.2 标签说明

control_command：控制指令，如“调高温度”、“音量调大”、“调节亮度”等。
non_control_command：非控制指令，如一般对话、查询、请求等。

1.3 数据量

为了训练一个有效的模型，建议收集至少几百到几千条数据。如果没有那么多数据，可以考虑使用数据增强技术或手动扩充数据集。

步骤 2：电脑端训练预测

2.1安装所需库

pip install transformers datasets torch scikit-learn
pip install accelerate>=0.26.0


pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

2.2下载模型

下载：国内huggface镜像

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"

huggingface-cli download --resume-download google-bert/bert-base-chinese --local-dir google-bert/bert-base-chinese

2.3模型载入与训练评估

from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments
from datasets import load_dataset
import torch

# 加载数据集
dataset = load_dataset('json', data_files='data.json')

# 标签编码
label2id = {"control_command": 0, "medical_condition_command": 1, "gossip_command": 2}
encoded_labels = dataset.map(lambda x: {'label': label2id[x['label']]})

# 使用 datasets 库的 train_test_split 来分割数据集
train_dataset = e