Huggingface Trainer：Removed shared tensor while saving问题的解决

### 使用 Hugging Face Trainer 进行模型训练 #### 准备工作 为了利用 `Trainer` 模块进行模型的微调，首先需要安装必要的库并导入所需的模块。通常情况下，这涉及到安装 Transformers 库以及可能使用的 Datasets 和 Evaluate 库。 ```bash pip install transformers datasets evaluate ``` 接着，在 Python 脚本或 Jupyter Notebook 中引入这些包： ```python from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer import numpy as np from datasets import load_dataset, load_metric ``` #### 数据处理 对于自定义的数据集来说，应该先将其转换成适合输入给定预训练模型的形式。这里以情感分析为例说明如何准备数据集[^1]。 ```python raw_datasets = load_dataset("imdb") # 假设使用IMDB电影评论作为例子 tokenizer = AutoTokenizer.from_pretrained('bert-base-cased') def preprocess_function(examples): return tokenizer(examples['text'], truncation=True) tokenized_datasets = raw_datasets.map(preprocess_function, batched=True) small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select([i for i in list(range(0, 100))]) small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select([i for i in list(range(0, 100))]) ``` #### 定义评估指标 为了让 `Trainer` 可以计算验证期间的表现情况，还需要指定评价标准。比如可以采用准确率来衡量二元分类的效果。 ```python metric = load_metric("accuracy") def compute_metrics(eval_pred): logits, labels = eval_pred predictions = np.argmax(logits, axis=-1) return metric.compute(predictions=predictions, references=labels) ``` #### 设置训练参数 创建一个 `TrainingArguments` 实例用于配置训练的具体选项，如批量大小、学习率等超参设置。 ```python training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", learning_rate=2e-5, per_device_train_batch_size=8, per_device_eval_batch_size=8, num_train_epochs=3, weight_decay=0.01, ) ``` #### 初始化 Trainer 对象 最后一步就是实例化 `Trainer` 类，并传入之前定义好的组件——包括模型架构、优化器参数、训练/测试数据集以及性能度量函数。 ```python model = AutoModelForSequenceClassification.from_pretrained('bert-base-cased', num_labels=2) trainer = Trainer( model=model, args=training_args, train_dataset=small_train_dataset, eval_dataset=small_eval_dataset, compute_metrics=compute_metrics ) ``` 此时已经准备好启动训练过程了！ ```python trainer.train() ``` 上述代码展示了基于 BERT 的序列分类任务（即情感分析），但同样的方法也适用于其他类型的 NLP 问题，只需调整相应的模型结构和前处理逻辑即可。