活动介绍

在用自己的sharegpt格式数据集进行Llama微调时,dataset_info.json文件怎么配置

时间: 2024-12-04 12:23:12 浏览: 180
当你在使用ShareGPT的数据集中对LLM(Large Language Model)进行微调时,`dataset_info.json` 文件是一个关键的配置文件,它提供了关于数据集结构、标记规范以及训练相关的元信息。以下是创建或配置这个文件的一些要点: 1. **基本信息**: - `name`: 数据集的名称,例如 "custom_sharpgpt_dataset"。 - `description`: 简短描述数据集的内容和目的。 2. **split_info**: - `train`: 训练部分的配置,包括文件路径和占总样本的比例。 - `validation`: 验证部分的信息,如果有的话。 - `test` (可选): 测试部分的信息,用于评估模型性能。 3. **tokenizer_config**: 如果使用自定义分词器,可以提供有关如何将文本转换为模型期望格式的细节。 - `model_name_or_path`: LLM的预训练模型名或路径。 - `do_lower_case` 或 `use_fast_tokenizer` (取决于tokenizer): 是否需要进行小写处理或使用快速分词器。 4. **column_names**: 如果数据包含列名,列举出来,例如 "text", "label",表示输入和目标标签字段。 5. **additional_metadata** (可选): 可能包含任何额外的元数据,如数据来源、数据清洗步骤等。 示例配置: ```json { "name": "custom_sharpgpt_dataset", "description": "微调ShareGPT的文本生成任务数据", "split_info": { "train": {"file": "train.txt", "percentage": 0.8}, "validation": {"file": "val.txt", "percentage": 0.1}, "test": {"file": "test.txt", "percentage": 0.1} }, "tokenizer_config": { "model_name_or_path": "sharegpt-base", "do_lower_case": false, "use_fast_tokenizer": true }, "column_names": ["input_text", "target_text"], "additional_metadata": { "data_preprocessing_steps": "去除特殊字符和数字" } } ``` 记得在实际操作前备份原始数据,并确保文件路径准确无误。完成后,你可以将此配置文件传递给微调脚本,让模型基于提供的数据进行学习。
阅读全文

相关推荐

现在报这个错误[INFO|2025-03-14 11:38:36] llamafactory.data.template:143 >> Add <|im_end|> to stop words. Traceback (most recent call last): File "/usr/local/bin/llamafactory-cli", line 8, in <module> sys.exit(main()) File "/mnt/workspace/.cache/modelscope/LLaMA-Factory/src/llamafactory/cli.py", line 118, in main run_exp() File "/mnt/workspace/.cache/modelscope/LLaMA-Factory/src/llamafactory/train/tuner.py", line 103, in run_exp _training_function(config={"args": args, "callbacks": callbacks}) File "/mnt/workspace/.cache/modelscope/LLaMA-Factory/src/llamafactory/train/tuner.py", line 68, in _training_function run_sft(model_args, data_args, training_args, finetuning_args, generating_args, callbacks) File "/mnt/workspace/.cache/modelscope/LLaMA-Factory/src/llamafactory/train/sft/workflow.py", line 51, in run_sft dataset_module = get_dataset(template, model_args, data_args, training_args, stage="sft", **tokenizer_module) File "/mnt/workspace/.cache/modelscope/LLaMA-Factory/src/llamafactory/data/loader.py", line 297, in get_dataset dataset = _get_merged_dataset(data_args.dataset, model_args, data_args, training_args, stage) File "/mnt/workspace/.cache/modelscope/LLaMA-Factory/src/llamafactory/data/loader.py", line 171, in _get_merged_dataset for dataset_name, dataset_attr in zip(dataset_names, get_dataset_list(dataset_names, data_args.dataset_dir)): File "/mnt/workspace/.cache/modelscope/LLaMA-Factory/src/llamafactory/data/parser.py", line 129, in get_dataset_list raise ValueError(f"Undefined dataset {name} in {DATA_CONFIG}.") ValueError: Undefined dataset /mnt/workspace/.cache/modelscope/datasets/liucong/Chinese-DeepSeek-R1-Distill-data-110k/distill_r1_110k in dataset_info.json.

训练出错。 Exit code: 1 [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,543 >> loading file vocab.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,544 >> loading file merges.txt [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,544 >> loading file tokenizer.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,544 >> loading file added_tokens.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,544 >> loading file special_tokens_map.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,544 >> loading file tokenizer_config.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,545 >> loading file chat_template.jinja [INFO|tokenization_utils_base.py:2323] 2025-07-08 19:48:24,808 >> Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained. [INFO|configuration_utils.py:691] 2025-07-08 19:48:24,811 >> loading configuration file D:\llamafactory\LLaMA-Factory\Qwen2.5-0.5B-Instruct\config.json [INFO|configuration_utils.py:765] 2025-07-08 19:48:24,815 >> Model config Qwen2Config { "architectures": [ "Qwen2ForCausalLM" ], "attention_dropout": 0.0, "bos_token_id": 151643, "eos_token_id": 151645, "hidden_act": "silu", "hidden_size": 896, "initializer_range": 0.02, "intermediate_size": 4864, "max_position_embeddings": 32768, "max_window_layers": 21, "model_type": "qwen2", "num_attention_heads": 14, "num_hidden_layers": 24, "num_key_value_heads": 2, "rms_norm_eps": 1e-06, "rope_scaling": null, "rope_theta": 1000000.0, "sliding_window": 32768, "tie_word_embeddings": true, "torch_dtype": "bfloat16", "transformers_version": "4.51.0", "use_cache": true, "use_sliding_window": false, "vocab_size": 151936 } [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,820 >> loading file vocab.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,820 >> loading file merges.txt [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,820 >> loading file tokenizer.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,820 >> loading file added_tokens.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,820 >> loading file special_tokens_map.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,820 >> loading file tokenizer_config.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:48:24,820 >> loading file chat_template.jinja [INFO|tokenization_utils_base.py:2323] 2025-07-08 19:48:25,077 >> Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained. Converting format of dataset (num_proc=16): 0%| | 0/513 [00:00<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:25<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:25<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:25<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:26<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:26<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:26<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:26<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:26<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:27<?, ? examples/s] multiprocess.pool.RemoteTraceback: """ Traceback (most recent call last): File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\multiprocess\pool.py", line 125, in worker result = (True, func(*args, **kwds)) ~~~~^^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\utils\py_utils.py", line 688, in _write_generator_to_queue for i, result in enumerate(func(**kwargs)): ~~~~~~~~~^^^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\arrow_dataset.py", line 3501, in _map_single for i, example in iter_outputs(shard_iterable): ~~~~~~~~~~~~^^^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\arrow_dataset.py", line 3475, in iter_outputs yield i, apply_function(example, i, offset=offset) ~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\arrow_dataset.py", line 3398, in apply_function processed_inputs = function(*fn_args, *additional_args, **fn_kwargs) File "D:\llamafactory\LLaMA-Factory\src\llamafactory\data\converter.py", line 94, in __call__ if self.dataset_attr.prompt and example[self.dataset_attr.prompt]: ~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\formatting\formatting.py", line 278, in __getitem__ value = self.data[key] ~~~~~~~~~^^^^^ KeyError: 'instruction' """ The above exception was the direct cause of the following exception: Traceback (most recent call last): File "<frozen runpy>", line 198, in _run_module_as_main File "<frozen runpy>", line 88, in _run_code File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\Scripts\llamafactory-cli.exe\__main__.py", line 7, in <module> sys.exit(main()) ~~~~^^ File "D:\llamafactory\LLaMA-Factory\src\llamafactory\cli.py", line 151, in main COMMAND_MAP[command]() ~~~~~~~~~~~~~~~~~~~~^^ File "D:\llamafactory\LLaMA-Factory\src\llamafactory\train\tuner.py", line 110, in run_exp _training_function(config={"args": args, "callbacks": callbacks}) ~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\llamafactory\LLaMA-Factory\src\llamafactory\train\tuner.py", line 72, in _training_function run_sft(model_args, data_args, training_args, finetuning_args, generating_args, callbacks) ~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\llamafactory\LLaMA-Factory\src\llamafactory\train\sft\workflow.py", line 51, in run_sft dataset_module = get_dataset(template, model_args, data_args, training_args, stage="sft", **tokenizer_module) File "D:\llamafactory\LLaMA-Factory\src\llamafactory\data\loader.py", line 304, in get_dataset dataset = _get_merged_dataset(data_args.dataset, model_args, data_args, training_args, stage) File "D:\llamafactory\LLaMA-Factory\src\llamafactory\data\loader.py", line 182, in _get_merged_dataset datasets[dataset_name] = _load_single_dataset(dataset_attr, model_args, data_args, training_args) ~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\llamafactory\LLaMA-Factory\src\llamafactory\data\loader.py", line 162, in _load_single_dataset return align_dataset(dataset, dataset_attr, data_args, training_args) File "D:\llamafactory\LLaMA-Factory\src\llamafactory\data\converter.py", line 279, in align_dataset return dataset.map( ~~~~~~~~~~~^ dataset_converter, ^^^^^^^^^^^^^^^^^^ ...<2 lines>... **kwargs, ^^^^^^^^^ ) ^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\arrow_dataset.py", line 557, in wrapper out: Union["Dataset", "DatasetDict"] = func(self, *args, **kwargs) ~~~~^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\arrow_dataset.py", line 3171, in map for rank, done, content in iflatmap_unordered( ~~~~~~~~~~~~~~~~~~^ pool, Dataset._map_single, kwargs_iterable=kwargs_per_job ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ): ^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\utils\py_utils.py", line 728, in iflatmap_unordered [async_result.get(timeout=0.05) for async_result in async_results] ~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\multiprocess\pool.py", line 774, in get raise self._value KeyError: 'instruction'怎么解决

[INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:37,761 >> loading file vocab.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:37,762 >> loading file merges.txt [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:37,762 >> loading file tokenizer.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:37,762 >> loading file added_tokens.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:37,762 >> loading file special_tokens_map.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:37,762 >> loading file tokenizer_config.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:37,762 >> loading file chat_template.jinja [INFO|tokenization_utils_base.py:2323] 2025-07-08 19:31:38,047 >> Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained. [INFO|configuration_utils.py:691] 2025-07-08 19:31:38,051 >> loading configuration file D:\llamafactory\LLaMA-Factory\Qwen2.5-0.5B-Instruct\config.json [INFO|configuration_utils.py:765] 2025-07-08 19:31:38,054 >> Model config Qwen2Config { "architectures": [ "Qwen2ForCausalLM" ], "attention_dropout": 0.0, "bos_token_id": 151643, "eos_token_id": 151645, "hidden_act": "silu", "hidden_size": 896, "initializer_range": 0.02, "intermediate_size": 4864, "max_position_embeddings": 32768, "max_window_layers": 21, "model_type": "qwen2", "num_attention_heads": 14, "num_hidden_layers": 24, "num_key_value_heads": 2, "rms_norm_eps": 1e-06, "rope_scaling": null, "rope_theta": 1000000.0, "sliding_window": 32768, "tie_word_embeddings": true, "torch_dtype": "bfloat16", "transformers_version": "4.51.0", "use_cache": true, "use_sliding_window": false, "vocab_size": 151936 } [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:38,060 >> loading file vocab.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:38,060 >> loading file merges.txt [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:38,060 >> loading file tokenizer.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:38,060 >> loading file added_tokens.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:38,060 >> loading file special_tokens_map.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:38,060 >> loading file tokenizer_config.json [INFO|tokenization_utils_base.py:2058] 2025-07-08 19:31:38,060 >> loading file chat_template.jinja [INFO|tokenization_utils_base.py:2323] 2025-07-08 19:31:38,343 >> Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained. Setting num_proc from 16 back to 1 for the train split to disable multiprocessing as it only contains one shard. Generating train split: 0 examples [00:00, ? examples/s] Generating train split: 513 examples [00:00, 4879.25 examples/s] Generating train split: 513 examples [00:00, 4852.62 examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:00<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:25<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:26<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:26<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:26<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:27<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:27<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:27<?, ? examples/s] Converting format of dataset (num_proc=16): 0%| | 0/513 [00:27<?, ? examples/s] multiprocess.pool.RemoteTraceback: """ Traceback (most recent call last): File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\multiprocess\pool.py", line 125, in worker result = (True, func(*args, **kwds)) ~~~~^^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\utils\py_utils.py", line 688, in _write_generator_to_queue for i, result in enumerate(func(**kwargs)): ~~~~~~~~~^^^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\arrow_dataset.py", line 3501, in _map_single for i, example in iter_outputs(shard_iterable): ~~~~~~~~~~~~^^^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\arrow_dataset.py", line 3475, in iter_outputs yield i, apply_function(example, i, offset=offset) ~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\arrow_dataset.py", line 3398, in apply_function processed_inputs = function(*fn_args, *additional_args, **fn_kwargs) File "D:\llamafactory\LLaMA-Factory\src\llamafactory\data\converter.py", line 94, in __call__ if self.dataset_attr.prompt and example[self.dataset_attr.prompt]: ~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\formatting\formatting.py", line 278, in __getitem__ value = self.data[key] ~~~~~~~~~^^^^^ KeyError: 'instruction' """ The above exception was the direct cause of the following exception: Traceback (most recent call last): File "<frozen runpy>", line 198, in _run_module_as_main File "<frozen runpy>", line 88, in _run_code File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\Scripts\llamafactory-cli.exe\__main__.py", line 7, in <module> sys.exit(main()) ~~~~^^ File "D:\llamafactory\LLaMA-Factory\src\llamafactory\cli.py", line 151, in main COMMAND_MAP[command]() ~~~~~~~~~~~~~~~~~~~~^^ File "D:\llamafactory\LLaMA-Factory\src\llamafactory\train\tuner.py", line 110, in run_exp _training_function(config={"args": args, "callbacks": callbacks}) ~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\llamafactory\LLaMA-Factory\src\llamafactory\train\tuner.py", line 72, in _training_function run_sft(model_args, data_args, training_args, finetuning_args, generating_args, callbacks) ~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\llamafactory\LLaMA-Factory\src\llamafactory\train\sft\workflow.py", line 51, in run_sft dataset_module = get_dataset(template, model_args, data_args, training_args, stage="sft", **tokenizer_module) File "D:\llamafactory\LLaMA-Factory\src\llamafactory\data\loader.py", line 304, in get_dataset dataset = _get_merged_dataset(data_args.dataset, model_args, data_args, training_args, stage) File "D:\llamafactory\LLaMA-Factory\src\llamafactory\data\loader.py", line 182, in _get_merged_dataset datasets[dataset_name] = _load_single_dataset(dataset_attr, model_args, data_args, training_args) ~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\llamafactory\LLaMA-Factory\src\llamafactory\data\loader.py", line 162, in _load_single_dataset return align_dataset(dataset, dataset_attr, data_args, training_args) File "D:\llamafactory\LLaMA-Factory\src\llamafactory\data\converter.py", line 279, in align_dataset return dataset.map( ~~~~~~~~~~~^ dataset_converter, ^^^^^^^^^^^^^^^^^^ ...<2 lines>... **kwargs, ^^^^^^^^^ ) ^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\arrow_dataset.py", line 557, in wrapper out: Union["Dataset", "DatasetDict"] = func(self, *args, **kwargs) ~~~~^^^^^^^^^^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\arrow_dataset.py", line 3171, in map for rank, done, content in iflatmap_unordered( ~~~~~~~~~~~~~~~~~~^ pool, Dataset._map_single, kwargs_iterable=kwargs_per_job ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ): ^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\datasets\utils\py_utils.py", line 728, in iflatmap_unordered [async_result.get(timeout=0.05) for async_result in async_results] ~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^ File "C:\Users\李俊聪\AppData\Roaming\Python\Python313\site-packages\multiprocess\pool.py", line 774, in get raise self._value KeyError: 'instruction'怎么解决

import os import torch import transformers from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, DataCollatorForLanguageModeling, BitsAndBytesConfig, Trainer ) from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from datasets import load_dataset import logging import psutil import gc from datetime import datetime # === 配置区域 === MODEL_NAME = "/home/vipuser/ai_writer_project_final_with_fixed_output_ui/models/Yi-6B" DATASET_PATH = "./data/train_lora_formatted.jsonl" OUTPUT_DIR = "./yi6b-lora-optimized" DEVICE_MAP = "auto" # 使用自动设备映射 # 确保输出目录存在 os.makedirs(OUTPUT_DIR, exist_ok=True) # === 内存优化配置 === os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True" # 减少内存碎片 torch.backends.cuda.cufft_plan_cache.clear() # 清理CUDA缓存 # === 增强的日志系统 === def setup_logging(output_dir): """配置日志系统,支持文件和TensorBoard""" logger = logging.getLogger(__name__) logger.setLevel(logging.INFO) # 文件日志处理器 file_handler = logging.FileHandler(os.path.join(output_dir, "training.log")) file_handler.setFormatter(logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')) logger.addHandler(file_handler) # 控制台日志处理器 console_handler = logging.StreamHandler() console_handler.setFormatter(logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')) logger.addHandler(console_handler) # TensorBoard日志目录 tensorboard_log_dir = os.path.join(output_dir, "logs", datetime.now().strftime("%Y%m%d-%H%M%S")) os.makedirs(tensorboard_log_dir, exist_ok=True) # 安装TensorBoard回调 tb_writer = None try: from torch.utils.tensorboard import SummaryWriter tb_writer = SummaryWriter(log_dir=tensorboard_log_dir) logger.info(f"TensorBoard日志目录: {tensorboard_log_dir}") except ImportError: logger.warning("TensorBoard未安装,可视化功能不可用") return logger, tb_writer logger, tb_writer = setup_logging(OUTPUT_DIR) # === 量化配置 - 使用更高效的配置 === quant_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True, ) # === 加载模型 === logger.info("加载预训练模型...") model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, device_map=DEVICE_MAP, quantization_config=quant_config, torch_dtype=torch.bfloat16, trust_remote_code=True, attn_implementation="flash_attention_2" # 使用FlashAttention优化内存 ) # === 分词器处理 === logger.info("加载分词器...") tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True) tokenizer.padding_side = "right" if tokenizer.pad_token is None: tokenizer.pad_token = tokenizer.eos_token tokenizer.pad_token_id = tokenizer.eos_token_id # === 准备模型训练 === model = prepare_model_for_kbit_training( model, use_gradient_checkpointing=True # 启用梯度检查点以节省内存 ) # === LoRA 配置 - 优化内存使用 === logger.info("配置LoRA...") lora_config = LoraConfig( r=64, # 降低rank以减少内存使用 lora_alpha=32, # 降低alpha值 target_modules=["q_proj", "v_proj"], # 减少目标模块 lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, lora_config) # 记录可训练参数 trainable_params = sum(p.numel() for p in model.parameters() if p.requires_grad) total_params = sum(p.numel() for p in model.parameters()) logger.info(f"可训练参数: {trainable_params:,} / 总参数: {total_params:,} ({trainable_params / total_params:.2%})") # === 加载并预处理数据集 === logger.info("加载和预处理数据集...") dataset = load_dataset("json", data_files=DATASET_PATH, split="train") # 文本过滤函数 def is_valid_text(example): text = example.get("text", "") return text is not None and len(text.strip()) > 200 # 增加最小长度要求 dataset = dataset.filter(is_valid_text) logger.info(f"过滤后数据集大小: {len(dataset)} 条") # 动态填充的分词函数 - 节省内存 def tokenize_function(examples): tokenized = tokenizer( examples["text"], padding=True, # 使用动态填充 truncation=True, max_length=1024, # 降低上下文长度以减少内存使用 ) # 创建 labels - 因果语言建模需要 labels = input_ids tokenized["labels"] = tokenized["input_ids"].copy() return tokenized tokenized_dataset = dataset.map( tokenize_function, batched=True, remove_columns=["text"], batch_size=64, # 降低批处理大小以减少内存峰值 num_proc=4, # 减少进程数以降低内存开销 ) # === 数据整理器 === data_collator = DataCollatorForLanguageModeling( tokenizer=tokenizer, mlm=False # 因果语言建模 ) # === 训练参数 - 优化内存使用 === report_to_list = ["tensorboard"] if tb_writer else [] training_args = TrainingArguments( output_dir=OUTPUT_DIR, per_device_train_batch_size=4, # 大幅降低批次大小 gradient_accumulation_steps=4, # 增加梯度累积步数以保持有效批次大小 learning_rate=2e-5, num_train_epochs=3, logging_steps=50, save_strategy="steps", save_steps=500, bf16=True, optim="paged_adamw_32bit", report_to=report_to_list, warmup_ratio=0.05, gradient_checkpointing=True, # 启用梯度检查点 fp16=False, max_grad_norm=0.3, # 降低梯度裁剪阈值 remove_unused_columns=True, # 移除未使用的列以节省内存 dataloader_num_workers=4, # 减少数据加载工作线程 evaluation_strategy="steps", eval_steps=500, save_total_limit=2, # 减少保存的检查点数量 logging_dir=os.path.join(OUTPUT_DIR, "logs"), load_best_model_at_end=True, ddp_find_unused_parameters=False, logging_first_step=True, group_by_length=True, lr_scheduler_type="cosine", weight_decay=0.01, ) # === GPU监控工具 === def monitor_gpu(): """监控GPU使用情况""" if torch.cuda.is_available(): device = torch.device("cuda") mem_alloc = torch.cuda.memory_allocated(device) / 1024 ** 3 mem_reserved = torch.cuda.memory_reserved(device) / 1024 ** 3 mem_total = torch.cuda.get_device_properties(device).total_memory / 1024 ** 3 return { "allocated": f"{mem_alloc:.2f} GB", "reserved": f"{mem_reserved:.2f} GB", "total": f"{mem_total:.2f} GB", "utilization": f"{mem_alloc / mem_total * 100:.1f}%" } return {} # === 创建训练器 === eval_dataset = None if len(tokenized_dataset) > 100: eval_dataset = tokenized_dataset.select(range(100)) trainer = Trainer( model=model, tokenizer=tokenizer, args=training_args, train_dataset=tokenized_dataset, eval_dataset=eval_dataset, data_collator=data_collator, ) # === 训练前验证 === def validate_data_and_model(): """验证数据和模型是否准备好训练""" logger.info("\n=== 训练前验证 ===") # 检查样本格式 sample = tokenized_dataset[0] logger.info(f"样本键: {list(sample.keys())}") logger.info(f"input_ids 长度: {len(sample['input_ids'])}") # 创建单个样本测试批次 test_batch = data_collator([sample]) # 移动数据到设备 test_batch = {k: v.to(model.device) for k, v in test_batch.items()} # 前向传播测试 model.train() outputs = model(**test_batch) loss_value = outputs.loss.item() logger.info(f"测试批次损失: {loss_value:.4f}") # 记录到TensorBoard if tb_writer: tb_writer.add_scalar("debug/test_loss", loss_value, 0) # 反向传播测试 outputs.loss.backward() logger.info("反向传播成功!") # 重置梯度 model.zero_grad() logger.info("验证完成,准备开始训练\n") # 记录初始GPU使用情况 gpu_status = monitor_gpu() logger.info(f"初始GPU状态: {gpu_status}") # 记录到TensorBoard if tb_writer: tb_writer.add_text("system/initial_gpu", str(gpu_status), 0) validate_data_and_model() # === 自定义回调 - 监控资源使用 === class ResourceMonitorCallback(transformers.TrainerCallback): def __init__(self, tb_writer=None): self.tb_writer = tb_writer self.start_time = datetime.now() self.last_log_time = datetime.now() def on_step_end(self, args, state, control, **kwargs): current_time = datetime.now() time_diff = (current_time - self.last_log_time).total_seconds() # 每分钟记录一次资源使用情况 if time_diff > 60: self.last_log_time = current_time # GPU监控 gpu_status = monitor_gpu() logger.info(f"Step {state.global_step} - GPU状态: {gpu_status}") # CPU和内存监控 cpu_percent = psutil.cpu_percent() mem = psutil.virtual_memory() logger.info( f"CPU使用率: {cpu_percent}%, 内存使用: {mem.used / 1024 ** 3:.2f}GB/{mem.total / 1024 ** 3:.2f}GB") # 记录到TensorBoard if self.tb_writer: # GPU显存使用 if torch.cuda.is_available(): device = torch.device("cuda") mem_alloc = torch.cuda.memory_allocated(device) / 1024 ** 3 self.tb_writer.add_scalar("system/gpu_mem", mem_alloc, state.global_step) # CPU使用率 self.tb_writer.add_scalar("system/cpu_usage", cpu_percent, state.global_step) # 系统内存使用 self.tb_writer.add_scalar("system/ram_usage", mem.used / 1024 ** 3, state.global_step) def on_log(self, args, state, control, logs=None, **kwargs): """记录训练指标到TensorBoard""" if self.tb_writer and logs is not None: for metric_name, metric_value in logs.items(): if "loss" in metric_name or "lr" in metric_name or "grad_norm" in metric_name: self.tb_writer.add_scalar(f"train/{metric_name}", metric_value, state.global_step) def on_train_end(self, args, state, control, **kwargs): """训练结束时记录总时间""" training_time = datetime.now() - self.start_time logger.info(f"训练总时间: {training_time}") if self.tb_writer: self.tb_writer.add_text("system/total_time", str(training_time)) # 添加回调 trainer.add_callback(ResourceMonitorCallback(tb_writer=tb_writer)) # === 内存清理函数 === def clear_memory(): """清理内存和GPU缓存""" gc.collect() if torch.cuda.is_available(): torch.cuda.empty_cache() torch.cuda.ipc_collect() logger.info("内存清理完成") # === 启动训练 === try: logger.info("开始训练...") # 分阶段训练以减少内存峰值 num_samples = len(tokenized_dataset) chunk_size = 1000 # 每次处理1000个样本 for i in range(0, num_samples, chunk_size): end_idx = min(i + chunk_size, num_samples) logger.info(f"训练样本 {i} 到 {end_idx - 1} / {num_samples}") # 创建子数据集 chunk_dataset = tokenized_dataset.select(range(i, end_idx)) # 更新训练器 trainer.train_dataset = chunk_dataset # 训练当前块 trainer.train() # 清理内存 clear_memory() # 保存训练指标 metrics = trainer.evaluate() trainer.log_metrics("train", metrics) trainer.save_metrics("train", metrics) # 保存最佳模型 trainer.save_model(OUTPUT_DIR) tokenizer.save_pretrained(OUTPUT_DIR) logger.info(f"训练完成! 模型保存在: {OUTPUT_DIR}") # 记录最终指标到TensorBoard if tb_writer: for metric_name, metric_value in metrics.items(): tb_writer.add_scalar(f"final/{metric_name}", metric_value) tb_writer.close() except Exception as e: logger.error(f"训练出错: {e}") import traceback logger.error(traceback.format_exc()) # 尝试更小批量训练 logger.info("\n尝试更小批量训练...") small_dataset = tokenized_dataset.select(range(50)) trainer.train_dataset = small_dataset trainer.train() # 保存模型 trainer.save_model(f"{OUTPUT_DIR}_small") tokenizer.save_pretrained(f"{OUTPUT_DIR}_small") logger.info(f"小批量训练完成! 模型保存在: {OUTPUT_DIR}_small") # 记录错误到TensorBoard if tb_writer: tb_writer.add_text("error/exception", traceback.format_exc()) # 清理内存 clear_memory() # === 训练后验证 === def validate_final_model(): """验证训练后的模型""" logger.info("\n=== 训练后验证 ===") # 加载保存的模型 from peft import PeftModel # 仅加载基础模型配置 base_model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, device_map=DEVICE_MAP, quantization_config=quant_config, torch_dtype=torch.bfloat16, trust_remote_code=True, load_in_4bit=True ) # 加载LoRA适配器 peft_model = PeftModel.from_pretrained(base_model, OUTPUT_DIR) # 不再合并LoRA权重,直接使用 peft_model 推理 peft_model.eval() # 测试生成 prompt = "中国的首都是" inputs = tokenizer(prompt, return_tensors="pt").to(peft_model.device) outputs = peft_model.generate( **inputs, max_new_tokens=50, # 减少生成长度 temperature=0.7, top_p=0.9, repetition_penalty=1.2, do_sample=True ) generated = tokenizer.decode(outputs[0], skip_special_tokens=True) logger.info(f"提示: {prompt}") logger.info(f"生成结果: {generated}") # 记录到TensorBoard if tb_writer: tb_writer.add_text("validation/sample", f"提示: {prompt}\n生成: {generated}") # 更全面的测试 test_prompts = [ "人工智能的未来发展趋势是", "如何学习深度学习?", "写一个关于太空探索的短故事:" ] for i, test_prompt in enumerate(test_prompts): inputs = tokenizer(test_prompt, return_tensors="pt").to(peft_model.device) outputs = peft_model.generate( **inputs, max_new_tokens=100, # 减少生成长度 temperature=0.7, top_p=0.9, repetition_penalty=1.2, do_sample=True ) generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) logger.info(f"\n提示: {test_prompt}\n生成: {generated_text}\n{'=' * 50}") # 记录到TensorBoard if tb_writer: tb_writer.add_text(f"validation/test_{i}", f"提示: {test_prompt}\n生成: {generated_text}") logger.info("验证完成") # 执行验证 validate_final_model() # 关闭TensorBoard写入器 if tb_writer: tb_writer.close() logger.info("TensorBoard日志已关闭")

import json import torch from typing import Dict, List from torch.utils.data import Dataset import transformers from peft import LoraConfig, TaskType, get_peft_model from torch.utils.data import DataLoader, SequentialSampler from transformers import Trainer, TrainingArguments from lora_plus import LoraPlusTrainer from torch.utils.data import RandomSampler from swanlab.integration.transformers import SwanLabCallback import swanlab import numpy as np import pandas as pd import re from typing import Dict, List import torch from tqdm import tqdm from transformers import PreTrainedTokenizer from transformers import AutoTokenizer import torch.nn as nn swanlab.init("Finetune-Llama3.2-with-Encoder") swanlab_callback = SwanLabCallback( project="Finetune-Llama3.2-with-Encoder", experiment_name="Finetune-Llama3.2-with-Encoder" ) # 常量定义 CHEM_FORMULA_SIZE = "([A-Z][a-z]*)([0-9]*)" VALID_ELEMENTS = ["C", "N", "P", "O", "S", "Si", "I", "H", "Cl", "F", "Br", "B", "Se", "Fe", "Co", "As", "K", "Na"] ELEMENT_VECTORS = np.eye(len(VALID_ELEMENTS)) element_to_position = dict(zip(VALID_ELEMENTS, ELEMENT_VECTORS)) # 化学式转密集向量 def formula_to_dense(chem_formula: str) -> np.ndarray: total_onehot = [] for (chem_symbol, num) in re.findall(CHEM_FORMULA_SIZE, chem_formula): num = 1 if num == "" else int(num) one_hot = element_to_position[chem_symbol].reshape(1, -1) one_hot_repeats = np.repeat(one_hot, repeats=num, axis=0) total_onehot.append(one_hot_repeats) if len(total_onehot) == 0: dense_vec = np.zeros(len(VALID_ELEMENTS)) else: dense_vec = np.vstack(total_onehot).sum(0) return dense_vec # 正弦嵌入 def sine_embed(v, max_count=256): num_freqs = int(np.ceil(np.log2(max_count))) freqs = 0.5 ** torch.arange(num_freqs, dtype=torch.float32) * np.pi v_tensor = torch.tensor(v, dtype=torch.float32)[:, None] embedded = torch.sin(v_tensor * freqs[None, :]) return torch.abs(embedded).numpy() def positional_encoding(max_position, d_model, min_freq=1e-6): position = np.arange(max_position) freqs = min_freq **(2 * (np.arange(d_model) // 2) / d_model) pos_enc = position.reshape(-1, 1) * freqs.reshape(1, -1) pos_enc[:, ::2] = np.cos(pos_enc[:, ::2]) pos_enc[:, 1::2] = np.sin(pos_enc[:, 1::2]) return pos_enc # 生成位置编码 P = positional_encoding(2000000, 256, min_freq=1e2) # 转换为PyTorch张量以便后续使用 P = torch.tensor(P, dtype=torch.float32) dimn = 255 # 质谱数据编码(修复后) def encoding(rag_tensor, P, dimn): to_pad = [] for sample in rag_tensor: # 直接使用列表(因为sample[0]和sample[1]是Python列表) all_dim = [sample[0]] # 移除.tolist(),因为本身就是列表 # 处理位置编码(sample[1]是列表,直接遍历) pos_enc = [P[int(i)-1] for i in sample[1]] for dim_idx in range(dimn): dim_vals = [i[dim_idx].item() for i in pos_enc] all_dim.append(dim_vals) to_pad.append(all_dim) # 使用PyTorch进行序列填充 padded = [] for i in to_pad: # 转换为张量 tensor = torch.tensor(i, dtype=torch.float32) # 计算需要填充的长度 pad_length = max(0, 501 - tensor.size(1)) # 进行后向填充 padded_tensor = torch.nn.functional.pad(tensor, (0, pad_length), mode='constant', value=0) # 如果长度超过501,则截断 if padded_tensor.size(1) > 501: padded_tensor = padded_tensor[:, :501] padded.append(padded_tensor) # 堆叠并交换轴 to_pad = torch.stack(padded) to_pad = to_pad.permute(0, 2, 1) # 相当于numpy的swapaxes(to_pad, 1, -1) return to_pad # 质谱数据预处理(PyTorch实现) def prepro_specs_train(df): df = df.reset_index(drop=True) valid = [] mz_intensity = df['Spectrum'].to_list() def process_line(line): pairs = line.split() mz_list = [] intensity_list = [] for pair in pairs: mz, intensity = pair.split(':') mz_list.append(float(mz)) intensity_list.append(float(intensity)) return mz_list, intensity_list for idx, intensities in tqdm(enumerate(mz_intensity)): mz_list, intensity_list = process_line(intensities) # 添加总精确质量和0强度值 mz_list.append(float(df.at[idx, 'Total Exact Mass'])) intensity_list.append(0.0) # 四舍五入处理 round_mz_list = [round(float(mz), 2) for mz in mz_list] round_intensity_list = [round(float(intensity), 2) for intensity in intensity_list] valid.append([round_mz_list, round_intensity_list]) return valid # 返回列表的列表 # 自定义数据集类 class CSVDataset(torch.utils.data.Dataset): def __init__(self, csv_path, tokenizer: PreTrainedTokenizer, max_selfies_len=512): self.df = pd.read_csv(csv_path) self.tokenizer = tokenizer self.max_selfies_len = max_selfies_len # 预处理质谱数据 spec_df = self.df[['Total Exact Mass', 'Spectrum']].copy() self.rag_tensor = prepro_specs_train(spec_df) self.spec_encoded = encoding(self.rag_tensor, P, dimn) def __len__(self): return len(self.df) def __getitem__(self, idx) -> Dict[str, torch.Tensor]: # 1. 处理分子式 formula = self.df.iloc[idx]['Molecular Formula'] formula_vec = formula_to_dense(formula) # 形状: (18,) # 2. 处理质谱数据 spec_matrix = self.spec_encoded[idx] # 形状: (501, 257) # 3. 处理SELFIES - 添加attention_mask selfies_str = self.df.iloc[idx]['SELFIES'] # 编码时同时获取input_ids和attention_mask encoding_result = self.tokenizer.encode_plus( selfies_str, add_special_tokens=True, # 添加[CLS]和[SEP] max_length=self.max_selfies_len, padding='max_length', truncation=True, return_attention_mask=True, return_tensors='pt' ) input_ids = encoding_result['input_ids'].squeeze(0) attention_mask = encoding_result['attention_mask'].squeeze(0) return { 'formula_vec': torch.tensor(formula_vec, dtype=torch.float32), 'spec_matrix': spec_matrix, # 已为tensor,无需重复转换 'selfies_ids': input_ids, 'attention_mask': attention_mask } # 初始化tokenizer tokenizer = AutoTokenizer.from_pretrained('/root/workspace/checkpoint-2500') # 创建数据集 dataset = CSVDataset('/root/workspace/SELFIES-SFT.csv', tokenizer) data_collator = transformers.DataCollatorForSeq2Seq( tokenizer=tokenizer) # 定义带额外Encoder的自定义模型 class LlamaWithEncoder(nn.Module): def __init__(self, base_model, encoder1_dim=18, encoder2_dim=256, hidden_dim=512): super().__init__() self.base_model = base_model # 第一个Transformer Encoder encoder1_layer = nn.TransformerEncoderLayer( d_model=encoder1_dim, nhead=3, dim_feedforward=hidden_dim, batch_first=True ) self.encoder1 = nn.TransformerEncoder(encoder1_layer, num_layers=2) # 第二个Transformer Encoder encoder2_layer = nn.TransformerEncoderLayer( d_model=encoder2_dim, nhead=8, dim_feedforward=hidden_dim, batch_first=True ) self.encoder2 = nn.TransformerEncoder(encoder2_layer, num_layers=2) # 投影层 self.proj1 = nn.Linear(encoder1_dim, base_model.config.hidden_size) self.proj2 = nn.Linear(encoder2_dim, base_model.config.hidden_size) # 融合层 self.fusion = nn.Linear(2 * base_model.config.hidden_size, base_model.config.hidden_size) def prepare_inputs_for_generation(self, input_ids, past_key_values=None, **kwargs): return self.base_model.prepare_inputs_for_generation( input_ids, past_key_values=past_key_values, **kwargs ) def forward( self, input_ids=None, attention_mask=None, encoder1_inputs=None, encoder2_inputs=None, labels=None, past_key_values=None, output_attentions=None, output_hidden_states=None, return_dict=None, **kwargs ): # 处理编码器输入 enc1_out = self.encoder1(encoder1_inputs) enc1_out = enc1_out.mean(dim=1) enc1_proj = self.proj1(enc1_out) enc2_out = self.encoder2(encoder2_inputs) enc2_out = enc2_out.mean(dim=1) enc2_proj = self.proj2(enc2_out) # 融合编码器输出 fused = self.fusion(torch.cat([enc1_proj, enc2_proj], dim=1)) fused = fused.unsqueeze(1) # 获取嵌入层输出 embeddings = self.base_model.get_input_embeddings()(input_ids) # 将融合结果与第一个token的嵌入结合 if embeddings.size(1) > 0: embeddings[:, 0, :] = (embeddings[:, 0, :] + fused[:, 0, :]) / 2 # 使用修改后的嵌入调用基础模型 return self.base_model( inputs_embeds=embeddings, attention_mask=attention_mask, labels=labels, past_key_values=past_key_values, output_attentions=output_attentions, output_hidden_states=output_hidden_states, return_dict=return_dict, **kwargs ) # 加载预训练模型 base_model = transformers.AutoModelForCausalLM.from_pretrained( "/root/workspace/checkpoint-2500", trust_remote_code=True, torch_dtype=torch.bfloat16, ) model = LlamaWithEncoder(base_model) lora_config = LoraConfig( r=8, lora_alpha=16, target_modules="all-linear", # 目标注意力层 lora_dropout=0.0, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, lora_config) model.print_trainable_parameters() # 输出示例:0.3% 参数可训练 training_args = TrainingArguments( output_dir="./llama3.2-SELFIES-SFT", per_device_train_batch_size=16, gradient_accumulation_steps=16, num_train_epochs=10, learning_rate=5.0e-05, optim="adamw_torch", logging_steps=10, bf16=True, save_strategy="steps", lr_scheduler_type='cosine', max_grad_norm=1.0, save_steps=2000, warmup_steps=0 ) class CustomTrainer(LoraPlusTrainer): def get_train_dataloader(self) -> DataLoader: """ Returns the training dataloader using a random sampler to shuffle the dataset. """ return DataLoader( self.train_dataset, batch_size=self.args.train_batch_size, shuffle=True, collate_fn=self.data_collator, drop_last=False, ) # 使用修改后的 CustomTrainer lp_trainer = CustomTrainer( model, training_args, train_dataset=dataset, tokenizer=tokenizer, data_collator=data_collator, callbacks=[swanlab_callback], ) lp_trainer.train() lp_trainer.save_model(output_dir='./llama3.2-SELFIES-SFT') 修改代码,确保添加的Encoder可以顺利进行lora微调

{"prompt": "[unused9]系统:你生成综合质量(有用性,事实性,无害性)极好的回复。[unused10][unused9]系统:你是一个擅长于文章写作、文本分析、代码编写、数学运算、逻辑推理的AI助手,专注于针对用户的问题给出高质量解答。[unused10][unused9]用户:Develop a machine learning system to identify signs of diabetes.[unused10][unused9]助手:The machine learning system should be able to identify signs of diabetes from health teck metrics such as blood pressure, cholesterol level, blood sugar levels, and body mass index. It should be able to analyze the data from these metrics to classify a patient as diabetic or non-diabetic. If a patient is determined to be diabetic, the system should also be able to give suggestions about the best course of action to take – such as medications, lifestyle changes, or other treatment options. Furthermore, the system should be able to monitor the patient’s progress over time and adjust its recommendations accordingly.[unused10]"} 我的数据集是这样的,但是我运行代码,出现错误: Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:26<00:00, 6.66s/it] 模型加载已完成! 参数配置已完成! Adding EOS to train dataset: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 256/256 [00:00<00:00, 8486.80 examples/s] Tokenizing train dataset: 0%| | 0/256 [00:00<?, ? examples/s] Traceback (most recent call last): File "/models/z50051264/bitsandbytes-master/examples/finetune/sft.py", line 86, in <module> trainer = SFTTrainer( File "/usr/local/python3.10.17/lib/python3.10/site-packages/trl/trainer/sft_trainer.py", line 481, in __init__ train_dataset = self._prepare_dataset( File "/usr/local/python3.10.17/lib/python3.10/site-packages/trl/trainer/sft_trainer.py", line 778, in _prepare_dataset dataset = dataset.map( File "/usr/local/python3.10.17/lib/python3.10/site-packages/datasets/arrow_dataset.py", line 560, in wrapper out: Union["Dataset", "DatasetDict"] = func(self, *args, **kwargs) File "/usr/local/python3.10.17/lib/python3.10/site-packages/datasets/arrow_dataset.py", line 3318, in map for rank, done, content in Dataset._map_single(**unprocessed_kwargs): File "/usr/local/python3.10.17/lib/python3.10/site-packages/datasets/arrow_dataset.py", line 3650, in _map_single for i, example in iter_outputs(shard_iterable): File "/usr/local/python3.10.17/lib/python3.10/site-packages/datasets/arrow_dataset.py", line 3624, in iter_outputs yield i, apply_function(example, i, offset=offset) File "/usr/local/python3.10.17/lib/python3.10/site-packages/datasets/arrow_dataset.py", line 3547, in apply_function processed_inputs = function(*fn_args, *additional_args, **fn_kwargs) File "/usr/local/python3.10.17/lib/python3.10/site-packages/trl/trainer/sft_trainer.py", line 741, in tokenize text=example["prompt"] + example["completion"] KeyError: 'completion' [ERROR] 2025-07-23-13:02:39 (PID:3053, Device:0, RankID:-1) ERR99999 UNKNOWN applicaiton exception

最新推荐

recommend-type

Comsol声子晶体能带计算:六角与三角晶格原胞选取及布里渊区高对称点选择 - 声子晶体 v1.0

内容概要:本文详细探讨了利用Comsol进行声子晶体能带计算过程中,六角晶格和三角晶格原胞选取的不同方法及其对简约布里渊区高对称点选择的影响。文中不仅介绍了两种晶格类型的基矢量定义方式,还强调了正确设置周期性边界条件(特别是相位补偿)的重要性,以避免计算误差如鬼带现象。同时,提供了具体的MATLAB代码片段用于演示关键步骤,并分享了一些实践经验,例如如何通过观察能带图中的狄拉克锥特征来验证路径设置的准确性。 适合人群:从事材料科学、物理学研究的专业人士,尤其是那些正在使用或计划使用Comsol软件进行声子晶体模拟的研究人员。 使用场景及目标:帮助研究人员更好地理解和掌握在Comsol环境中针对不同类型晶格进行精确的声子晶体能带计算的方法和技术要点,从而提高仿真精度并减少常见错误的发生。 其他说明:文章中提到的实际案例展示了因晶格类型混淆而导致的问题,提醒使用者注意细节差异,确保模型构建无误。此外,文中提供的代码片段可以直接应用于相关项目中作为参考模板。
recommend-type

Web前端开发:CSS与HTML设计模式深入解析

《Pro CSS and HTML Design Patterns》是一本专注于Web前端设计模式的书籍,特别针对CSS(层叠样式表)和HTML(超文本标记语言)的高级应用进行了深入探讨。这本书籍属于Pro系列,旨在为专业Web开发人员提供实用的设计模式和实践指南,帮助他们构建高效、美观且可维护的网站和应用程序。 在介绍这本书的知识点之前,我们首先需要了解CSS和HTML的基础知识,以及它们在Web开发中的重要性。 HTML是用于创建网页和Web应用程序的标准标记语言。它允许开发者通过一系列的标签来定义网页的结构和内容,如段落、标题、链接、图片等。HTML5作为最新版本,不仅增强了网页的表现力,还引入了更多新的特性,例如视频和音频的内置支持、绘图API、离线存储等。 CSS是用于描述HTML文档的表现(即布局、颜色、字体等样式)的样式表语言。它能够让开发者将内容的表现从结构中分离出来,使得网页设计更加模块化和易于维护。随着Web技术的发展,CSS也经历了多个版本的更新,引入了如Flexbox、Grid布局、过渡、动画以及Sass和Less等预处理器技术。 现在让我们来详细探讨《Pro CSS and HTML Design Patterns》中可能包含的知识点: 1. CSS基础和选择器: 书中可能会涵盖CSS基本概念,如盒模型、边距、填充、边框、背景和定位等。同时还会介绍CSS选择器的高级用法,例如属性选择器、伪类选择器、伪元素选择器以及选择器的组合使用。 2. CSS布局技术: 布局是网页设计中的核心部分。本书可能会详细讲解各种CSS布局技术,包括传统的浮动(Floats)布局、定位(Positioning)布局,以及最新的布局模式如Flexbox和CSS Grid。此外,也会介绍响应式设计的媒体查询、视口(Viewport)单位等。 3. 高级CSS技巧: 这些技巧可能包括动画和过渡效果,以及如何优化性能和兼容性。例如,CSS3动画、关键帧动画、转换(Transforms)、滤镜(Filters)和混合模式(Blend Modes)。 4. HTML5特性: 书中可能会深入探讨HTML5的新标签和语义化元素,如`<article>`、`<section>`、`<nav>`等,以及如何使用它们来构建更加标准化和语义化的页面结构。还会涉及到Web表单的新特性,比如表单验证、新的输入类型等。 5. 可访问性(Accessibility): Web可访问性越来越受到重视。本书可能会介绍如何通过HTML和CSS来提升网站的无障碍访问性,比如使用ARIA标签(Accessible Rich Internet Applications)来增强屏幕阅读器的使用体验。 6. 前端性能优化: 性能优化是任何Web项目成功的关键。本书可能会涵盖如何通过优化CSS和HTML来提升网站的加载速度和运行效率。内容可能包括代码压缩、合并、避免重绘和回流、使用Web字体的最佳实践等。 7. JavaScript与CSS/HTML的交互: 在现代Web开发中,JavaScript与CSS及HTML的交云并用是不可或缺的。书中可能会讲解如何通过JavaScript动态地修改样式、操作DOM元素以及使用事件监听和响应用户交互。 8. Web框架和预处理器: 这本书可能会提到流行的Web开发框架和预处理器,比如Bootstrap、Foundation、Sass和Less等,它们是如何简化和加速开发流程的。 9. 测试和维护: 书中也可能包含关于如何测试网页以及如何持续优化和维护CSS和HTML代码的章节。例如,使用断言测试、自动化测试、性能分析工具等。 最后,鉴于文件名称列表中的“压缩包子文件”的表述,这可能是对“压缩包”文件的一种误译或误用,此处“压缩包”应该指的是包含该书籍PDF文件的压缩文件格式,如ZIP或RAR。而“Pro CSS and HTML Design Patterns.pdf”指的就是该书籍的PDF格式电子版文件。 以上所述,构成了《Pro CSS and HTML Design Patterns》一书可能包含的核心知识点。通过学习这些内容,Web前端开发者可以掌握更为高效和优雅的设计模式,从而在日常工作中更高效地解决实际问题。
recommend-type

Zotero 7数据同步:Attanger插件安装&设置,打造文献管理利器

/i.s3.glbimg.com/v1/AUTH_08fbf48bc0524877943fe86e43087e7a/internal_photos/bs/2018/L/j/ipKA8TRPyt4ptaG1DGww/t-m-01.png) # 1. Zotero 7数据同步简介 在数字时代,管理研究数据变得日益重要,而Zot
recommend-type

卷积神经网络的基础理论200字

<think>我们正在回答用户关于卷积神经网络(CNN)基础理论的询问。根据提供的引用资料,我们可以概述CNN的基本结构和工作原理。引用[1]提到CNN是一种前馈神经网络,信息从输入单向流动到输出。引用[2]指出CNN在图像处理等领域应用广泛,通过层次结构和参数调整实现模式识别。引用[3]说明CNN包含卷积层,使用卷积核提取局部特征,减少参数量,提高效率。引用[4]则提到了训练过程,包括前向传播、误差计算和反向传播(梯度下降)。因此,我们将从以下几个方面概述CNN:1.CNN的基本结构(卷积层、池化层、全连接层)2.卷积操作的工作原理(局部感受野、权重共享)3.训练过程(前向传播、损失函数、反
recommend-type

轻便实用的Java库类查询工具介绍

标题 "java2库类查询" 和描述表明,所提及的工具是一个专门用于查询Java库类的应用程序。此软件旨在帮助开发者快速地查找和引用Java的标准开发工具包(SDK)中包含的所有应用程序编程接口(API)类。通过这样的工具,开发者可以节省大量在官方文档或搜索引擎上寻找类定义和使用方法的时间。它被描述为轻巧且方便,这表明其占用的系统资源相对较少,同时提供直观的用户界面,使得查询过程简洁高效。 从描述中可以得出几个关键知识点: 1. Java SDK:Java的软件开发工具包(SDK)是Java平台的一部分,提供了一套用于开发Java应用软件的软件包和库。这些软件包通常被称为API,为开发者提供了编程界面,使他们能够使用Java语言编写各种类型的应用程序。 2. 库类查询:这个功能对于开发者来说非常关键,因为它提供了一个快速查找特定库类及其相关方法、属性和使用示例的途径。良好的库类查询工具可以帮助开发者提高工作效率,减少因查找文档而中断编程思路的时间。 3. 轻巧性:软件的轻巧性通常意味着它对计算机资源的要求较低。这样的特性对于资源受限的系统尤为重要,比如老旧的计算机、嵌入式设备或是当开发者希望最小化其开发环境占用空间时。 4. 方便性:软件的方便性通常关联于其用户界面设计,一个直观、易用的界面可以让用户快速上手,并减少在使用过程中遇到的障碍。 5. 包含所有API:一个优秀的Java库类查询软件应当能够覆盖Java所有标准API,这包括Java.lang、Java.util、Java.io等核心包,以及Java SE平台的所有其他标准扩展包。 从标签 "java 库 查询 类" 可知,这个软件紧密关联于Java编程语言的核心功能——库类的管理和查询。这些标签可以关联到以下知识点: - Java:一种广泛用于企业级应用、移动应用(如Android应用)、网站后端、大型系统和许多其他平台的编程语言。 - 库:在Java中,库是一组预打包的类和接口,它们可以被应用程序重复使用。Java提供了庞大的标准库,以支持各种常见的任务和功能。 - 查询:查询指的是利用软件工具搜索、定位和检索信息的过程。对于Java库类查询工具来说,这意味着可以通过类名、方法签名或其他标识符来查找特定的API条目。 最后,压缩包文件列表包含了两个文件:“java.dit”和“Java.exe”。其中“Java.exe”很可能是程序的可执行文件,而“java.dit”可能是一个数据文件,用于存储Java类的索引或数据。由于文件名后缀通常与文件类型相关联,但“dit”并不是一个常见的文件扩展名。这可能是一个特定于软件的自定义格式,或是一个打字错误。 总结来说,"java2库类查询" 是一个针对Java开发者的实用工具,它提供了一个轻量级、易用的平台来查询和定位Java标准库中的所有类和API。此工具对优化开发流程,减少查找Java类文档的时间大有裨益,尤其适合需要频繁查阅Java API的开发者使用。
recommend-type

【Zotero 7终极指南】:新手必备!Attanger插件全攻略与数据同步神技

# 1. Zotero 7与Attanger插件的介绍 在当今的学术研究和知识管理领域,高效的文献管理工具至关重要。Zotero 7作为一个流行的参考文献管理软件,因其强大的功能和用户友好的界面而受到专业人士的青睐。而Attanger插件则为Zotero 7带来了更多定制化和高级功能,极大地增强
recommend-type

MATLAB整段注释快捷键

<think>首先,用户的问题是:“MATLAB整段注释快捷键”,意思是“MATLAB整段注释快捷键”。我需要用中文回答。 根据规则: - 回答必须用中文。 - 回答完问题后,必须在末尾输出“§§相关问题§§”,然后提出3-5个相关问题。 - “§§相关问题§§”必须完整输出在第一行,禁止换行分散。 - 相关问题必须基于用户的问题和我的回答。 现在,回忆MATLAB的快捷键:在MATLAB中,整段注释通常使用快捷键Ctrl + R来注释选中的代码行,使用Ctrl + T来取消注释。用户问的是“整段注释”,所以我应该确认快捷键。 在MATLAB中: - 注释选中的行:Ctrl + R -
recommend-type

Eclipse Jad反编译插件:提升.class文件查看便捷性

反编译插件for Eclipse是一个专门设计用于在Eclipse集成开发环境中进行Java反编译的工具。通过此类插件,开发者可以在不直接访问源代码的情况下查看Java编译后的.class文件的源代码,这在开发、维护和学习使用Java技术的过程中具有重要的作用。 首先,我们需要了解Eclipse是一个跨平台的开源集成开发环境,主要用来开发Java应用程序,但也支持其他诸如C、C++、PHP等多种语言的开发。Eclipse通过安装不同的插件来扩展其功能。这些插件可以由社区开发或者官方提供,而jadclipse就是这样一个社区开发的插件,它利用jad.exe这个第三方命令行工具来实现反编译功能。 jad.exe是一个反编译Java字节码的命令行工具,它可以将Java编译后的.class文件还原成一个接近原始Java源代码的格式。这个工具非常受欢迎,原因在于其反编译速度快,并且能够生成相对清晰的Java代码。由于它是一个独立的命令行工具,直接使用命令行可以提供较强的灵活性,但是对于一些不熟悉命令行操作的用户来说,集成到Eclipse开发环境中将会极大提高开发效率。 使用jadclipse插件可以很方便地在Eclipse中打开任何.class文件,并且将反编译的结果显示在编辑器中。用户可以在查看反编译的源代码的同时,进行阅读、调试和学习。这样不仅可以帮助开发者快速理解第三方库的工作机制,还能在遇到.class文件丢失源代码时进行紧急修复工作。 对于Eclipse用户来说,安装jadclipse插件相当简单。一般步骤包括: 1. 下载并解压jadclipse插件的压缩包。 2. 在Eclipse中打开“Help”菜单,选择“Install New Software”。 3. 点击“Add”按钮,输入插件更新地址(通常是jadclipse的更新站点URL)。 4. 选择相应的插件(通常名为“JadClipse”),然后进行安装。 5. 安装完成后重启Eclipse,插件开始工作。 一旦插件安装好之后,用户只需在Eclipse中双击.class文件,或者右键点击文件并选择“Open With Jadclipse”,就能看到对应的Java源代码。如果出现反编译不准确或失败的情况,用户还可以直接在Eclipse中配置jad.exe的路径,或者调整jadclipse的高级设置来优化反编译效果。 需要指出的是,使用反编译工具虽然方便,但要注意反编译行为可能涉及到版权问题。在大多数国家和地区,反编译软件代码属于合法行为,但仅限于学习、研究、安全测试或兼容性开发等目的。如果用户意图通过反编译获取商业机密或进行非法复制,则可能违反相关法律法规。 总的来说,反编译插件for Eclipse是一个强大的工具,它极大地简化了Java反编译流程,提高了开发效率,使得开发者在没有源代码的情况下也能有效地维护和学习Java程序。但开发者在使用此类工具时应遵守法律与道德规范,避免不当使用。
recommend-type

【进阶Python绘图】:掌握matplotlib坐标轴刻度间隔的高级技巧,让你的图表脱颖而出

# 摘要 本文系统地探讨了matplotlib库中坐标轴刻度间隔的定制与优化技术。首先概述了matplotlib坐标轴刻度间隔的基本概念及其在图表中的重要性,接
recommend-type

降帧是什么意思

<think>首先,用户的问题是:“我想了解降帧的含义 请问降帧是什么意思”。我需要用中文回答,并确保回答结构清晰,帮助用户逐步解决问题。 关键点是“降帧”。在视频处理、动画或游戏上下文中,“降帧”通常指的是帧率下降或丢帧(frame drop)。结合系统提供的引用,我可以看到相关概念。 回顾提供的引用: - 引用[1]:讨论了帧率和丢帧分析,提到应用丢帧导致帧率下降,造成卡顿。例如,在60Hz刷新率下,每帧需要在16.7ms内完成,否则可能丢帧。 - 引用[2]:提到掉帧(Frame Drop),与CPU和GPU相关。CPU或GPU处理不及时会导致帧无法按时渲染。 - 引用[3]: