num_epochs, learning_rate, weight_decay, batch_size = 100, 0.01, 0, 64 x_train, x_valid, y_train, y_valid = train_test_split(train_features, train_labels, test_size = 0.2,random_state=66) model=linreg train_ls, valid_ls, theta = train(model, x_train, y_train, x_valid, y_valid, num_epochs, learning_rate, weight_decay, batch_size) print(f'训练log rmse: {float(train_ls[-1]):f}, 'f'验证log rmse: {float(valid_ls[-1]):f}') plot(list(range(1, num_epochs + 1)), [train_ls, valid_ls], xlabel='epoch', ylabel='rmse', xlim=[1, num_epochs], legend=['train', 'valid'], yscale='log') 帮我写个注释

【Code Practice】: Implementing GAN with TensorFlow_Keras: Beginners Can Also Get Started Easily

Generative Adversarial Networks (GAN) are a type of deep learning model comprised of two networks: a generator and a discriminator. They are trained through an adversarial process where the generator ...

import os import torch import transformers from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, DataCollatorForLanguageModeling, BitsAndBytesConfig, Trainer ) from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from datasets import load_dataset import logging import psutil import gc from datetime import datetime # === 配置区域 === MODEL_NAME = "/home/vipuser/ai_writer_project_final_with_fixed_output_ui/models/Yi-6B" DATASET_PATH = "./data/train_lora_formatted.jsonl" OUTPUT_DIR = "./yi6b-lora-optimized" DEVICE_MAP = "auto" # 使用自动设备映射 # 确保输出目录存在 os.makedirs(OUTPUT_DIR, exist_ok=True) # === 内存优化配置 === os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True" # 减少内存碎片 torch.backends.cuda.cufft_plan_cache.clear() # 清理CUDA缓存 # === 增强的日志系统 === def setup_logging(output_dir): """配置日志系统，支持文件和TensorBoard""" logger = logging.getLogger(name) logger.setLevel(logging.INFO) # 文件日志处理器 file_handler = logging.FileHandler(os.path.join(output_dir, "training.log")) file_handler.setFormatter(logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')) logger.addHandler(file_handler) # 控制台日志处理器 console_handler = logging.StreamHandler() console_handler.setFormatter(logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')) logger.addHandler(console_handler) # TensorBoard日志目录 tensorboard_log_dir = os.path.join(output_dir, "logs", datetime.now().strftime("%Y%m%d-%H%M%S")) os.makedirs(tensorboard_log_dir, exist_ok=True) # 安装TensorBoard回调 tb_writer = None try: from torch.utils.tensorboard import SummaryWriter tb_writer = SummaryWriter(log_dir=tensorboard_log_dir) logger.info(f"TensorBoard日志目录: {tensorboard_log_dir}") except ImportError: logger.warning("TensorBoard未安装，可视化功能不可用") return logger, tb_writer logger, tb_writer = setup_logging(OUTPUT_DIR) # === 量化配置 - 使用更高效的配置 === quant_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True, ) # === 加载模型 === logger.info("加载预训练模型...") model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, device_map=DEVICE_MAP, quantization_config=quant_config, torch_dtype=torch.bfloat16, trust_remote_code=True, attn_implementation="flash_attention_2" # 使用FlashAttention优化内存 ) # === 分词器处理 === logger.info("加载分词器...") tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True) tokenizer.padding_side = "right" if tokenizer.pad_token is None: tokenizer.pad_token = tokenizer.eos_token tokenizer.pad_token_id = tokenizer.eos_token_id # === 准备模型训练 === model = prepare_model_for_kbit_training( model, use_gradient_checkpointing=True # 启用梯度检查点以节省内存 ) # === LoRA 配置 - 优化内存使用 === logger.info("配置LoRA...") lora_config = LoraConfig( r=64, # 降低rank以减少内存使用 lora_alpha=32, # 降低alpha值 target_modules=["q_proj", "v_proj"], # 减少目标模块 lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, lora_config) # 记录可训练参数 trainable_params = sum(p.numel() for p in model.parameters() if p.requires_grad) total_params = sum(p.numel() for p in model.parameters()) logger.info(f"可训练参数: {trainable_params:,} / 总参数: {total_params:,} ({trainable_params / total_params:.2%})") # === 加载并预处理数据集 === logger.info("加载和预处理数据集...") dataset = load_dataset("json", data_files=DATASET_PATH, split="train") # 文本过滤函数 def is_valid_text(example): text = example.get("text", "") return text is not None and len(text.strip()) > 200 # 增加最小长度要求 dataset = dataset.filter(is_valid_text) logger.info(f"过滤后数据集大小: {len(dataset)} 条") # 动态填充的分词函数 - 节省内存 def tokenize_function(examples): tokenized = tokenizer( examples["text"], padding=True, # 使用动态填充 truncation=True, max_length=1024, # 降低上下文长度以减少内存使用 ) # 创建 labels - 因果语言建模需要 labels = input_ids tokenized["labels"] = tokenized["input_ids"].copy() return tokenized tokenized_dataset = dataset.map( tokenize_function, batched=True, remove_columns=["text"], batch_size=64, # 降低批处理大小以减少内存峰值 num_proc=4, # 减少进程数以降低内存开销 ) # === 数据整理器 === data_collator = DataCollatorForLanguageModeling( tokenizer=tokenizer, mlm=False # 因果语言建模 ) # === 训练参数 - 优化内存使用 === report_to_list = ["tensorboard"] if tb_writer else [] training_args = TrainingArguments( output_dir=OUTPUT_DIR, per_device_train_batch_size=4, # 大幅降低批次大小 gradient_accumulation_steps=4, # 增加梯度累积步数以保持有效批次大小 learning_rate=2e-5, num_train_epochs=3, logging_steps=50, save_strategy="steps", save_steps=500, bf16=True, optim="paged_adamw_32bit", report_to=report_to_list, warmup_ratio=0.05, gradient_checkpointing=True, # 启用梯度检查点 fp16=False, max_grad_norm=0.3, # 降低梯度裁剪阈值 remove_unused_columns=True, # 移除未使用的列以节省内存 dataloader_num_workers=4, # 减少数据加载工作线程 evaluation_strategy="steps", eval_steps=500, save_total_limit=2, # 减少保存的检查点数量 logging_dir=os.path.join(OUTPUT_DIR, "logs"), load_best_model_at_end=True, ddp_find_unused_parameters=False, logging_first_step=True, group_by_length=True, lr_scheduler_type="cosine", weight_decay=0.01, ) # === GPU监控工具 === def monitor_gpu(): """监控GPU使用情况""" if torch.cuda.is_available(): device = torch.device("cuda") mem_alloc = torch.cuda.memory_allocated(device) / 1024 3 mem_reserved = torch.cuda.memory_reserved(device) / 1024 3 mem_total = torch.cuda.get_device_properties(device).total_memory / 1024 ** 3 return { "allocated": f"{mem_alloc:.2f} GB", "reserved": f"{mem_reserved:.2f} GB", "total": f"{mem_total:.2f} GB", "utilization": f"{mem_alloc / mem_total * 100:.1f}%" } return {} # === 创建训练器 === eval_dataset = None if len(tokenized_dataset) > 100: eval_dataset = tokenized_dataset.select(range(100)) trainer = Trainer( model=model, tokenizer=tokenizer, args=training_args, train_dataset=tokenized_dataset, eval_dataset=eval_dataset, data_collator=data_collator, ) # === 训练前验证 === def validate_data_and_model(): """验证数据和模型是否准备好训练""" logger.info("\n=== 训练前验证 ===") # 检查样本格式 sample = tokenized_dataset[0] logger.info(f"样本键: {list(sample.keys())}") logger.info(f"input_ids 长度: {len(sample['input_ids'])}") # 创建单个样本测试批次 test_batch = data_collator([sample]) # 移动数据到设备 test_batch = {k: v.to(model.device) for k, v in test_batch.items()} # 前向传播测试 model.train() outputs = model(test_batch) loss_value = outputs.loss.item() logger.info(f"测试批次损失: {loss_value:.4f}") # 记录到TensorBoard if tb_writer: tb_writer.add_scalar("debug/test_loss", loss_value, 0) # 反向传播测试 outputs.loss.backward() logger.info("反向传播成功!") # 重置梯度 model.zero_grad() logger.info("验证完成，准备开始训练\n") # 记录初始GPU使用情况 gpu_status = monitor_gpu() logger.info(f"初始GPU状态: {gpu_status}") # 记录到TensorBoard if tb_writer: tb_writer.add_text("system/initial_gpu", str(gpu_status), 0) validate_data_and_model() # === 自定义回调 - 监控资源使用 === class ResourceMonitorCallback(transformers.TrainerCallback): def init(self, tb_writer=None): self.tb_writer = tb_writer self.start_time = datetime.now() self.last_log_time = datetime.now() def on_step_end(self, args, state, control, kwargs): current_time = datetime.now() time_diff = (current_time - self.last_log_time).total_seconds() # 每分钟记录一次资源使用情况 if time_diff > 60: self.last_log_time = current_time # GPU监控 gpu_status = monitor_gpu() logger.info(f"Step {state.global_step} - GPU状态: {gpu_status}") # CPU和内存监控 cpu_percent = psutil.cpu_percent() mem = psutil.virtual_memory() logger.info( f"CPU使用率: {cpu_percent}%, 内存使用: {mem.used / 1024 3:.2f}GB/{mem.total / 1024 3:.2f}GB") # 记录到TensorBoard if self.tb_writer: # GPU显存使用 if torch.cuda.is_available(): device = torch.device("cuda") mem_alloc = torch.cuda.memory_allocated(device) / 1024 3 self.tb_writer.add_scalar("system/gpu_mem", mem_alloc, state.global_step) # CPU使用率 self.tb_writer.add_scalar("system/cpu_usage", cpu_percent, state.global_step) # 系统内存使用 self.tb_writer.add_scalar("system/ram_usage", mem.used / 1024 3, state.global_step) def on_log(self, args, state, control, logs=None, kwargs): """记录训练指标到TensorBoard""" if self.tb_writer and logs is not None: for metric_name, metric_value in logs.items(): if "loss" in metric_name or "lr" in metric_name or "grad_norm" in metric_name: self.tb_writer.add_scalar(f"train/{metric_name}", metric_value, state.global_step) def on_train_end(self, args, state, control, kwargs): """训练结束时记录总时间""" training_time = datetime.now() - self.start_time logger.info(f"训练总时间: {training_time}") if self.tb_writer: self.tb_writer.add_text("system/total_time", str(training_time)) # 添加回调 trainer.add_callback(ResourceMonitorCallback(tb_writer=tb_writer)) # === 内存清理函数 === def clear_memory(): """清理内存和GPU缓存""" gc.collect() if torch.cuda.is_available(): torch.cuda.empty_cache() torch.cuda.ipc_collect() logger.info("内存清理完成") # === 启动训练 === try: logger.info("开始训练...") # 分阶段训练以减少内存峰值 num_samples = len(tokenized_dataset) chunk_size = 1000 # 每次处理1000个样本 for i in range(0, num_samples, chunk_size): end_idx = min(i + chunk_size, num_samples) logger.info(f"训练样本 {i} 到 {end_idx - 1} / {num_samples}") # 创建子数据集 chunk_dataset = tokenized_dataset.select(range(i, end_idx)) # 更新训练器 trainer.train_dataset = chunk_dataset # 训练当前块 trainer.train() # 清理内存 clear_memory() # 保存训练指标 metrics = trainer.evaluate() trainer.log_metrics("train", metrics) trainer.save_metrics("train", metrics) # 保存最佳模型 trainer.save_model(OUTPUT_DIR) tokenizer.save_pretrained(OUTPUT_DIR) logger.info(f"训练完成! 模型保存在: {OUTPUT_DIR}") # 记录最终指标到TensorBoard if tb_writer: for metric_name, metric_value in metrics.items(): tb_writer.add_scalar(f"final/{metric_name}", metric_value) tb_writer.close() except Exception as e: logger.error(f"训练出错: {e}") import traceback logger.error(traceback.format_exc()) # 尝试更小批量训练 logger.info("\n尝试更小批量训练...") small_dataset = tokenized_dataset.select(range(50)) trainer.train_dataset = small_dataset trainer.train() # 保存模型 trainer.save_model(f"{OUTPUT_DIR}_small") tokenizer.save_pretrained(f"{OUTPUT_DIR}_small") logger.info(f"小批量训练完成! 模型保存在: {OUTPUT_DIR}_small") # 记录错误到TensorBoard if tb_writer: tb_writer.add_text("error/exception", traceback.format_exc()) # 清理内存 clear_memory() # === 训练后验证 === def validate_final_model(): """验证训练后的模型""" logger.info("\n=== 训练后验证 ===") # 加载保存的模型 from peft import PeftModel # 仅加载基础模型配置 base_model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, device_map=DEVICE_MAP, quantization_config=quant_config, torch_dtype=torch.bfloat16, trust_remote_code=True, load_in_4bit=True ) # 加载LoRA适配器 peft_model = PeftModel.from_pretrained(base_model, OUTPUT_DIR) # 不再合并LoRA权重，直接使用 peft_model 推理 peft_model.eval() # 测试生成 prompt = "中国的首都是" inputs = tokenizer(prompt, return_tensors="pt").to(peft_model.device) outputs = peft_model.generate( inputs, max_new_tokens=50, # 减少生成长度 temperature=0.7, top_p=0.9, repetition_penalty=1.2, do_sample=True ) generated = tokenizer.decode(outputs[0], skip_special_tokens=True) logger.info(f"提示: {prompt}") logger.info(f"生成结果: {generated}") # 记录到TensorBoard if tb_writer: tb_writer.add_text("validation/sample", f"提示: {prompt}\n生成: {generated}") # 更全面的测试 test_prompts = [ "人工智能的未来发展趋势是", "如何学习深度学习？", "写一个关于太空探索的短故事：" ] for i, test_prompt in enumerate(test_prompts): inputs = tokenizer(test_prompt, return_tensors="pt").to(peft_model.device) outputs = peft_model.generate( inputs, max_new_tokens=100, # 减少生成长度 temperature=0.7, top_p=0.9, repetition_penalty=1.2, do_sample=True ) generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) logger.info(f"\n提示: {test_prompt}\n生成: {generated_text}\n{'=' * 50}") # 记录到TensorBoard if tb_writer: tb_writer.add_text(f"validation/test_{i}", f"提示: {test_prompt}\n生成: {generated_text}") logger.info("验证完成") # 执行验证 validate_final_model() # 关闭TensorBoard写入器 if tb_writer: tb_writer.close() logger.info("TensorBoard日志已关闭") 这串代码怎么样？会发生RuntimeError: mat1 and mat2 shapes cannot be multiplied (3x4096 and 512x4096)这种错误吗？

不对，实际上，输入是(batch_size, seq_len, in_features)，权重矩阵是(out_features, in_features)，我们做的是x @ weight.t()（或者权重矩阵不转置，而是将输入与权重矩阵进行矩阵乘，但需要调整维度）。...

import os import torch import transformers from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, DataCollatorForLanguageModeling, BitsAndBytesConfig, Trainer ) from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from datasets import load_dataset import logging import psutil import gc from datetime import datetime # === 配置区域 === MODEL_NAME = "/home/vipuser/ai_writer_project_final_with_fixed_output_ui/models/Yi-6B" DATASET_PATH = "./data/train_lora_formatted.jsonl" OUTPUT_DIR = "./yi6b-lora-optimized" DEVICE_MAP = "auto" # 使用自动设备映射 # 确保输出目录存在 os.makedirs(OUTPUT_DIR, exist_ok=True) # === 内存优化配置 === os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True" # 减少内存碎片 torch.backends.cuda.cufft_plan_cache.clear() # 清理CUDA缓存 # === 增强的日志系统 === def setup_logging(output_dir): """配置日志系统，支持文件和TensorBoard""" logger = logging.getLogger(name) logger.setLevel(logging.INFO) # 文件日志处理器 file_handler = logging.FileHandler(os.path.join(output_dir, "training.log")) file_handler.setFormatter(logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')) logger.addHandler(file_handler) # 控制台日志处理器 console_handler = logging.StreamHandler() console_handler.setFormatter(logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')) logger.addHandler(console_handler) # TensorBoard日志目录 tensorboard_log_dir = os.path.join(output_dir, "logs", datetime.now().strftime("%Y%m%d-%H%M%S")) os.makedirs(tensorboard_log_dir, exist_ok=True) # 安装TensorBoard回调 tb_writer = None try: from torch.utils.tensorboard import SummaryWriter tb_writer = SummaryWriter(log_dir=tensorboard_log_dir) logger.info(f"TensorBoard日志目录: {tensorboard_log_dir}") except ImportError: logger.warning("TensorBoard未安装，可视化功能不可用") return logger, tb_writer logger, tb_writer = setup_logging(OUTPUT_DIR) # === 量化配置 - 使用更高效的配置 === quant_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True, ) # === 加载模型 === logger.info("加载预训练模型...") model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, device_map=DEVICE_MAP, quantization_config=quant_config, torch_dtype=torch.bfloat16, trust_remote_code=True, attn_implementation="flash_attention_2" # 使用FlashAttention优化内存 ) # === 分词器处理 === logger.info("加载分词器...") tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True) tokenizer.padding_side = "right" if tokenizer.pad_token is None: tokenizer.pad_token = tokenizer.eos_token tokenizer.pad_token_id = tokenizer.eos_token_id # === 准备模型训练 === model = prepare_model_for_kbit_training( model, use_gradient_checkpointing=True # 启用梯度检查点以节省内存 ) # === LoRA 配置 - 优化内存使用 === logger.info("配置LoRA...") lora_config = LoraConfig( r=64, # 降低rank以减少内存使用 lora_alpha=32, # 降低alpha值 target_modules=["q_proj", "v_proj"], # 减少目标模块 lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, lora_config) # 记录可训练参数 trainable_params = sum(p.numel() for p in model.parameters() if p.requires_grad) total_params = sum(p.numel() for p in model.parameters()) logger.info(f"可训练参数: {trainable_params:,} / 总参数: {total_params:,} ({trainable_params/total_params:.2%})") # === 加载并预处理数据集 === logger.info("加载和预处理数据集...") dataset = load_dataset("json", data_files=DATASET_PATH, split="train") # 文本过滤函数 def is_valid_text(example): text = example.get("text", "") return text is not None and len(text.strip()) > 200 # 增加最小长度要求 dataset = dataset.filter(is_valid_text) logger.info(f"过滤后数据集大小: {len(dataset)} 条") # 动态填充的分词函数 - 节省内存 def tokenize_function(examples): tokenized = tokenizer( examples["text"], padding=True, # 使用动态填充 truncation=True, max_length=1024, # 降低上下文长度以减少内存使用 ) # 创建 labels - 因果语言建模需要 labels = input_ids tokenized["labels"] = tokenized["input_ids"].copy() return tokenized tokenized_dataset = dataset.map( tokenize_function, batched=True, remove_columns=["text"], batch_size=64, # 降低批处理大小以减少内存峰值 num_proc=4, # 减少进程数以降低内存开销 ) # === 数据整理器 === data_collator = DataCollatorForLanguageModeling( tokenizer=tokenizer, mlm=False # 因果语言建模 ) # === 训练参数 - 优化内存使用 === report_to_list = ["tensorboard"] if tb_writer else [] training_args = TrainingArguments( output_dir=OUTPUT_DIR, per_device_train_batch_size=4, # 大幅降低批次大小 gradient_accumulation_steps=4, # 增加梯度累积步数以保持有效批次大小 learning_rate=2e-5, num_train_epochs=3, logging_steps=50, save_strategy="steps", save_steps=500, bf16=True, optim="paged_adamw_32bit", report_to=report_to_list, warmup_ratio=0.05, gradient_checkpointing=True, # 启用梯度检查点 fp16=False, max_grad_norm=0.3, # 降低梯度裁剪阈值 remove_unused_columns=True, # 移除未使用的列以节省内存 dataloader_num_workers=4, # 减少数据加载工作线程 evaluation_strategy="steps", eval_steps=500, save_total_limit=2, # 减少保存的检查点数量 logging_dir=os.path.join(OUTPUT_DIR, "logs"), load_best_model_at_end=True, ddp_find_unused_parameters=False, logging_first_step=True, group_by_length=True, lr_scheduler_type="cosine", weight_decay=0.01, ) # === GPU监控工具 === def monitor_gpu(): """监控GPU使用情况""" if torch.cuda.is_available(): device = torch.device("cuda") mem_alloc = torch.cuda.memory_allocated(device) / 10243 mem_reserved = torch.cuda.memory_reserved(device) / 10243 mem_total = torch.cuda.get_device_properties(device).total_memory / 1024**3 return { "allocated": f"{mem_alloc:.2f} GB", "reserved": f"{mem_reserved:.2f} GB", "total": f"{mem_total:.2f} GB", "utilization": f"{mem_alloc/mem_total100:.1f}%" } return {} # === 创建训练器 === eval_dataset = None if len(tokenized_dataset) > 100: eval_dataset = tokenized_dataset.select(range(100)) trainer = Trainer( model=model, tokenizer=tokenizer, args=training_args, train_dataset=tokenized_dataset, eval_dataset=eval_dataset, data_collator=data_collator, ) # === 训练前验证 === def validate_data_and_model(): """验证数据和模型是否准备好训练""" logger.info("\n=== 训练前验证 ===") # 检查样本格式 sample = tokenized_dataset[0] logger.info(f"样本键: {list(sample.keys())}") logger.info(f"input_ids 长度: {len(sample['input_ids'])}") # 创建单个样本测试批次 test_batch = data_collator([sample]) # 移动数据到设备 test_batch = {k: v.to(model.device) for k, v in test_batch.items()} # 前向传播测试 model.train() outputs = model(test_batch) loss_value = outputs.loss.item() logger.info(f"测试批次损失: {loss_value:.4f}") # 记录到TensorBoard if tb_writer: tb_writer.add_scalar("debug/test_loss", loss_value, 0) # 反向传播测试 outputs.loss.backward() logger.info("反向传播成功!") # 重置梯度 model.zero_grad() logger.info("验证完成，准备开始训练\n") # 记录初始GPU使用情况 gpu_status = monitor_gpu() logger.info(f"初始GPU状态: {gpu_status}") # 记录到TensorBoard if tb_writer: tb_writer.add_text("system/initial_gpu", str(gpu_status), 0) validate_data_and_model() # === 自定义回调 - 监控资源使用 === class ResourceMonitorCallback(transformers.TrainerCallback): def init(self, tb_writer=None): self.tb_writer = tb_writer self.start_time = datetime.now() self.last_log_time = datetime.now() def on_step_end(self, args, state, control, kwargs): current_time = datetime.now() time_diff = (current_time - self.last_log_time).total_seconds() # 每分钟记录一次资源使用情况 if time_diff > 60: self.last_log_time = current_time # GPU监控 gpu_status = monitor_gpu() logger.info(f"Step {state.global_step} - GPU状态: {gpu_status}") # CPU和内存监控 cpu_percent = psutil.cpu_percent() mem = psutil.virtual_memory() logger.info(f"CPU使用率: {cpu_percent}%, 内存使用: {mem.used/10243:.2f}GB/{mem.total/10243:.2f}GB") # 记录到TensorBoard if self.tb_writer: # GPU显存使用 if torch.cuda.is_available(): device = torch.device("cuda") mem_alloc = torch.cuda.memory_allocated(device) / 10243 self.tb_writer.add_scalar("system/gpu_mem", mem_alloc, state.global_step) # CPU使用率 self.tb_writer.add_scalar("system/cpu_usage", cpu_percent, state.global_step) # 系统内存使用 self.tb_writer.add_scalar("system/ram_usage", mem.used/10243, state.global_step) def on_log(self, args, state, control, logs=None, kwargs): """记录训练指标到TensorBoard""" if self.tb_writer and logs is not None: for metric_name, metric_value in logs.items(): if "loss" in metric_name or "lr" in metric_name or "grad_norm" in metric_name: self.tb_writer.add_scalar(f"train/{metric_name}", metric_value, state.global_step) def on_train_end(self, args, state, control, kwargs): """训练结束时记录总时间""" training_time = datetime.now() - self.start_time logger.info(f"训练总时间: {training_time}") if self.tb_writer: self.tb_writer.add_text("system/total_time", str(training_time)) # 添加回调 trainer.add_callback(ResourceMonitorCallback(tb_writer=tb_writer)) # === 内存清理函数 === def clear_memory(): """清理内存和GPU缓存""" gc.collect() if torch.cuda.is_available(): torch.cuda.empty_cache() torch.cuda.ipc_collect() logger.info("内存清理完成") # === 启动训练 === try: logger.info("开始训练...") # 分阶段训练以减少内存峰值 num_samples = len(tokenized_dataset) chunk_size = 1000 # 每次处理1000个样本 for i in range(0, num_samples, chunk_size): end_idx = min(i + chunk_size, num_samples) logger.info(f"训练样本 {i} 到 {end_idx-1} / {num_samples}") # 创建子数据集 chunk_dataset = tokenized_dataset.select(range(i, end_idx)) # 更新训练器 trainer.train_dataset = chunk_dataset # 训练当前块 trainer.train() # 清理内存 clear_memory() # 保存训练指标 metrics = trainer.evaluate() trainer.log_metrics("train", metrics) trainer.save_metrics("train", metrics) # 保存最佳模型 trainer.save_model(OUTPUT_DIR) tokenizer.save_pretrained(OUTPUT_DIR) logger.info(f"训练完成! 模型保存在: {OUTPUT_DIR}") # 记录最终指标到TensorBoard if tb_writer: for metric_name, metric_value in metrics.items(): tb_writer.add_scalar(f"final/{metric_name}", metric_value) tb_writer.close() except Exception as e: logger.error(f"训练出错: {e}") import traceback logger.error(traceback.format_exc()) # 尝试更小批量训练 logger.info("\n尝试更小批量训练...") small_dataset = tokenized_dataset.select(range(50)) trainer.train_dataset = small_dataset trainer.train() # 保存模型 trainer.save_model(f"{OUTPUT_DIR}_small") tokenizer.save_pretrained(f"{OUTPUT_DIR}_small") logger.info(f"小批量训练完成! 模型保存在: {OUTPUT_DIR}_small") # 记录错误到TensorBoard if tb_writer: tb_writer.add_text("error/exception", traceback.format_exc()) # 清理内存 clear_memory() # === 训练后验证 === def validate_final_model(): """验证训练后的模型""" logger.info("\n=== 训练后验证 ===") # 加载保存的模型 from peft import PeftModel # 仅加载基础模型配置 base_model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, device_map=DEVICE_MAP, quantization_config=quant_config, torch_dtype=torch.bfloat16, trust_remote_code=True, load_in_4bit=True ) # 加载LoRA适配器 peft_model = PeftModel.from_pretrained(base_model, OUTPUT_DIR) # 合并LoRA权重 merged_model = peft_model.merge_and_unload() # 测试生成 prompt = "中国的首都是" inputs = tokenizer(prompt, return_tensors="pt").to(merged_model.device) outputs = merged_model.generate( inputs, max_new_tokens=50, # 减少生成长度 temperature=0.7, top_p=0.9, repetition_penalty=1.2, do_sample=True ) generated = tokenizer.decode(outputs[0], skip_special_tokens=True) logger.info(f"提示: {prompt}") logger.info(f"生成结果: {generated}") # 记录到TensorBoard if tb_writer: tb_writer.add_text("validation/sample", f"提示: {prompt}\n生成: {generated}") # 更全面的测试 test_prompts = [ "人工智能的未来发展趋势是", "如何学习深度学习？", "写一个关于太空探索的短故事：" ] for i, test_prompt in enumerate(test_prompts): inputs = tokenizer(test_prompt, return_tensors="pt").to(merged_model.device) outputs = merged_model.generate( inputs, max_new_tokens=100, # 减少生成长度 temperature=0.7, top_p=0.9, repetition_penalty=1.2, do_sample=True ) generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) logger.info(f"\n提示: {test_prompt}\n生成: {generated_text}\n{'='50}") # 记录到TensorBoard if tb_writer: tb_writer.add_text(f"validation/test_{i}", f"提示: {test_prompt}\n生成: {generated_text}") logger.info("验证完成") # 执行验证 validate_final_model() # 关闭TensorBoard写入器 if tb_writer: tb_writer.close() logger.info("TensorBoard日志已关闭") (.venv) (base) vipuser@ubuntu22:~/ai_writer_project_final_with_fixed_output_ui$ python train_lora.py 2025-07-13 22:10:19,098 - INFO - TensorBoard日志目录: ./yi6b-lora-optimized/logs/20250713-221019 2025-07-13 22:10:19,099 - INFO - 加载预训练模型... Traceback (most recent call last): File "/home/vipuser/ai_writer_project_final_with_fixed_output_ui/train_lora.py", line 77, in <module> model = AutoModelForCausalLM.from_pretrained( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/vipuser/ai_writer_project_final_with_fixed_output_ui/.venv/lib/python3.11/site-packages/transformers/models/auto/auto_factory.py", line 566, in from_pretrained return model_class.from_pretrained( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/vipuser/ai_writer_project_final_with_fixed_output_ui/.venv/lib/python3.11/site-packages/transformers/modeling_utils.py", line 3590, in from_pretrained config = cls._autoset_attn_implementation( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/vipuser/ai_writer_project_final_with_fixed_output_ui/.venv/lib/python3.11/site-packages/transformers/modeling_utils.py", line 1389, in _autoset_attn_implementation cls._check_and_enable_flash_attn_2( File "/home/vipuser/ai_writer_project_final_with_fixed_output_ui/.venv/lib/python3.11/site-packages/transformers/modeling_utils.py", line 1480, in _check_and_enable_flash_attn_2 raise ImportError(f"{preface} the package flash_attn seems to be not installed. {install_message}") ImportError: FlashAttention2 has been toggled on, but it cannot be used due to the following error: the package flash_attn seems to be not installed. Please refer to the documentation of https://huggingface.co/docs/transformers/perf_infer_gpu_one#flashattention-2 to install Flash Attention 2.

另外，请注意，使用attn_implementation参数需要transformers版本在4.36.0以上。如果版本过低，这个参数将被忽略，并且不会报错。因此，我们还需要检查transformers版本。不过，错误已经指出，当前环境没有...

import torch import transformers from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, DataCollatorForLanguageModeling, BitsAndBytesConfig, Trainer ) from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from datasets import load_dataset import logging import psutil import gc # === 配置区域 === MODEL_NAME = "/home/vipuser/ai_writer_project_final_with_fixed_output_ui/models/Yi-6B" DATASET_PATH = "./data/train_lora_formatted.jsonl" OUTPUT_DIR = "./yi6b-lora-optimized" DEVICE_MAP = "auto" # 使用自动设备映射 # 设置日志 logging.basicConfig( level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s', handlers=[ logging.FileHandler(f"{OUTPUT_DIR}/training.log"), logging.StreamHandler() ] ) logger = logging.getLogger(name) # === 量化配置 - 使用更高效的配置 === quant_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True, ) # === 加载模型 === logger.info("加载预训练模型...") model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, device_map=DEVICE_MAP, quantization_config=quant_config, torch_dtype=torch.bfloat16, trust_remote_code=True ) # === 分词器处理 === logger.info("加载分词器...") tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True) tokenizer.padding_side = "right" if tokenizer.pad_token is None: tokenizer.pad_token = tokenizer.eos_token tokenizer.pad_token_id = tokenizer.eos_token_id # === 准备模型训练 === model = prepare_model_for_kbit_training(model, use_gradient_checkpointing=False) # 关闭梯度检查点以加速训练 # === LoRA 配置 - 增加参数以提升模型能力 === logger.info("配置LoRA...") lora_config = LoraConfig( r=128, # 增加rank以提升模型能力 lora_alpha=64, # 增加alpha值 target_modules=["q_proj", "v_proj", "k_proj", "o_proj"], # 增加更多目标模块 lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, lora_config) model.print_trainable_parameters() # === 加载并预处理数据集 === logger.info("加载和预处理数据集...") dataset = load_dataset("json", data_files=DATASET_PATH, split="train") # 文本过滤函数 def is_valid_text(example): text = example.get("text", "") return text is not None and len(text.strip()) > 200 # 增加最小长度要求 dataset = dataset.filter(is_valid_text) # 分词函数 - 使用更大的上下文窗口 def tokenize_function(examples): tokenized = tokenizer( examples["text"], padding="max_length", truncation=True, max_length=2048, # 增加上下文长度 ) # 创建 labels - 因果语言建模需要 labels = input_ids tokenized["labels"] = tokenized["input_ids"].copy() return tokenized tokenized_dataset = dataset.map( tokenize_function, batched=True, remove_columns=["text"], batch_size=128, # 增加批处理大小以加速处理 num_proc=8, # 使用更多进程 ) # === 数据整理器 === data_collator = DataCollatorForLanguageModeling( tokenizer=tokenizer, mlm=False # 因果语言建模 ) # === 训练参数 - 优化以利用A100 80GB显存 === training_args = TrainingArguments( output_dir=OUTPUT_DIR, per_device_train_batch_size=16, # 大幅增加批次大小 gradient_accumulation_steps=1, # 减少梯度累积步数 learning_rate=2e-5, # 提高学习率 num_train_epochs=3, # 增加训练轮数 logging_steps=50, save_strategy="steps", save_steps=500, # 每500步保存一次 bf16=True, optim="paged_adamw_32bit", # 使用更稳定的优化器 report_to=["tensorboard"], warmup_ratio=0.05, # 增加预热比例 gradient_checkpointing=False, # 关闭梯度检查点以加速训练 fp16=False, max_grad_norm=1.0, # 增加梯度裁剪阈值 remove_unused_columns=False, dataloader_num_workers=8, # 增加数据加载工作线程 evaluation_strategy="steps", # 添加验证步骤 eval_steps=500, # 每500步验证一次 save_total_limit=3, # 保存更多检查点 logging_dir=f"{OUTPUT_DIR}/logs", load_best_model_at_end=True, # 训练结束时加载最佳模型 ddp_find_unused_parameters=False, logging_first_step=True, group_by_length=True, # 按长度分组以加速训练 lr_scheduler_type="cosine", # 使用余弦学习率调度器 weight_decay=0.01, # 添加权重衰减 ) # === GPU监控工具 === def monitor_gpu(): """监控GPU使用情况""" if torch.cuda.is_available(): device = torch.device("cuda") mem_alloc = torch.cuda.memory_allocated(device) / 1024 3 mem_reserved = torch.cuda.memory_reserved(device) / 1024 3 mem_total = torch.cuda.get_device_properties(device).total_memory / 1024 ** 3 return { "allocated": f"{mem_alloc:.2f} GB", "reserved": f"{mem_reserved:.2f} GB", "total": f"{mem_total:.2f} GB", "utilization": f"{mem_alloc / mem_total * 100:.1f}%" } return {} # === 创建训练器 === trainer = Trainer( model=model, tokenizer=tokenizer, args=training_args, train_dataset=tokenized_dataset, eval_dataset=tokenized_dataset.select(range(100)) if len(tokenized_dataset) > 100 else None, data_collator=data_collator, ) # === 训练前验证 === def validate_data_and_model(): """验证数据和模型是否准备好训练""" logger.info("\n=== 训练前验证 ===") # 检查样本格式 sample = tokenized_dataset[0] logger.info(f"样本键: {list(sample.keys())}") logger.info(f"input_ids 长度: {len(sample['input_ids'])}") logger.info(f"labels 长度: {len(sample['labels'])}") # 创建测试批次 test_batch = data_collator([sample, tokenized_dataset[1]]) # 移动数据到设备 test_batch = {k: v.to(model.device) for k, v in test_batch.items()} # 前向传播测试 model.train() outputs = model(test_batch) logger.info(f"测试批次损失: {outputs.loss.item():.4f}") # 反向传播测试 outputs.loss.backward() logger.info("反向传播成功!") # 重置梯度 model.zero_grad() logger.info("验证完成，准备开始训练\n") # 记录初始GPU使用情况 gpu_status = monitor_gpu() logger.info(f"初始GPU状态: {gpu_status}") validate_data_and_model() # === 自定义回调 - 监控资源使用 === class ResourceMonitorCallback(transformers.TrainerCallback): def on_step_end(self, args, state, control, kwargs): if state.global_step % 50 == 0: # GPU监控 gpu_status = monitor_gpu() logger.info(f"Step {state.global_step} - GPU状态: {gpu_status}") # CPU和内存监控 cpu_percent = psutil.cpu_percent() mem = psutil.virtual_memory() logger.info( f"CPU使用率: {cpu_percent}%, 内存使用: {mem.used / 1024 3:.2f}GB/{mem.total / 1024 3:.2f}GB") # 添加回调 trainer.add_callback(ResourceMonitorCallback()) # === 启动训练 === try: logger.info("开始训练...") train_result = trainer.train() # 保存训练指标 metrics = train_result.metrics trainer.log_metrics("train", metrics) trainer.save_metrics("train", metrics) # 保存最佳模型 trainer.save_model(OUTPUT_DIR) tokenizer.save_pretrained(OUTPUT_DIR) logger.info(f"训练完成! 模型保存在: {OUTPUT_DIR}") except Exception as e: logger.error(f"训练出错: {e}") import traceback logger.error(traceback.format_exc()) # 尝试小批量训练 logger.info("\n尝试小批量训练...") small_dataset = tokenized_dataset.select(range(100)) trainer.train_dataset = small_dataset trainer.train() # 保存模型 trainer.save_model(f"{OUTPUT_DIR}_small") tokenizer.save_pretrained(f"{OUTPUT_DIR}_small") logger.info(f"小批量训练完成! 模型保存在: {OUTPUT_DIR}_small") # 清理内存 del model del trainer gc.collect() torch.cuda.empty_cache() # === 训练后验证 === def validate_final_model(): """验证训练后的模型""" logger.info("\n=== 训练后验证 ===") # 加载保存的模型 from peft import PeftModel, PeftConfig # 仅加载基础模型配置 base_model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, device_map=DEVICE_MAP, quantization_config=quant_config, torch_dtype=torch.bfloat16, trust_remote_code=True, load_in_4bit=True ) # 加载LoRA适配器 peft_model = PeftModel.from_pretrained(base_model, OUTPUT_DIR) # 合并LoRA权重 merged_model = peft_model.merge_and_unload() # 测试生成 prompt = "中国的首都是" inputs = tokenizer(prompt, return_tensors="pt").to(merged_model.device) outputs = merged_model.generate( inputs, max_new_tokens=100, # 生成长度增加 temperature=0.7, top_p=0.9, # 添加top-p采样 repetition_penalty=1.2, # 添加重复惩罚 do_sample=True ) generated = tokenizer.decode(outputs[0], skip_special_tokens=True) logger.info(f"提示: {prompt}") logger.info(f"生成结果: {generated}") # 更全面的测试 test_prompts = [ "人工智能的未来发展趋势是", "如何学习深度学习？", "写一个关于太空探索的短故事：" ] for prompt in test_prompts: inputs = tokenizer(prompt, return_tensors="pt").to(merged_model.device) outputs = merged_model.generate( inputs, max_new_tokens=150, temperature=0.7, top_p=0.9, repetition_penalty=1.2, do_sample=True ) generated = tokenizer.decode(outputs[0], skip_special_tokens=True) logger.info(f"\n提示: {prompt}\n生成: {generated}\n{'=' * 50}") logger.info("验证完成") validate_final_model() 这是我的代码文件，请在此基础上进行修改，要求加入带有日志写入与 tensorboard 自动支持

weight_decay=0.01, # 添加权重衰减 ) # === GPU监控工具 === def monitor_gpu(): """监控GPU使用情况""" if torch.cuda.is_available(): device = torch.device("cuda") mem_alloc = torch.cuda.memory_...

import torch from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, DataCollatorForLanguageModeling, BitsAndBytesConfig, Trainer # 使用原生 Trainer 替代 SFTTrainer ) from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from datasets import load_dataset import numpy as np # === 配置区域 === MODEL_NAME = "/home/vipuser/ai_writer_project_final_with_fixed_output_ui/models/Yi-6B" DATASET_PATH = "./data/train_lora_formatted.jsonl" OUTPUT_DIR = "./yi6b-lora-bf16" DEVICE_MAP = {"": 0} # === 量化配置 === quant_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True, ) # === 加载模型 === model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, device_map=DEVICE_MAP, quantization_config=quant_config, torch_dtype=torch.bfloat16, trust_remote_code=True ) # === 分词器处理 === tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True) tokenizer.padding_side = "right" if tokenizer.pad_token is None: tokenizer.pad_token = tokenizer.eos_token tokenizer.pad_token_id = tokenizer.eos_token_id # === 准备模型训练 === model = prepare_model_for_kbit_training(model, use_gradient_checkpointing=True) # === LoRA 配置 === lora_config = LoraConfig( r=64, lora_alpha=32, target_modules=["q_proj", "v_proj"], lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, lora_config) model.print_trainable_parameters() # === 加载并预处理数据集 === dataset = load_dataset("json", data_files=DATASET_PATH, split="train") # 文本过滤函数 def is_valid_text(example): text = example.get("text", "") return text is not None and len(text.strip()) > 100 dataset = dataset.filter(is_valid_text) # 分词函数 - 返回包含 labels 的字典 def tokenize_function(examples): tokenized = tokenizer( examples["text"], padding="max_length", truncation=True, max_length=1024, ) # 创建 labels - 因果语言建模需要 labels = input_ids tokenized["labels"] = tokenized["input_ids"].copy() return tokenized tokenized_dataset = dataset.map( tokenize_function, batched=True, remove_columns=["text"] ) # === 数据整理器 === data_collator = DataCollatorForLanguageModeling( tokenizer=tokenizer, mlm=False # 因果语言建模 ) # === 训练参数 === training_args = TrainingArguments( output_dir=OUTPUT_DIR, per_device_train_batch_size=4, gradient_accumulation_steps=4, learning_rate=1e-5, num_train_epochs=2, logging_steps=20, save_strategy="epoch", bf16=True, optim="paged_adamw_8bit", report_to=["tensorboard"], warmup_ratio=0.03, gradient_checkpointing=True, fp16=False, max_grad_norm=0.3, remove_unused_columns=False, dataloader_num_workers=4, evaluation_strategy="no", # 无验证集 save_total_limit=2, # 最多保存2个检查点 logging_dir=f"{OUTPUT_DIR}/logs", # TensorBoard日志目录 load_best_model_at_end=False, ddp_find_unused_parameters=False ) # === 创建训练器 - 使用原生 Trainer === trainer = Trainer( model=model, tokenizer=tokenizer, args=training_args, train_dataset=tokenized_dataset, data_collator=data_collator, ) # === 训练前验证 === def validate_data_and_model(): """验证数据和模型是否准备好训练""" print("\n=== 训练前验证 ===") # 检查样本格式 sample = tokenized_dataset[0] print("样本键:", list(sample.keys())) print("input_ids 长度:", len(sample["input_ids"])) print("labels 长度:", len(sample["labels"])) # 创建测试批次 test_batch = data_collator([sample, tokenized_dataset[1]]) # 移动数据到设备 test_batch = {k: v.to(model.device) for k, v in test_batch.items()} # 前向传播测试 model.train() outputs = model(test_batch) print(f"测试批次损失: {outputs.loss.item():.4f}") # 反向传播测试 outputs.loss.backward() print("反向传播成功!") # 重置梯度 model.zero_grad() print("验证完成，准备开始训练\n") validate_data_and_model() # === 启动训练 === try: train_result = trainer.train() # 保存训练指标 metrics = train_result.metrics trainer.log_metrics("train", metrics) trainer.save_metrics("train", metrics) except Exception as e: print(f"训练出错: {e}") # 详细错误诊断 import traceback traceback.print_exc() # 尝试小批量训练 print("\n尝试小批量训练...") small_dataset = tokenized_dataset.select(range(10)) trainer.train_dataset = small_dataset trainer.train() # === 保存训练成果 === trainer.save_model(OUTPUT_DIR) tokenizer.save_pretrained(OUTPUT_DIR) print(f"训练完成! 模型保存在: {OUTPUT_DIR}") # === 训练后验证 === def validate_final_model(): """验证训练后的模型""" print("\n=== 训练后验证 ===") # 加载保存的模型 from peft import PeftModel loaded_model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, device_map=DEVICE_MAP, quantization_config=quant_config, torch_dtype=torch.bfloat16, trust_remote_code=True ) loaded_model = PeftModel.from_pretrained(loaded_model, OUTPUT_DIR) loaded_model = loaded_model.merge_and_unload() # 合并LoRA权重 # 测试生成 prompt = "中国的首都是" inputs = tokenizer(prompt, return_tensors="pt").to(loaded_model.device) outputs = loaded_model.generate( inputs, max_new_tokens=50, temperature=0.7, do_sample=True ) generated = tokenizer.decode(outputs[0], skip_special_tokens=True) print(f"提示: {prompt}") print(f"生成结果: {generated}") print("验证完成") validate_final_model() 我用了云算力平台的A100显卡的电脑，有80gb显存,请你适当的提高训练相关模块的参数，我的模型质量训练时间达到一个最佳的平衡

weight_decay=0.01, # 添加权重衰减 ) # === GPU监控工具 === def monitor_gpu(): """监控GPU使用情况""" if torch.cuda.is_available(): device = torch.device("cuda") mem_alloc = torch.cuda.memory_...

num_classes: 30 project_path: "D:/pychj/pythorch" train_data_path: "DataSet/final/train" val_data_path: "DataSet/final/valid" test_data_path: "DataSet/final/test" #图片可视化分析源路径 img_path: "DataSet/final/test/0002_人参/人参31.jpg" #训练伦次 epochs: 30 #选用设备 device: 'cuda:0' #训练批次大小，防止显存溢出 batch_size: 16 #加载的权重路径 weights_path: '' #迁移学习 fine_tuning: True #优化器的选择 opt_name: 'AdamW' #线程加载 nw: 2 #模型保存路径 #vgg模型 Model_VGG: 'Model/Model_VGG/weights/VGG16_43481362425_best_model.pt' Model_AlexNet: 'Model/Model_AlexNet/weights/AlexNet_43491884900_best_model.pt' Model_MobileNet: 'Model/Model_MobileNet/weights/MobileNet_V3_Small_43544276625_best_model.pt' Model_ResNet: 'Model/Model_ResNet/weights/ResNet50_43544327450_best_model.pt' #可视化测验调用模型路径 Web_Model: 'Model/Model_VGG/weights/VGG16_43481362425_best_model.pt' #端口号 Web_Port: 8017 #不同类别的名称列表 display_labels: - '三七' - '乌梅' - '人参' - '何首乌' - '党参' - '决明子' - '小茴香' - '板蓝根' - '枸杞子' - '柴胡' - '桑葚' - '槐花' - '沉香' - '灵芝' - '甘草' - '白芍' - '白花蛇舌草' - '百合' - '穿心莲' - '红花' - '罗汉果' - '艾叶' - '茯苓' - '莲子心' - '葛根' - '虫草' - '蝉蜕' - '金银花' - '阿胶' - '陈皮' #混淆矩阵显示具数值 show_figure: false #混淆矩阵结果归一化 normalization: true 找出这里面的超参数

基础超参数方面，学习率（learning_rate）肯定是核心的，还有训练轮数（num_train_epochs），批量大小（per_device_train_batch_size），权重衰减（weight_decay），这些在引用[1]的TrainingArguments里都有出现。...

上述代码出现以下问题： * Running on local URL: http://0.0.0.0:7860 * To create a public link, set share=True in launch(). Generating train split: 0 examples [00:00, ? examples/s] Generating train split: 349 examples [00:00, 13213.09 examples/s] Generating train split: 0 examples [00:00, ? examples/s] Generating train split: 85 examples [00:00, 5189.16 examples/s] 从远程加载Tokenizer: deepseek-ai/deepseek-llm-7b-base Map: 0%| | 0/349 [00:00<?, ? examples/s] Map: 100%|██████████| 349/349 [00:00<00:00, 8892.39 examples/s] Map: 0%| | 0/85 [00:00<?, ? examples/s] Map: 100%|██████████| 85/85 [00:00<00:00, 4877.56 examples/s] Map: 0%| | 0/349 [00:00<?, ? examples/s] Map: 0%| | 0/349 [00:00<?, ? examples/s] Traceback (most recent call last): File "D:\Lib\site-packages\gradio\queueing.py", line 625, in process_events response = await route_utils.call_process_api( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ...<5 lines>... ) ^ File "D:\Lib\site-packages\gradio\route_utils.py", line 322, in call_process_api output = await app.get_blocks().process_api( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ...<11 lines>... ) ^ File "D:\Lib\site-packages\gradio\blocks.py", line 2193, in process_api result = await self.call_function( ^^^^^^^^^^^^^^^^^^^^^^^^^ ...<8 lines>... ) ^ File "D:\Lib\site-packages\gradio\blocks.py", line 1704, in call_function prediction = await anyio.to_thread.run_sync( # type: ignore ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ fn, processed_input, limiter=self.limiter ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ) ^ File "D:\Lib\site-packages\anyio\to_thread.py", line 56, in run_sync return await get_async_backend().run_sync_in_worker_thread( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ func, args, abandon_on_cancel=abandon_on_cancel, limiter=limiter ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ) ^ File "D:\Lib\site-packages\anyio\_backends\_asyncio.py", line 2470, in run_sync_in_worker_thread return await future ^^^^^^^^^^^^ File "D:\Lib\site-packages\anyio\_backends\_asyncio.py", line 967, in run result = context.run(func, args) File "D:\Lib\site-packages\gradio\utils.py", line 894, in wrapper response = f(*args, **kwargs) File "C:\Users\Y\Desktop\python\100.py", line 130, in fine_tune_model tokenized_train = train_dataset.map(tokenize_function, batched=True, remove_columns=["text"]) File "D:\Lib\site-packages\datasets\arrow_dataset.py", line 557, in wrapper out: Union["Dataset", "DatasetDict"] = func(self, args, kwargs) ^^^^^^^^^^^^^^^^^^^^^^^ File "D:\Lib\site-packages\datasets\arrow_dataset.py", line 3079, in map for rank, done, content in Dataset._map_single(dataset_kwargs): ~^^^^^^^^^^^^^^^^^^ File "D:\Lib\site-packages\datasets\arrow_dataset.py", line 3525, in _map_single for i, batch in iter_outputs(shard_iterable): ^^^^^^^^^^^^^^^^ File "D:\Lib\site-packages\datasets\arrow_dataset.py", line 3475, in iter_outputs yield i, apply_function(example, i, offset=offset) ^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\Lib\site-packages\datasets\arrow_dataset.py", line 3398, in apply_function processed_inputs = function(fn_args, *additional_args, **fn_kwargs) File "C:\Users\Y\Desktop\python\100.py", line 122, in tokenize_function return tokenizer( examples["text"], ...<2 lines>... padding="max_length" ) TypeError: 'str' object is not callable

def fine_tune_model(model_name, batch_size, learning_rate, num_epochs, progress=gr.Progress()): """微调大语言模型""" progress(0.1, desc="加载数据集") # 检查数据集是否存在 required_files = [...

(.venv) (base) vipuser@ubuntu22:~/ai_writer_project_final_with_fixed_output_ui$ python train_lora.py Traceback (most recent call last): File "/home/vipuser/ai_writer_project_final_with_fixed_output_ui/train_lora.py", line 28, in <module> logging.FileHandler(f"{OUTPUT_DIR}/training.log"), ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/usr/local/lib/python3.11/logging/init.py", line 1181, in init StreamHandler.init(self, self._open()) ^^^^^^^^^^^^ File "/usr/local/lib/python3.11/logging/init.py", line 1213, in _open return open_func(self.baseFilename, self.mode, ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ FileNotFoundError: [Errno 2] No such file or directory: '/home/vipuser/ai_writer_project_final_with_fixed_output_ui/yi6b-lora-optimized/training.log'

weight_decay=0.01, # 添加权重衰减 ) # 确保TensorBoard日志目录存在 tensorboard_dir = f"{OUTPUT_DIR}/logs" os.makedirs(tensorboard_dir, exist_ok=True) # === GPU监控工具 === def monitor_gpu(): ""...

新能源车电机控制器：基于TI芯片的FOC算法源代码与实际应用

内容概要：本文详细介绍了基于TI芯片的FOC（场向量控制）算法在新能源车电机控制器中的应用。文章首先阐述了新能源车电机控制器的重要性及其对车辆性能的影响，接着深入探讨了FOC算法的工作原理，强调其在提高电机控制精度和能效方面的优势。随后，文章展示了完整的源代码资料，涵盖采样模块、CAN通信模块等多个关键部分，并指出这些代码不仅限于理论演示，而是来自实际量产的应用程序。此外，文中还特别提到代码遵循严格的规范，有助于读者理解和学习电机控制软件的最佳实践。适合人群：从事新能源车研发的技术人员、电机控制工程师、嵌入式系统开发者以及对电机控制感兴趣的电子工程学生。使用场景及目标：① 学习并掌握基于TI芯片的FOC算法的具体实现；② 理解电机控制器各模块的功能和交互方式；③ 提升实际项目开发能力，减少开发过程中遇到的问题。其他说明：本文提供的源代码资料来源于早期已量产的新能源车控制器，因此具有较高的实用价值和参考意义。

中证500指数成分股历年调整名单2007至2023年调入调出

中证500指数是中证指数有限公司开发的指数，样本空间内股票由全部A股中剔除沪深300指数成分股及总市值排名前300名的股票后，选取总市值排名靠前的500只股票组成，综合反映中国A股市场中一批中小市值公司的股票价格表现。包含字段：公告日期、变更日期、成份证券代码、成份证券简称、变动方式。各次调整日期：2006-12-26、2007-01-15、2007-06-01、2007-07-02、2007-12-10、2008-01-02、2008-06-04、2008-07-01、2008-12-15、2009-01-05、2009-05-05、2009-05-06、2009-06-15、2009-07-01、2009-08-10、2009-08-10。资源来源于网络分享，仅用于学习交流使用，请勿用于商业，如有侵权请联系我删除！

基于28335的高精度旋变软解码技术及其应用 - 电机控制

内容概要：本文详细介绍了基于28335芯片实现的旋变软解码技术。该技术在0-360°范围内与TI方案相比，偏差极小（平均偏差最大为0.0009弧度），并且响应速度优于AD2S1205（解算器建立时间不超过5ms）。文中还讨论了信号解调方法，利用三角函数积化和差公式将旋变输出信号分解为高低频两部分，并通过锁相环和特殊设计的滤波器提高信号处理的精度和稳定性。最终，该技术在12位AD下能保证10-11位的精度。适合人群：从事电机控制、自动化系统设计及相关领域的工程师和技术人员。使用场景及目标：适用于需要高精度、快速响应的旋转变压器解码应用场景，如工业自动化、机器人技术和电动汽车等领域。目标是提供一种替代传统硬件解码方案的技术选择，提升系统的可靠性和性能。阅读建议：读者可以通过本文深入了解旋变软解码的工作原理和技术细节，掌握其相对于现有解决方案的优势，从而更好地应用于实际项目中。

langchain4j-embeddings-bge-small-en-1.0.0-beta5.jar中文文档.zip

1、压缩文件中包含：中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法：解压最外层zip，再解压其中的zip包，双击【index.html】文件，即可用浏览器打开、进行查看。 3、特殊说明：（1）本文档为人性化翻译，精心制作，请放心使用；（2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解等；（3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码等。 4、温馨提示：（1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）；（2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。

苹果内购（IAP）人民币价格明细表

资源下载链接为： https://pan.quark.cn/s/9e7ef05254f8 在苹果的生态系统中，IAP（应用内购买）是苹果应用商店（App Store）中应用开发者常采用的一种盈利模式，允许用户在应用内直接购买虚拟商品或服务。苹果为开发者提供了一份详细的人民币（CNY）IAP定价表，这份定价表具有以下特点：价格分级：定价表由多个价格等级组成，开发者可根据虚拟商品的价值选择相应等级，等级越高，价格越高。例如，低等级可能对应基础功能解锁，高等级则对应高级服务或大量虚拟道具。税收与分成：苹果会从应用内购买金额中抽取30%作为服务费或佣金，这是苹果生态的固定规则。不过，开发者实际到手的收入会因不同国家和地区的税收政策而有所变化，但定价表中的价格等级本身是固定的，便于开发者统一管理。多级定价策略：通过设置不同价格等级，开发者可以根据商品或服务的类型与价值进行合理定价，以满足不同消费能力的用户需求，从而最大化应用的总收入。例如，一款游戏可以通过设置不同等级的虚拟货币包，吸引不同付费意愿的玩家。特殊等级：除了标准等级外，定价表还包含备用等级和特殊等级（如备用等级A、备用等级B等），这些等级可能是为应对特殊情况或促销活动而设置的额外价格点，为开发者提供了更灵活的定价选择。苹果IAP定价表是开发者设计应用内购机制的重要参考。它不仅为开发者提供了标准的收入分成模型，还允许开发者根据产品特性设定价格等级，以适应市场和满足不同用户需求。同时，开发者在使用定价表时，还需严格遵守苹果的《App Store审查指南》，包括30%的分成政策、使用苹果支付接口、提供清晰的产品描述和定价信息等。苹果对应用内交易有严格规定，以确保交易的透明性和安全性。总之，苹果IAP定价表是开发者在应用内购设计中不可或缺的工具，但开发者也需密切关注苹果政策变化，以确保应用的合规运营和收益最大化。

VL系列USB3.0 HUB硬件参考设计资料

vl813，vl817硬件设计资料，包括数据手册，官方demo原理图等

工业自动化领域信捷PLC控制一拖二组装设备的模块化编程与分散控制信捷XD5-60T10-E

内容概要：本文详细介绍了基于信捷XD5-60T10-E系列PLC控制的一拖二组装设备。该设备通过单个PLC控制器管理两台组装检测设备，扩展了5个32点输入输出模块，总计220个I/O点，配备60个气缸和7个伺服/步进电机，总步数约为12000步，七轴协同工作。设备采用模块化编程和分散式控制，确保了系统的稳定性和可靠性。文中还展示了部分关键代码片段，帮助读者理解设备的编程逻辑和技术细节。适合人群：电气工程技术人员、自动化工程师以及希望深入了解PLC控制系统和工业自动化的专业人士。使用场景及目标：适用于需要高精度、多任务并行处理的工业生产线，旨在提升生产效率和稳定性。同时，作为经典案例程序，有助于电气工程人员的学习和技能提升。其他说明：该设备已成功投入量产，证明了其实用性和可靠性。文中提供的代码片段仅为示例，具体实现需根据实际情况调整。

瑞芯微RK3288商显多屏主板设计资料与接口支持解析 · 显示接口

内容概要：本文详细介绍了瑞芯微RK3288商显多屏主板的设计资料及其接口支持情况。首先，文中提到该主板支持多种显示接口，如LVDS、MIPI、EDP等，能够灵活组合用于多屏广告机场景。其次，针对硬件设计，提供了具体的PCB及SCH设计资料，并强调了LVDS差分对走线等关键点以及可能遇到的问题。此外，在软件配置方面，重点讲解了设备树中显示参数调整方法，尤其是MIPI屏的初始化序列设置。对于外设扩展，则推荐了4G模块采用USB接口连接的方式，并提醒注意WiFi/BT模块的天线走线及驱动加载顺序。最后，通过实例告诫用户不要随意修改官方提供的设计方案，以免造成不必要的损失。适合人群：从事商业显示产品开发的技术人员，尤其是有意向基于瑞芯微RK3288进行多屏广告机或其他类似应用开发的研发团队。使用场景及目标：帮助开发者深入了解瑞芯微RK3288商显多屏主板的功能特性，掌握正确的硬件设计和软件配置方法，避免常见错误，提高开发效率。其他说明：文中还分享了一些实际操作中的经验和教训，有助于读者更好地理解和应用相关技术。

相关推荐

Keras之fit_generator与train_on_batch用法

RNN.zip_RNN neural network_deep learning_word2vector_循环神经网络_神经网络

keras model.fit 解决validation_spilt=num 的问题

【代码实践】：TensorFlow_Keras实现GAN：新手也能轻松上手

【Code Practice】: Implementing GAN with TensorFlow_Keras: Beginners Can Also Get Started Easily

新能源车电机控制器：基于TI芯片的FOC算法源代码与实际应用

中证500指数成分股历年调整名单2007至2023年 调入调出

基于28335的高精度旋变软解码技术及其应用 - 电机控制

langchain4j-embeddings-bge-small-en-1.0.0-beta5.jar中文文档.zip

苹果内购（IAP）人民币价格明细表

VL系列USB3.0 HUB硬件参考设计资料

工业自动化领域信捷PLC控制一拖二组装设备的模块化编程与分散控制 信捷XD5-60T10-E

瑞芯微RK3288商显多屏主板设计资料与接口支持解析 · 显示接口

大家在看

nivisv32.zip

自由出流-HEC-RAS初步教程-2012

HslCommunication-labview

web仿淘宝项目

ADO.NET-高级编程(中)

最新推荐

新能源车电机控制器：基于TI芯片的FOC算法源代码与实际应用

中证500指数成分股历年调整名单2007至2023年 调入调出

基于28335的高精度旋变软解码技术及其应用 - 电机控制

langchain4j-embeddings-bge-small-en-1.0.0-beta5.jar中文文档.zip

苹果内购（IAP）人民币价格明细表

掌握XFireSpring整合技术：HELLOworld原代码使用教程

【Unity2018汉化大揭秘】：一步到位优化中文用户体验

iPhone

驾校一点通软件：提升驾驶证考试通过率

【DFLauncher自动化教程】：简化游戏启动流程，让游戏体验更流畅

中证500指数成分股历年调整名单2007至2023年调入调出

工业自动化领域信捷PLC控制一拖二组装设备的模块化编程与分散控制信捷XD5-60T10-E

中证500指数成分股历年调整名单2007至2023年调入调出