import numpy as np import matplotlib.pyplot as plt import pandas as pd import torch import torch.nn as nn from sklearn.preprocessing import StandardScaler from torch.utils.data import Dataset, DataLoader # 加载数据集 data = pd.read_csv('pfyh.csv') df = pd.DataFrame(data) dataset = df.iloc[:, 2:].to_numpy() df.head() # 可视化数据 # 简单数据可视化 plt.plot(df.iloc[:, 2]) plt.title("Data Visualization") plt.show() # 提取特征和标签 X = np.array(dataset[:, :-1]) y = np.array(dataset[:, -1]) # 数据标准化和归一化 scaler = StandardScaler() X = scaler.fit_transform(X) y = y / 1000 # 划分训练集和测试集（90%训练，10%测试） split_index = int(len(X) * 0.9) X_train, X_test = X[:split_index], X[split_index:] y_train, y_test = y[:split_index], y[split_index:] # 自定义PyTorch数据集类 class TimeSeriesDataset(Dataset): def __init__(self, x, y, sequence_length): self.x = x self.y = y self.sequence_length = sequence_length def __len__(self): return len(self.x) - self.sequence_length def __getitem__(self, idx): return ( torch.tensor(self.x[idx:idx + self.sequence_length], dtype=torch.float), torch.tensor(self.y[idx + self.sequence_length], dtype=torch.float) ) # 创建数据集和数据加载器 sequence_length = 14 train_dataset = TimeSeriesDataset(X_train, y_train, sequence_length) train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True) test_dataset = TimeSeriesDataset(X_test, y_test, sequence_length) test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False) # 定义LSTM模型 class LSTMModel(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size): super(LSTMModel, self).__init__() self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) self.init_weights() def forward(self, x): out, _ = self.lstm(x) out = self.fc(out[:, -1, :]) return out def init_weights(self): torch.manual_seed(42)

<think>嗯，用户的问题是关于如何优化基于PyTorch的LSTM时间序列预测模型的代码，包括数据预处理、自定义Dataset类以及模型结构设计的最佳实践。首先，我需要回忆一下LSTM模型在时间序列预测中的常见优化方法。数据预处理部分，标准化或归一化是必须的，可能用户已经做了，但有没有更有效的方法？比如针对时间序列的分段标准化？或者处理缺失值的方法？ 然后是自定义Dataset类，用户提到了DataLoader的使用，但如何更高效地处理数据加载？可能需要考虑内存使用，比如生成器方式而不是一次性加载所有数据。另外，数据增强对于时间序列可能有用吗？比如添加噪声或时间扭曲？不过时间序列的增强需要谨慎，可能会改变数据的时序特性。 模型结构设计方面，用户可能使用的是单层LSTM，或许可以建议堆叠多层LSTM，或者结合注意力机制。双向LSTM是否适用？这取决于问题是否需要考虑前后文信息。另外，全连接层的设计，是否需要更多层或者调整激活函数？ 超参数调优也是重点，比如隐藏层大小、学习率、训练轮次等。可能需要提到使用网格搜索或随机搜索。此外，正则化方法如Dropout或L2正则化可以防止过拟合，特别是在LSTM层之后添加Dropout。 代码实现方面，检查是否有不必要的计算，比如在循环中重复初始化张量。使用PyTorch的并行处理功能，如DataLoader的num_workers参数，来加速数据加载。还有混合精度训练和GPU加速，这些都能提升训练效率。 评估部分，用户可能只用了均方误差，可以建议更多的评估指标，如MAE、MAPE，或者可视化预测结果对比真实值。早停法（Early Stopping）也是一个实用的技巧，避免过拟合。 最后，用户可能需要具体的代码示例，比如改进后的Dataset类、模型结构，以及训练循环的优化。需要确保代码符合PyTorch的最佳实践，比如使用Module和DataLoader的正确方式。 可能还需要考虑时间序列的窗口大小选择，是否使用滑动窗口方法，或者如何处理多变量输入。对于单步预测和多步预测，模型结构是否需要调整？比如使用Seq2Seq结构或者直接多输出。 总结一下，我需要从数据预处理、Dataset优化、模型结构改进、训练技巧、超参数调优、代码效率等方面给出建议，并且提供代码示例。同时，确保引用用户提到的引用内容，比如DataLoader的使用和模型定义部分。</think>以下是从数据预处理、Dataset类优化到模型结构设计的完整优化方案，结合PyTorch最佳实践： ### 一、数据预处理优化 1. **标准化改进** ```python from sklearn.preprocessing import RobustScaler # 对异常值更鲁棒 scaler = RobustScaler() scaled_data = scaler.fit_transform(data.reshape(-1, 1)) ``` 建议使用$Z = \frac{X - \mu}{\sigma}$标准化公式，对每个特征单独处理[^2] 2. **时间序列窗口生成** ```python def create_sequences(data, seq_length): sequences = [] for i in range(len(data)-seq_length-1): seq = data[i:i+seq_length] label = data[i+seq_length] sequences.append((seq, label)) return sequences ``` 使用生成器替代列表存储可降低内存占用$O(n)$到$O(1)$ ### 二、高效Dataset类实现 ```python class TimeSeriesDataset(Dataset): def __init__(self, sequences): self.sequences = sequences def __len__(self): return len(self.sequences) def __getitem__(self, idx): sequence, label = self.sequences[idx] return torch.FloatTensor(sequence), torch.FloatTensor([label]) # 使用示例 dataset = TimeSeriesDataset(sequences) dataloader = DataLoader(dataset, batch_size=64, shuffle=True, num_workers=4, pin_memory=True) ``` 关键优化点： - `pin_memory=True`加速GPU数据传输 - `num_workers=4`启用多进程加载 - 使用生成器替代预存完整数据集 ### 三、改进的LSTM模型结构 ```python class EnhancedLSTMModel(nn.Module): def __init__(self, input_size=1, hidden_size=50, output_size=1, num_layers=2, dropout=0.2): super().__init__() self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True, dropout=dropout) self.attention = nn.Sequential( nn.Linear(hidden_size, hidden_size), nn.Tanh(), nn.Linear(hidden_size, 1) ) self.fc = nn.Sequential( nn.Linear(hidden_size, 32), nn.ReLU(), nn.Dropout(dropout), nn.Linear(32, output_size) ) def forward(self, x): out, (hn, cn) = self.lstm(x) # out.shape: (batch_size, seq_len, hidden_size) # 添加注意力机制 attn_weights = F.softmax(self.attention(out).squeeze(-1), dim=1) context = torch.bmm(attn_weights.unsqueeze(1), out).squeeze(1) return self.fc(context) ``` 改进特性： 1. 多层LSTM结构（通过num_layers控制） 2. 添加注意力机制$ \alpha_t = \text{softmax}(W \cdot \tanh(Vh_t)) $[^1] 3. 深度全连接层+Dropout正则化 ### 四、训练过程优化 ```python # 混合精度训练 scaler = torch.cuda.amp.GradScaler() for epoch in range(epochs): for inputs, labels in dataloader: inputs = inputs.to(device) labels = labels.to(device) with torch.cuda.amp.autocast(): outputs = model(inputs) loss = criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() optimizer.zero_grad() ``` 使用自动混合精度训练可提升速度约30% ### 五、超参数优化建议 1. 使用Optuna进行自动调参： ```python import optuna def objective(trial): params = { 'hidden_size': trial.suggest_int('hidden_size', 32, 256), 'learning_rate': trial.suggest_loguniform('lr', 1e-4, 1e-2), 'num_layers': trial.suggest_int('num_layers', 1, 3), 'seq_length': trial.suggest_categorical('seq_length', [30, 60, 90]) } # 训练验证流程 return validation_loss ``` ### 六、评估指标增强 ```python def evaluate(model, dataloader): model.eval() total_mae = 0 with torch.no_grad(): for inputs, labels in dataloader: outputs = model(inputs.to(device)) total_mae += mean_absolute_error(outputs.cpu(), labels.cpu()) return total_mae / len(dataloader) ``` 建议同时计算以下指标： $$ \text{MAPE} = \frac{100\%}{n}\sum_{i=1}^n\left|\frac{y_i - \hat{y}_i}{y_i}\right| $$ $$ \text{RMSE} = \sqrt{\frac{1}{n}\sum_{i=1}^n(y_i - \hat{y}_i)^2} $$