2-深度学习挖短线股-2-训练数据计算

<think>嗯，用户想要用PyTorch和GPU训练一个深度学习模型，用于币安的合约短线交易。首先，我需要理清楚整个流程。用户提到了从交易所获取K线数据，然后加入一系列技术指标，比如OBV、OBV移动平均组合、EMA、RSI、MACD、ATR、ADX、+DI、-DI，这些都需要用ta-lib来计算。然后，模型训练时如果程序退出要自动保存，下次继续训练。最后要给出完整代码。 首先，数据获取部分。币安有API，可以用python-binance库来获取历史K线数据。需要处理时间范围，比如用户可能用1分钟或5分钟的K线，但这里可能需要用户自己指定。然后，获取到数据后，需要计算各种技术指标。ta-lib的函数需要正确应用，比如OBV需要收盘价和成交量，移动平均可能需要计算OBV的均线。EMA、RSI、MACD这些都比较标准，但要注意参数设置是否正确。ADX和±DI可能需要单独计算，ATR也是。需要确保所有指标都能正确添加到数据集中。 接下来是数据预处理。拿到所有指标后，可能需要做标准化或归一化，因为不同指标的尺度差异大。同时，要处理缺失值，比如某些指标在开始的时候没有值，可能需要填充或删除。然后，构建特征和标签。短线交易通常是分类问题，比如预测涨跌，或者是回归问题，预测价格变化。需要明确标签怎么定义，比如未来几个时间点的涨跌。 然后是模型设计。使用PyTorch搭建神经网络，考虑到时间序列数据，可能用LSTM或Transformer结构。需要确定输入特征的维度，隐藏层大小，输出层结构等。还要确保模型在GPU上运行，所以要有device参数，把模型和数据移到GPU。 训练循环部分，需要设置合适的损失函数和优化器。分类的话用交叉熵，回归用MSE或MAE。还要处理数据的批次训练，可能需要用DataLoader。另外，用户提到程序退出时自动保存模型，所以需要处理信号，比如捕获SIGINT或SIGTERM，然后在信号处理函数中保存模型和优化器状态。同时，程序启动时要检查是否有保存的检查点，继续训练。 另外，数据存储可能需要用HDF5或CSV来保存，避免每次重新下载。但用户可能希望每次运行都获取最新数据，所以需要考虑时间范围，比如每次获取最近的数据，然后合并到已有数据中。 测试部分，可能需要划分训练集和测试集，或者用时间序列的交叉验证。还需要注意不要有未来数据泄露，确保每个训练批次的数据都是历史数据。 还有一个问题是，币安的API可能有速率限制，需要处理异常和重试。同时，实时交易部分用户没有提到，但代码可能只是训练模型，实际交易可能需要另外的脚本。但用户的问题主要是训练模型的代码，所以可能不需要实现交易部分。 代码结构大概分为几个部分：数据获取、指标计算、数据预处理、模型定义、训练循环、信号处理和模型保存。需要逐一实现这些部分。可能需要处理的一些细节包括：ta-lib的安装问题，因为ta-lib在某些系统上安装比较麻烦；GPU是否可用，代码中需要检查；数据的时间戳处理，确保顺序正确；特征和标签的对齐，避免错位。 最后，测试代码是否能正常处理中断信号，保存和加载检查点是否正确，以及模型是否在GPU上训练。可能还需要考虑使用验证集来调整超参数，但用户没有特别提到，所以可能暂时不做。 总结一下，步骤大概是： 1. 安装必要的库，如python-binance, pytorch, ta-lib, pandas等。 2. 编写获取K线数据的函数，处理成DataFrame。 3. 使用ta-lib计算所有需要的指标，添加到DataFrame。 4. 数据清洗，处理缺失值，标准化。 5. 构建数据集，划分特征和标签，创建PyTorch Dataset。 6. 定义模型结构，确保使用GPU。 7. 编写训练循环，包括优化器、损失函数。 8. 实现信号处理，保存模型和优化器状态。 9. 加载检查点，继续训练。 10. 主函数中整合所有步骤。 需要注意的潜在问题包括API密钥的安全性，数据获取的稳定性，指标计算的正确性，以及模型是否过拟合。用户可能需要自己调整模型结构和参数，但代码需要提供一个可工作的框架。</think>以下是一个基于PyTorch实现的加密货币交易模型训练框架，包含您要求的关键功能。请注意这需要根据实际需求调整参数和数据预处理逻辑： ```python import os import signal import numpy as np import pandas as pd import torch import torch.nn as nn from torch.utils.data import Dataset, DataLoader from binance.client import Client import talib as ta # 常量定义 SYMBOL = 'BTCUSDT' TIMEFRAME = Client.KLINE_INTERVAL_15MINUTE BATCH_SIZE = 64 SEQ_LENGTH = 60 CHECKPOINT_PATH = 'model_checkpoint.pth' # 神经网络模型定义 class TradingModel(nn.Module): def __init__(self, input_size, hidden_size=128, num_layers=3): super().__init__() self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True) self.fc = nn.Sequential( nn.Linear(hidden_size, 64), nn.ReLU(), nn.Linear(64, 3), # 输出3个类别：做多、平仓、做空 nn.Softmax(dim=1) ) self.device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') self.to(self.device) def forward(self, x): h0 = torch.zeros(self.lstm.num_layers, x.size(0), self.lstm.hidden_size).to(self.device) c0 = torch.zeros(self.lstm.num_layers, x.size(0), self.lstm.hidden_size).to(self.device) out, _ = self.lstm(x, (h0, c0)) return self.fc(out[:, -1, :]) # 数据处理类 class TradingDataset(Dataset): def __init__(self, data, seq_length=SEQ_LENGTH): self.data = data self.seq_length = seq_length def __len__(self): return len(self.data) - self.seq_length def __getitem__(self, idx): seq = self.data[idx:idx+self.seq_length] label = self.create_label(seq) return torch.FloatTensor(seq[:-1]), torch.LongTensor([label]) def create_label(self, seq): # 根据价格变化创建标签（需根据策略调整） price_change = (seq[-1, 0] - seq[0, 0]) / seq[0, 0] if price_change > 0.005: return 0 # 做多 elif price_change < -0.005: return 2 # 做空 return 1 # 平仓 # 信号处理函数 def save_checkpoint(signum, frame): print("\nSaving model checkpoint...") torch.save({ 'model_state_dict': model.state_dict(), 'optimizer_state_dict': optimizer.state_dict(), 'epoch': epoch }, CHECKPOINT_PATH) exit(0) # 获取历史数据 def get_historical_data(client, symbol, timeframe, limit=1000): klines = client.get_klines(symbol=symbol, interval=timeframe, limit=limit) df = pd.DataFrame(klines, columns=['timestamp', 'open', 'high', 'low', 'close', 'volume', 'close_time', 'quote_asset_volume', 'trades', 'taker_buy_base', 'taker_buy_quote', 'ignore']) df = df.astype({'open':float, 'high':float, 'low':float, 'close':float, 'volume':float}) return df # 特征工程 def calculate_features(df): # 计算技术指标 close = df['close'].values high = df['high'].values low = df['low'].values volume = df['volume'].values # OBV相关 df['obv'] = ta.OBV(close, volume) df['obv_ma'] = ta.MA(df['obv'], timeperiod=20) # 趋势指标 df['ema'] = ta.EMA(close, timeperiod=20) df['rsi'] = ta.RSI(close, timeperiod=14) df['macd'], df['macdsignal'], df['macdhist'] = ta.MACD(close) # 波动率指标 df['atr'] = ta.ATR(high, low, close, timeperiod=14) # 方向指标 df['adx'] = ta.ADX(high, low, close, timeperiod=14) df['plus_di'] = ta.PLUS_DI(high, low, close, timeperiod=14) df['minus_di'] = ta.MINUS_DI(high, low, close, timeperiod=14) # 数据清洗 df = df.dropna() return df # 主程序 if __name__ == "__main__": # 初始化币安客户端 client = Client(api_key='YOUR_API_KEY', api_secret='YOUR_API_SECRET') # 获取并处理数据 df = get_historical_data(client, SYMBOL, TIMEFRAME) df = calculate_features(df) # 数据标准化 features = df[['close', 'obv', 'obv_ma', 'ema', 'rsi', 'macd', 'atr', 'adx', 'plus_di', 'minus_di']].values mean = features.mean(axis=0) std = features.std(axis=0) features = (features - mean) / std # 创建数据集 dataset = TradingDataset(features) dataloader = DataLoader(dataset, batch_size=BATCH_SIZE, shuffle=True) # 初始化模型 model = TradingModel(input_size=features.shape[1]) optimizer = torch.optim.Adam(model.parameters(), lr=0.001) criterion = nn.CrossEntropyLoss() # 加载检查点 start_epoch = 0 if os.path.exists(CHECKPOINT_PATH): checkpoint = torch.load(CHECKPOINT_PATH) model.load_state_dict(checkpoint['model_state_dict']) optimizer.load_state_dict(checkpoint['optimizer_state_dict']) start_epoch = checkpoint['epoch'] print(f"Resuming training from epoch {start_epoch}") # 注册信号处理 signal.signal(signal.SIGINT, save_checkpoint) # 训练循环 for epoch in range(start_epoch, 100): for batch, (inputs, labels) in enumerate(dataloader): inputs = inputs.to(model.device) labels = labels.to(model.device) outputs = model(inputs) loss = criterion(outputs, labels.squeeze()) optimizer.zero_grad() loss.backward() optimizer.step() if batch % 10 == 0: print(f'Epoch: {epoch}, Batch: {batch}, Loss: {loss.item():.4f}') ``` ### 使用说明： 1. **依赖安装**： ```bash pip install python- 替换`YOUR_API_KEY`和`YOUR_API_SECRET`为币安API凭证 - 调整技术指标参数 - 修改标签生成逻辑（`create_label`方法） - 优化模型结构和超参数 3. **功能特点**： - GPU加速训练 - 支持训练过程断点续训 - 实际交易需要添加风险控制模块 - 需要根据实际数据调整标准化参数 - 建议在Linux服务器上使用nohup运行 - 注意API调用频率限制 - 需要验证指标计算的正确性 建议在实际使用前进行以下优化： 1. 添加更复杂的特征工程 2. 实现更科学的回测机制 3. 添加模型验证模块 4. 实现动态数据更新 5. 添加交易手续费计算 6. 优化内存管理（特别是处理大数据时）