首页李沐学深度学习笔记序列模型

李沐学深度学习笔记序列模型

时间: 2025-01-08 14:49:04 浏览: 44

### 关于李沐深度学习笔记中的序列模型 #### 数据生成与预处理为了研究序列模型，在实验中使用正弦函数加上一定量的可加性噪声来创建具有时间特性的数据集[^2]。这些数据的时间跨度设定为从1到1000个时间单位。 #### 输入输出关系构建对于每一个时间点$t$，目标变量$y_t$被设置成等于当前时刻的特征值$x_t$；而输入向量$x_t$则由前$\tau$个时间步的数据组成，即\[x_t=[x_{t-\tau},...,x_{t-1}]\]。 #### 模型结构设计采用了一个相对基础的设计——一个多层感知器(MLP)，它包含了两层全连接神经网络以及中间使用的ReLU作为激活函数，并利用均方误差(MSE)作为损失函数来进行优化过程。 ```python import torch.nn as nn class SimpleRNN(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(SimpleRNN, self).__init__() self.hidden_layer_1 = nn.Linear(input_size * tau, hidden_size) self.relu_activation = nn.ReLU() self.output_layer = nn.Linear(hidden_size, output_size) def forward(self, x): out = self.hidden_layer_1(x.view(-1)) out = self.relu_activation(out) out = self.output_layer(out) return out ``` #### 训练流程概述经过一系列迭代之后，该简单架构能够学会捕捉给定序列内部存在的模式并据此做出合理预测。 #### 预测性能评估除了单步向前看之外，还探讨了如何实现更长远范围内的多步乃至K步外推能力测试。

阅读全文