【学习日志】【TCN】时间序列卷积神经网络（1）

最新推荐文章于 2025-05-11 12:57:30 发布
最新推荐文章于 2025-05-11 12:57:30 发布
阅读量5.4k 收藏 52
点赞数 8
CC 4.0 BY-SA版权
分类专栏： 机器学习和深度学习 文章标签： cnn 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hotpants/article/details/129624190
文章介绍了TemporalConvolutionalNetwork（TCN），一种适用于序列数据的神经网络结构。TCN基于卷积运算，特别是因果卷积和空洞卷积，以及残差连接，能够在保持时序信息的同时处理长序列。在生物信号处理的案例中，TCN展示出良好的预测性能，随着训练的进行，损失逐渐降低，表明模型能够有效学习并进行预测。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. ask bing（Temporal Convolutional Network）

问：“我对CNN、RNN、TCN等神经网络没有任何基础，你能直观地给我讲一下TCN的结构、输入输出和原理吗？”
bing对TCN的解释如下：

TCN是一种用于处理序列数据的神经网络，它可以看作是一种特殊的CNN。CNN是一种用于处理图像数据的神经网络，它可以看作是一种特殊的卷积运算。卷积运算就是将一个小的滑动窗口（称为卷积核或过滤器）在一个大的数据（称为输入或特征图）上滑动，并对每个窗口内的数据进行加权求和，得到一个新的数据（称为输出或激活图）。这样就可以提取出输入中的局部特征，并减少参数数量。
TCN与CNN不同之处在于，它只在序列数据的时间维度上进行卷积运算，而不是在空间维度上。这样就可以保持序列数据的时序信息，并且使得输出只依赖于当前及之前的输入，而不会受到未来输入的影响。这种卷积运算称为因果卷积。
TCN还使用了空洞卷积，这是一种在卷积核中插入空白位置（称为膨胀因子）的技术，使得卷积核可以覆盖更长范围的输入，而不增加参数数量。这样就可以增加感受野，即输出能够感知到输入中多远距离的信息。
TCN还使用了残差连接，这是一种将每层输入直接与输出相加（称为跳跃连接）的技术，使得网络可以更容易地学习恒等映射，并防止梯度消失或爆炸。这样就可以构建更深层次的网络，并提高性能。
TCN通常由多个重复模块组成，每个模块包含两个因果空洞卷积层和一个残差连接。每个模块都有自己独立的膨胀因子和过滤器数量。最后一个模块后面还有一个全连接层或者softmax层来输出预测结果。
TCN接收一个多维数组作为输入，其中第一维表示序列长度（即时间步数），第二维表示特征数量（即信号通道数）。例如，在生物信号处理中，如果我们有1000个时间步长和8个信号通道，则我们可以将其表示为一个1000×8 的数组作为TCN 的输入。
TCN输出一个多维数组作为预测结果，其中第一维表示序列长度（即时间步数），第二维表示类别数量（即预测目标数）。例如，在生物信号分类中，如果我们有1000个时间步长和4个类别，则我们可以将其表示为一个1000×4 的数组作为TCN 的输出。

总结一下：

  1. TCN是在CNN基础上衍生的一种神经网络；CNN主要用于处理数字图像，本质是一种特殊的卷积（滤波）运算，且是在空间维度进行的；而FCN使用的是因果卷积，即不是在空间维度进行卷积运算，而是对序列（sequence）数据在时间维度进行卷积运算。
  2. TCN在算法优化上采用了：膨胀因果卷积、空洞卷积（通过在卷积核中插入空白位置/膨胀因子，使卷积核覆盖更长范围的输入而不增加参数数量，实现增加感受野）、残差连接（可以构建更深层次的网络、提高性能）。
  3. TCN的结构上由多个重复模块组成，每个模块包含两个因果空洞卷积层+一个残差连接，每个模块的膨胀因子、过滤器数量都不一样；最后一个模块后再加一个全连接层/softmax层来输出预测结果。
  4. TCN输入输出数据：输入数据是一个多维数组，比如处理生物信号的话，第一维度表示信号序列长度/时间步数（取决于采样频率），第二维度表示特征数量/信号通道数（取决于采集了几个通道和特征处理的方法）；输出数据也是多维数组，第一维度还是信号序列长度/时间步数，第二维度表示类别数量/预测目标数（比如根据多个通道的生物信号预测关节角度和时间的关系）。

2. 边跑边学

2.1 先跑起来

源码，来源文献
源码中包括好几个案例：

The Adding Problem with various T (we evaluated on T=200, 400, 600)
Copying Memory Task with various T (we evaluated on T=500, 1000, 2000)
Sequential MNIST digit classification
Permuted Sequential MNIST (based on Seq. MNIST, but more challenging)
JSB Chorales polyphonic music
Nottingham polyphonic music
PennTreebank [SMALL] word-level language modeling (LM)
Wikitext-103 [LARGE] word-level LM
LAMBADA [LARGE] word-level LM and textual understanding
PennTreebank [MEDIUM] char-level LM
text8 [LARGE] char-level LM

我这里选择了：JSB Chorales polyphonic music和Nottingham polyphonic music，对应poly_music文件夹，因为处理预测声波数据看起来和我要应用的处理生物信号数据比较相近。当然我们可以根据自己的需求选择其他的案例跑。
README中强调了，对应每个案例跑模型时只需要运行[TASK_NAME]_test.py，比如打开music_test.py，先让他运行着。

2.2 学习原理

2.2.1 TCN网络结构直观了解（参考：机器学习进阶之 时域/时间卷积网络 TCN 概念+由来+原理+代码实现）

这部分内容对应tcn.py中的class Chomp1d、class TemporalBlock。
在这里插入图片描述
TCN网络结构左边一大串主要包括四个部分：
膨胀因果卷积（Dilated Causal Conv）：膨胀就是说卷积时的输入存在间隔采样；因果指每层某时刻的数据只依赖于之前层当前时刻及之前时刻的数据，与未来时刻的数据无关；卷积就是CNN的卷积（卷积核在数据上进行的一种滑动运算的操作）。
权重归一化（WeightNorm）：通过重写深度网络的权重来进行加速。代码tcn.py中从torch.nn.utils中调用weight_norm使用。
激活函数（ReLU）：挺有名的，从torch.nn中调用。
Dropout：指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。意义是防止过拟合，提高模型的运算速度。
TCN网络结构右边是残差连接：
残差连接：
1*1的卷积块儿，作者说：不仅可以使网络拥有跨层传递信息的功能，而且可以保证输入输出的一致性。

2.2.2 TCN结构关系详解（参考：时间卷积网络(TCN)：结构+pytorch代码，有对代码非常详细的标注）

TCN与LSTM的区别：LSTM是通过引入卷积操作使其能够处理图像信息，卷积只对一个时刻的输入图像进行操作；而TCN是利用卷积进行跨时间步提取特征。
TCN的实现——1-D FCN结构；
TCN的实现——因果卷积、膨胀因果卷积（对比膨胀非因果卷积）、残差块结构（参考ResNet，使TCN结构更具有泛化能力）
在这里插入图片描述

2.3测试结果

Namespace(clip=0.2, cuda=True, data='Nott', dropout=0.25, epochs=100, ksize=5, levels=4, log_interval=100, lr=0.001, nhid=150, optim='Adam', seed=1111)
loading Nott data...
Epoch  1 | lr 0.00100 | loss 24.20483
Epoch  1 | lr 0.00100 | loss 12.54757
Epoch  1 | lr 0.00100 | loss 10.34167
Epoch  1 | lr 0.00100 | loss 7.46519
Epoch  1 | lr 0.00100 | loss 6.22717
Epoch  1 | lr 0.00100 | loss 5.83443
Validation loss: 5.29395
Test loss: 5.40475
Saved model!

Epoch  2 | lr 0.00100 | loss 5.49445
Epoch  2 | lr 0.00100 | loss 5.08582
Epoch  2 | lr 0.00100 | loss 5.28078
Epoch  2 | lr 0.00100 | loss 5.21557
Epoch  2 | lr 0.00100 | loss 5.09972
Epoch  2 | lr 0.00100 | loss 4.87487
Validation loss: 4.88671
Test loss: 4.91229
Saved model!

Epoch  3 | lr 0.00100 | loss 4.55071
Epoch  3 | lr 0.00100 | loss 4.64663
Epoch  3 | lr 0.00100 | loss 4.62720
Epoch  3 | lr 0.00100 | loss 4.40581
Epoch  3 | lr 0.00100 | loss 4.54712
Epoch  3 | lr 0.00100 | loss 4.48989
Validation loss: 4.23855
Test loss: 4.27290
Saved model!

Epoch  4 | lr 0.00100 | loss 4.15868
Epoch  4 | lr 0.00100 | loss 4.19424
Epoch  4 | lr 0.00100 | loss 3.93361
Epoch  4 | lr 0.00100 | loss 3.87698
Epoch  4 | lr 0.00100 | loss 4.26776
Epoch  4 | lr 0.00100 | loss 4.32880
Validation loss: 4.00616
Test loss: 4.04496
Saved model!

Epoch  5 | lr 0.00100 | loss 4.02574
Epoch  5 | lr 0.00100 | loss 4.59837
Epoch  5 | lr 0.00100 | loss 4.17430
Epoch  5 | lr 0.00100 | loss 3.96050
Epoch  5 | lr 0.00100 | loss 4.04181
Epoch  5 | lr 0.00100 | loss 3.97466
Validation loss: 3.78924
Test loss: 3.84233
Saved model!

Epoch  6 | lr 0.00100 | loss 3.77337
Epoch  6 | lr 0.00100 | loss 3.78759
Epoch  6 | lr 0.00100 | loss 4.05782
Epoch  6 | lr 0.00100 | loss 3.61807
Epoch  6 | lr 0.00100 | loss 3.66880
Epoch  6 | lr 0.00100 | loss 3.68237
Validation loss: 3.69415
Test loss: 3.71941
Saved model!

Epoch  7 | lr 0.00100 | loss 3.71184
Epoch  7 | lr 0.00100 | loss 3.65575
Epoch  7 | lr 0.00100 | loss 3.50422
Epoch  7 | lr 0.00100 | loss 3.69709
Epoch  7 | lr 0.00100 | loss 3.39189
Epoch  7 | lr 0.00100 | loss 3.60912
Validation loss: 3.50421
Test loss: 3.52113
Saved model!

Epoch  8 | lr 0.00100 | loss 3.39342
Epoch  8 | lr 0.00100 | loss 3.45223
Epoch  8 | lr 0.00100 | loss 3.47272
Epoch  8 | lr 0.00100 | loss 3.47585
Epoch  8 | lr 0.00100 | loss 3.88333
Epoch  8 | lr 0.00100 | loss 3.51368
Validation loss: 3.45557
Test loss: 3.46655
Saved model!

Epoch  9 | lr 0.00100 | loss 3.38787
Epoch  9 | lr 0.00100 | loss 3.49427
Epoch  9 | lr 0.00100 | loss 3.42003
Epoch  9 | lr 0.00100 | loss 3.45465
Epoch  9 | lr 0.00100 | loss 3.44894
Epoch  9 | lr 0.00100 | loss 3.35138
Validation loss: 3.39177
Test loss: 3.39885
Saved model!

Epoch 10 | lr 0.00100 | loss 3.33982
Epoch 10 | lr 0.00100 | loss 3.33333
Epoch 10 | lr 0.00100 | loss 3.27813
Epoch 10 | lr 0.00100 | loss 3.39872
Epoch 10 | lr 0.00100 | loss 3.31045
Epoch 10 | lr 0.00100 | loss 3.47179
Validation loss: 3.35350
Test loss: 3.35821
Saved model!

Epoch 11 | lr 0.00100 | loss 3.24939
Epoch 11 | lr 0.00100 | loss 3.28225
Epoch 11 | lr 0.00100 | loss 3.31755
Epoch 11 | lr 0.00100 | loss 3.31538
Epoch 11 | lr 0.00100 | loss 3.34717
Epoch 11 | lr 0.00100 | loss 3.47794
Validation loss: 3.27830
Test loss: 3.28621
Saved model!

Epoch 12 | lr 0.00100 | loss 3.24459
Epoch 12 | lr 0.00100 | loss 3.26871
Epoch 12 | lr 0.00100 | loss 2.83995
Epoch 12 | lr 0.00100 | loss 3.24781
Epoch 12 | lr 0.00100 | loss 3.25777
Epoch 12 | lr 0.00100 | loss 3.09675
Validation loss: 3.25199
Test loss: 3.25987
Saved model!

Epoch 13 | lr 0.00100 | loss 3.18712
Epoch 13 | lr 0.00100 | loss 3.15744
Epoch 13 | lr 0.00100 | loss 3.08412
Epoch 13 | lr 0.00100 | loss 2.98677
Epoch 13 | lr 0.00100 | loss 3.23000
Epoch 13 | lr 0.00100 | loss 3.12484
Validation loss: 3.22609
Test loss: 3.22669
Saved model!

Epoch 14 | lr 0.00100 | loss 2.86843
Epoch 14 | lr 0.00100 | loss 3.05798
Epoch 14 | lr 0.00100 | loss 3.11845
Epoch 14 | lr 0.00100 | loss 3.14372
Epoch 14 | lr 0.00100 | loss 3.19728
Epoch 14 | lr 0.00100 | loss 3.12642
Validation loss: 3.20776
Test loss: 3.20785
Saved model!

Epoch 15 | lr 0.00100 | loss 3.09529
Epoch 15 | lr 0.00100 | loss 3.05085
Epoch 15 | lr 0.00100 | loss 3.12605
Epoch 15 | lr 0.00100 | loss 3.14538
Epoch 15 | lr 0.00100 | loss 3.09047
Epoch 15 | lr 0.00100 | loss 3.14403
Validation loss: 3.19157
Test loss: 3.19761
Saved model!

Epoch 16 | lr 0.00100 | loss 3.08435
Epoch 16 | lr 0.00100 | loss 3.06446
Epoch 16 | lr 0.00100 | loss 3.07964
Epoch 16 | lr 0.00100 | loss 2.92217
Epoch
最低0.47元/天 解锁文章
时间卷积网络（TCN）：概述及与CNN和RNN的比较
qlkaicx的博客
05-30 6590
在深度学习领域，不同的网络架构适用于不同类型的数据和任务。时间卷积网络（Temporal Convolutional Networks, TCN）是处理时间序列数据的一种有效方法，它结合了传统卷积神经网络（CNN）的特点和适应序列数据的能力。本篇博客将深入探讨TCN及其与CNN和循环神经网络（RNN）的区别、联系以及各自的优缺点。TCN是一种特别为处理时间序列数据设计的网络结构，它通过使用卷积层而非循环层来处理序列依赖关系。因果卷积：确保在预测当前时刻的值时只使用当前时刻及之前的数据，保证了模型的因果性。
时间卷积网络(TCN)：序列建模的强大工具(附Pytorch网络模型代码)
m0_59257547的博客
07-19 8835
时间卷积网络（TCN）是一种专门用于处理序列数据的深度学习模型。实验证明，对于某些任务下的长序LSTM和GRU等RNN架构，因此如果大家有多输入单输出(MISO)或多输入多输出(MIMO)序列建模任务，可以尝试使用TCN来作为创新点。
【神经网络与深度学习】时间卷积网络（TCN）
qq_51467258的博客
03-04 7677
时间卷积网络（TCN）的总体概述，膨胀卷积以及感受野等相关名词解释
时空图神经网络5——TCN
最新发布
m0_51501260的博客
05-11 1190
在 TCN 出现之前，深度学习背景下的序列建模主题主要与递归神经网络架构有关，如RNN、LSTM、GRU。在很多任务中发现，卷积网络可以取得比 RNNs 更好的性能，同时避免了递归模型的常见缺陷，如梯度爆炸/消失问题或缺乏内存保留。
TCN 时序卷积网络 （temporal convolutional network）【因果卷积、空洞卷积】
IN year
01-10 8642
因果卷积保证了在任何时间点t，输出只依赖于时间点t及其之前的输入，而不依赖于t之后的输入。具体地说，假设我们有一个一维的输入序列和一个大小为k的卷积核，为了实现因果卷积，我们可以在序列的开始处填充k-1个零，然后进行标准的卷积操作。最初的提出是为了解决图像分割的问题，常见的图像分割算法通常使用池化层和卷 积层来增加感受野，同时也缩小了特征图尺寸，然后利用上采样还原图像尺寸，特征图缩小在放大的过程造成了精度上的损失，因此需要一种操作可以在增加感受野的同时保持特征图的尺寸不变，从而代替下采样和上采样操作。
【时间序列】时间卷积神经网络
AI蜗牛车
05-19 1万+
在深度学习的知识宝库中，除了前面文章中介绍的RNN，还有一个重要的分支：卷积神经网络（CNN），其广泛应用于视觉，视频等二维或者多维的图像领域。卷积网络具有深度，可并行等多种特性，这种技术...
MATLAB实现BiTCN双向时间卷积神经网络的时间序列预测
参考资料请自行甄别 资源下载请先试读页面内容 观看内容概要 确认具体需求后再下载 亦或联系博主本人 不提供代码调试服务 如有疑问不解之处 请及时联系博主本人 妥善解决 加油 谢谢 你的鼓励是我前行的动力 谢谢支持 加油 谢谢
01-21 693
传统她时间序列预测方法，包括自回归（TFST）、移动平均（MTFS）、自回归积分移动平均（TFSTIMTFS）和指数平滑等统计模型，依赖她假设时间序列她线她且平稳她。无论她金融市场她波动预测，还她智能交通系统她流量优化，甚至她能源需求她实时调控，都离不开精准她时间序列预测。传统她时间序列预测方法大多基她统计学理论，虽然这些方法在简单她、线她化她序列数据上表她良好，但在面对非线她、非平稳和高维复杂数据时却力不从心。此外，由她TNN她顺序计算她，无法进行并行运算，这进一步限制了其在大规模数据集上她应用。
MATLAB实现TCN时间卷积神经网络多变量时间序列预测
参考资料请自行甄别 资源下载请先试读页面内容 观看内容概要 确认具体需求后再下载 亦或联系博主本人 不提供代码调试服务 如有疑问不解之处 请及时联系博主本人 妥善解决 加油 谢谢 你的鼓励是我前行的动力 谢谢支持 加油 谢谢
12-17 969
在过去的几十年里，随着数据科学的发展，时间序列分析成为了各行各业中不可或缺的工具。时间序列数据广泛应用于金融市场预测、气象预报、能源需求预测、医疗诊断等领域，且数据的非线性、长时间依赖性和多变量特征使得传统的预测方法难以胜任。因此，深度学习方法被广泛应用于此类任务中，尤其是卷积神经网络（CNN）和循环神经网络（TNN）。其中，时间卷积网络（TCN）作为一种改进型的卷积神经网络，能够通过其“因果卷积”和“扩张卷积”设计有效地捕捉时间序列的长期依赖性，成为时序数据分析中的一种新兴方法。
MATLAB实现TCN-selfAttention自注意力机制结合时间卷积神经网络多变量时间序列预测
参考资料请自行甄别 资源下载请先试读页面内容 观看内容概要 确认具体需求后再下载 亦或联系博主本人 不提供代码调试服务 如有疑问不解之处 请及时联系博主本人 妥善解决 加油 谢谢 你的鼓励是我前行的动力 谢谢支持 加油 谢谢
12-15 1106
时间序列预测是数据科学和机器学习领域中的重要任务，广泛应用于金融市场预测、能源消耗、气象预测、交通流量预测等领域。时间序列数据具有强烈的时间依赖性，能够反映出数据随着时间的变化而产生的趋势和季节性特征。在传统的时间序列预测方法中，像SEATIMSEA、移动平均等方法通常只能有效处理线性关系，且很难捕捉复杂的非线性关系以及多维度数据之间的交互。近年来，深度学习特别是卷积神经网络（CNN）和长短期记忆网络（LTTM）被广泛应用于时间序列预测中，特别是在面对复杂的非线性关系时。
Matlab实现TCN-RVM时间卷积神经网络结合相关向量机多变量时间序列预测
参考资料请自行甄别 资源下载请先试读页面内容 观看内容概要 确认具体需求后再下载 亦或联系博主本人 不提供代码调试服务 如有疑问不解之处 请及时联系博主本人 妥善解决 加油 谢谢 你的鼓励是我前行的动力 谢谢支持 加油 谢谢
01-04 1152
通过利用TCN在建模时间依赖关系方面的优势以及TVM在高维数据建模中的优势，本模型能够在多变量时间序列预测任务中提供更精确和稳定的预测结果。此模型不仅具备较强的泛化能力，还能够通过灵活的超参数调节，适应不同的时间序列预测场景，为工业、金融、气象等领域的决策提供有力支持。传统的时间序列预测方法，如自回归移动平均（SEATMSEA）模型、向量自回归（VSEAT）模型等，尽管在一些领域取得了一定的成功，但面对更为复杂的非线性、多变量时间序列数据时，这些方法的预测性能往往受限。
TCN（Temporal Convolutional Network）时间卷积网络
m0_73941743的博客
02-21 1033
TCN（Temporal Convolutional Network）是一种用于处理序列数据的深度学习模型，最初由 Bai， Kolter 和 Kurtzfarb 在其论文中提出，旨在解决时间序列预测、序列标注等问题。与传统的循环神经网络（RNN）和长短期记忆网络（LSTM）不同，TCN使用卷积神经网络（CNN）来处理时间序列数据。
卷积神经网络-时序卷积
weixin_38498942的博客
06-18 8842
一、简介 时序问题的建模大家一般习惯性的采用循环神经网络（RNN）来建模，这是因为RNN天生的循环自回归的结构是对时间序列的很好的表示。传统的卷积神经网络一般认为不太适合时序问题的建模，这主要由于其卷积核大小的限制，不能很好的抓取长时的依赖信息。 但是也有很多的工作显示，特定的卷积神经网络结构也可以达到很好的效果，比如Goolgle提出的用来做语音合成的wavenet，Facebook提出的用来做翻译的卷积神经网络。这就带来一个问题，用卷积来做神经网络到底是只适用于特定的领域还是一种普适的模型？ 本文就带着
TCN（Temporal Convolutional Network，时间卷积网络）
热门推荐
weixin_39910711的博客
05-10 10万+
1 前言 实验表明，RNN 在几乎所有的序列问题上都有良好表现，包括语音/文本识别、机器翻译、手写体识别、序列数据分析（预测）等。 在实际应用中，RNN 在内部设计上存在一个严重的问题：由于网络一次只能处理一个时间步长，后一步必须等前一步处理完才能进行运算。这意味着 RNN 不能像 CNN 那样进行大规模并行处理，特别是在 RNN/LSTM 对文本进行双向处理时。这也意味着 RNN 极度地计算密集，因为在整个任务运行完成之前，必须保存所有的中间结果。 ...
时间序列预测之卷积神经网络CNN
比尔凡凡的博客
11-03 4212
使用一维卷积神经网络预测时间序列
神经网络7-时间卷积神经网络
qq_41914036的博客
03-04 4665
时间卷积神经网络（Temporal Convolutional Network，TCN）是一种具有时序特性的卷积神经网络，由Lea等人于2016年首次提出，起初应用于视频里动作的分割，后逐渐拓展到了一般性时序领域。TCN将一维全卷积网络、因果卷积和膨胀卷积结合在一起，具有稳定性更高，求解速度更快等优点。
时间序列预测——时序卷积网络（TCN）
行者无疆的博客
04-11 3万+
  本文展示了使用时序卷积网络（TCN）进行时间序列预测的全过程，包含详细的注释。整个过程主要包括：数据导入、数据清洗、结构转化、建立TCN模型、训练模型（包括动态调整学习率和earlystopping的设置）、预测、结果展示、误差评估等完整的时间序列预测流程。   本文使用的tcn库在本人上传的资源中，链接为tcn.py   本文使用的数据集在本人上传的资源中，链接为mock_kaggle.csv import pandas as pd import numpy as np import math fro
时间序列神经网络建模,时间序列卷积神经网络
m0_54846070的博客
08-10 2443
将历史数据作为样本训练，最后用一组对应的样本作为输入，输出自然是未来数据。神经网络预测就是这么做的。对商品价格变动的分析，可归结为对影响市场供求关系的诸多因素的综合分析。传统的统计经济学方法因其固有的局限性，难以对价格变动做出科学的预测，而人工神经网络容易处理不完整的、模糊不确定或规律性不明显的数据，所以用人工神经网络进行价格预测是有着传统方法无法相比的优势。从市场价格的确定机制出发，依据影响商品价格的家庭户数、人均可支配收入、贷款利率、城市化水平等复杂、多变的因素，建立较为准确可靠的模型。...
时域卷积网络（Temporal Convolutional Network，TCN）
z2014z的博客
04-13 1万+
TCN基本结构 时域卷积网络（Temporal Convolutional Network，TCN）由Shaojie Bai et al.在2018年提出的，可以用于时序数据处理，详细内容请看论文。 1.因果卷积（Causal Convolution） [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-28ptyiiH-1618306487421)(https://www.programmersought.com/images/924/23daba19db5473ff38fb97
【时序预测05】-TCN （Temporal Convolutional Networks）
wangshangshang09的博客
04-15 1850
时间卷积网络（Temporal Convolutional Network，TCN）是一种通用的卷积架构，专为序列建模任务设计，旨在替代传统的循环神经网络（RNN）。TCN通过融合现代卷积网络中的最佳实践，具备更强的并行计算能力和更稳定的梯度传播，在音频合成、语言建模和机器翻译等任务中表现优异。相比递归模型，TCN不仅能缓解梯度消失或爆炸等问题，还在多个任务中展现出更优的性能，因而被视为序列建模的重要候选架构。
时序图卷积建模
03-19
### 使用图卷积网络对时序数据进行建模的方法 #### 背景介绍 时序数据通常具有复杂的时空特性，既包含了时间维度上的变化规律，也涉及空间中的节点交互模式。为了捕捉这些复杂的关系，可以利用图神经网络（Graph Neural Network, GNN），特别是图卷积网络（Graph Convolutional Network, GCN）。GCN能够有效处理带有拓扑结构的数据，在许多实际场景中表现出色[^3]。 --- #### 图卷积与时序数据的结合方式 对于时序数据而言，其不仅存在时间序列特征，还可能嵌入到某种图形结构之中。例如交通流量预测问题中，道路网可被抽象成一张图；每条道路上的车流情况随着时间而改变，则构成了带有时序特性的图信号。因此，可以通过以下方法将图卷积应用于时序数据分析： 1. **引入时空图模型** 构造一个时空图 \(G=(V,E)\)，其中顶点集合\(V\)代表不同实体（如传感器位置或用户节点），边集合\(E\)描述它们之间的关联强度或者距离等因素的影响程度。随后定义每个时刻t下的状态向量\(\mathbf{x}_i(t)\in \mathbb{R}^d\)作为第i个节点的状态表示形式。 2. **融合图卷积操作** 利用图卷积层提取局部邻域内的空间依赖关系。具体来说，假设当前输入为矩阵X=[x₁,x₂,…,xₙ]ᵀ∈ℝⁿˣᵈ以及对应的拉普拉斯算子L̂=D⁻½LD⁻½ (标准化后的版本)，那么一次标准图卷积运算可以写成如下表达式： \[ H^{(l+1)}=\sigma (\tilde L H^{(l)} W^{(l)}) \] 这里H⁽ˡ⁾表示第l层隐藏单元激活值组成的n×f⁽ˡ⁾维张量；W⁽ˡ⁾是待学习权重参数；σ是非线性变换函数如ReLU()等。 3. **扩展至多步预测框架下** 当前很多研究工作都致力于开发端到端训练机制来完成对未来多个时间段内目标变量估计的任务。这类架构往往由两部分组成：一是负责编码历史观测值得模块，二是解码器用于生成未来趋势曲线。前者常采用堆叠若干层GRU/LSTM/Bi-LSTM等形式构成递归处理器件组；后者则倾向于简单全连接映射或者其他轻量化策略实现最终输出转换过程[^5]。 4. **加入注意力机制提升性能表现** 如果单纯依靠固定窗口大小的传统做法可能会忽略掉某些重要但稀疏分布的信息源贡献度差异现象的话，那么适当融入attention component将会极大地改善整体效果。通过计算query-key-value三者间相似性得分并加权求和得到新的context representation之后再反馈给后续阶段继续加工处理即可达成目的。 --- #### 技术细节说明 以下是几个关键技术要点及其对应解决思路概述： - **捕获长期依赖性** 尽管CNN本身并不擅长应对长时间跨度范围内的上下文联系挖掘挑战，然而借助特殊设计技巧比如因果卷积(causal convolutions)与扩张率逐渐增大的空洞卷积(dilated convolutions)[^2]组合运用却能很好地弥补这一缺陷。如此一来便能够在保留高效并行计算优势的同时兼顾较远距离之外的相关因素考量需求了[^4]。 - **优化损失函数设置** 鉴于真实世界应用环境中可能存在噪声干扰较大等问题影响评估准确性的情况发生概率较高，所以在制定评价指标体系过程中应当充分考虑到鲁棒性和泛化能力两个方面的要求平衡好二者之间相互制约关系至关重要。常用手段包括但不限于MAPE(mean absolute percentage error), SMAPE(symmetrical mean absolute percentage error)等等多种形式的选择依据具体情况灵活调整适用最佳方案。 - **实验验证环节安排建议** 可选取公开可用的标准测试集MOOC课程注册记录、Reddit讨论区互动行为统计资料库或者是电力供应系统异常报警日志文件等内容资源来进行对比分析试验活动开展。同时注意控制其他无关变量保持一致条件下单独考察所提改进措施有效性水平高低差别显著与否等方面内容探讨深入下去有助于进一步完善整个理论基础建设进程推进速度加快步伐迈进更高层次境界去探索未知领域奥秘所在之处发掘更多潜在价值宝藏等待我们共同发现分享成果喜悦时刻来临之际共创辉煌明天美好愿景早日成为现实可能性极大提高几率增加不少哦😊！ --- ```python import torch from torch_geometric.nn import GCNConv class ST_GCN(torch.nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(ST_GCN, self).__init__() # Spatial Graph Convolution Layers self.gcn1 = GCNConv(input_dim, hidden_dim) self.gcn2 = GCNConv(hidden_dim, output_dim) # Temporal Convolution Layers with Dilated Convolutions self.tcn1 = torch.nn.Conv1d(in_channels=output_dim, out_channels=hidden_dim, kernel_size=2, dilation=1) self.tcn2 = torch.nn.Conv1d(in_channels=hidden_dim, out_channels=output_dim, kernel_size=2, dilation=2) def forward(self, data): x, edge_index = data.x, data.edge_index # Apply spatial graph convolution x = torch.relu(self.gcn1(x, edge_index)) x = torch.relu(self.gcn2(x, edge_index)) # Reshape for temporal processing and apply dilated convolutions x = x.permute(0, 2, 1).contiguous() x = torch.relu(self.tcn1(x)) x = torch.relu(self.tcn2(x)) return x.permute(0, 2, 1).contiguous() # Example usage of the model definition above. model = ST_GCN(input_dim=64, hidden_dim=128, output_dim=32) print(model) ``` --- #### 结论总结 综上所述，针对具备明显时空属性特点的时间序列型态对象实施精确高效的智能化预测任务执行流程当中，合理选用恰当类型的算法工具箱组件搭配起来协同作业显得尤为重要不可或缺。尤其是当面临高维度大规模复杂环境下运作状况监测预警场合之时更是如此这般强调突出重点意义非凡重大深远影响广泛持久绵延不绝啊🎉! ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值