时间序列再创辉煌!结合对比学习暴力涨点!

2025深度学习发论文&模型涨点之——对比学习+时间序列

对比学习通过将相似的数据点拉近、不相似的数据点推远的方式,学习数据的内在结构和特征表示,而时间序列数据则具有丰富的时序依赖性和动态特性。将两者结合,可以更好地捕捉时间序列数据中的复杂模式和长期依赖关系,从而提高模型在时间序列预测、分类和异常检测等任务中的性能。

我整理了一些对比学习+时间序列【论文+代码】合集

论文精选

论文1:

DCdetector: Dual Attention Contrastive Representation Learning for Time Series Anomaly Detection

DCdetector:双注意力对比表示学习用于时间序列异常检测

方法

      双注意力对比结构:提出了一种双注意力对比学习结构,通过创建不同视图的时间序列表示来放大正常点和异常点之间的差异。

      多尺度设计:引入多尺度设计,减少信息损失,同时通过通道独立性设计高效处理多变量时间序列。

      纯对比损失:采用纯对比损失函数,避免了重建损失带来的干扰,提高了模型的鲁棒性。

      实例归一化:对输入时间序列进行实例归一化,减少全局信息的影响,提高训练的稳定性。

      图片

      创新点

      表示差异放大:通过双注意力对比结构,显著放大了正常点和异常点之间的表示差异,从而提高了异常检测的准确性(例如在MSL数据集上,F1分数达到96.60%,比其他方法高出约2%)。

      多尺度设计:多尺度设计减少了信息损失,提高了模型在不同时间尺度上的鲁棒性(例如在SMAP数据集上,F1分数达到97.02%,比其他方法高出约1%)。

      无需重建损失:不依赖于重建损失,避免了异常对表示学习的干扰,提高了模型的鲁棒性(例如在PSM数据集上,F1分数达到97.94%,比其他方法高出约1%)。

      计算效率:通过实例归一化和多尺度设计,提高了模型的计算效率,减少了内存使用(例如在NIPS-TS-SWAN数据集上,F1分数达到73.4%,比其他方法高出约3%)。

      图片

      论文2:

      Graph-Aware Contrasting for Multivariate Time-Series Classification

      Graph-Aware Contrasting:用于多变量时间序列分类的图感知对比学习

      方法

      图增强:设计了节点增强和边增强方法,以增强多变量时间序列数据的视图质量。

      图对比学习:提出了节点级和图级对比学习,以学习鲁棒的传感器和全局特征。

      多窗口时间对比:引入多窗口时间对比学习,确保每个传感器的时间一致性。

      图神经网络:利用图神经网络(GNN)更新传感器特征,捕捉传感器之间的相关性。

      图片

      创新点

        图增强:通过节点增强和边增强,显著提高了多变量时间序列数据的视图质量(例如在HAR数据集上,准确率提升至94.27%,比其他方法高出约1.44%)。

        图对比学习:通过节点级和图级对比学习,学习到更鲁棒的传感器和全局特征(例如在ISRUC数据集上,准确率提升至84.22%,比其他方法高出约3.13%)。

        多窗口时间对比:确保每个传感器的时间一致性,进一步提高了模型的时间序列预测能力(例如在AWR数据集上,准确率提升至98.33%,比其他方法高出约0.53%)。

        性能提升:在多个公共多变量时间序列分类数据集上取得了最先进的性能,平均准确率比其他方法高出约2%。

        图片

        论文3:

        SimTS: Rethinking Contrastive Representation Learning for Time Series Forecasting

        SimTS:重新思考时间序列预测的对比表示学习

        方法

          预测未来表示:提出了一种简单的时间序列表示学习方法,通过在潜在空间中预测未来时间窗口来学习表示。

          双线性网络结构:采用双线性网络结构,通过编码器和预测器网络学习时间序列表示。

          多尺度编码器:设计了多尺度编码器,通过不同核大小的卷积层提取局部和全局模式。

          停梯度操作:在预测路径上应用停梯度操作,确保模型只优化历史表示及其预测。

          图片

          创新点

          预测未来表示:通过预测未来时间窗口的潜在表示,显著提高了时间序列预测的准确性(例如在ETTh1数据集上,MSE降低至0.642,比其他方法低约0.042)。

          多尺度编码器:多尺度编码器能够同时捕捉局部和全局模式,提高了模型的鲁棒性(例如在ETTh2数据集上,MSE降低至1.165,比其他方法低约0.165)。

          停梯度操作:停梯度操作确保模型只优化历史表示及其预测,提高了模型的训练效率(例如在ETTm1数据集上,MSE降低至0.393,比其他方法低约0.043)。

          性能提升:在多个时间序列预测基准数据集上取得了与现有对比学习方法相当的性能,平均MSE比其他方法低约0.1。

          图片

          评论
          添加红包

          请填写红包祝福语或标题

          红包个数最小为10个

          红包金额最低5元

          当前余额3.43前往充值 >
          需支付:10.00
          成就一亿技术人!
          领取后你会自动成为博主和红包主的粉丝 规则
          hope_wisdom
          发出的红包
          实付
          使用余额支付
          点击重新获取
          扫码支付
          钱包余额 0

          抵扣说明:

          1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
          2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

          余额充值