基于深度学习的时间序列预测

# 技术黑板报 # 第十一期

推荐阅读时长：15min

前言

时间序列建模历来是学术和工业界的关键领域，比如用于气候建模、生物科学和医学等主题应用，零售业的商业决策和金融等。虽然传统的统计方法侧重于从领域专业知识层面提供参数模型，比如自回归 (AR) 、指数平滑或结构时间序列模型，但现代机器学习方法提供了一种以纯数据驱动的方式对时间序列进行动态分析学习的方法。随着近年来数据可用性和计算能力的不断提高，机器学习已成为下一代时间序列预测模型的重要组成部分。

受图像分类 、自然语言处理和强化学习方面显著成就的启发，深度学习最近特别受欢迎。通过结合反映基础数据集细微差别的定制架构假设（或归纳偏差），深度神经网络能够学习复杂的数据表示，从而减轻了对手动特征工程和模型设计的需求。 开源反向传播框架(如tensorflow)的可用性也简化了网络训练，允许对网络组件和损失函数进行定制。

鉴于各个领域时间序列问题的多样性，在时间序列问题上出现了许多神经网络设计选择。学术界已经有很多深度学习模型来适应不同领域的时间序列数据集的多样性。本文通过调研大量前沿深度学习文献，描述每个模型如何将时间信息合并到预测中。考虑到云智慧在运维领域面临的实际预测落地场景，本文主要涉及三类深度学习模型：一步预测和多指标预测中使用的常见编码器和解码器设计，描述每个模型如何将时间信息合并到预测中；混合深度学习模型的发展；深度学习也可以通过时间序列数据促进决策支持的一些方法。

章节目录

一、时间序列预测的深度学习架构

二、将领域知识与混合模型相结合

三、使用深度神经网络促进决策支持

四、总结与展望

一、时间序列预测的深度学习架构

时间序列预测模型预测目标(指定第i个指标在t时刻)的未来值，其中每个指标代表时间信息的逻辑分组 。 例如来自气候学中不同气象站的测量值，或医学中不同患者的生命体征，并且可以同时观察。在最简单的情况下，一步法预测模型采用以下形式：

其中公式左侧为模型预测值，公式右侧分别是在回溯窗口上对目标和外生输入的观察，是与实体相关的静态元数据（例如传感器位置），是模型学习的预测函数。虽然我们在本黑板报中专注于单变量预测（即一维目标），但我们注意到相同的组件可以不失一般性地扩展到多变量模型。简单起见，除非明确要求，否则在后续部分中省略了实体索引 i。

1、基本结构模块

深度神经网络通过使用一系列非线性层来构建中间特征表示来学习预测关系。在时间序列设置中，这可以被视为将相关历史信息编码到隐变量中，并单独使用生成最终预测：

其中和分别是编码器和解码器函数。编码器和解码器构成了深度学习架构的基本构建块，网络的选择决定了模型可以学习的关系类型。 此处将研究编码器的现代设计架构，以及它们与传统时间模型的关系，如下图所示。此外我们探索了时间序列预测应用中常用的网络输出和损失函数。

（1）卷积神经网络

卷积神经网络   (CNN)传统上为图像数据集设计网络提取跨空间维度不变的局部关系。为了使 CNN 适应时间序列数据集，研究人员利用了多层因果卷积——即旨在确保仅使用过去信息进行预测的卷积滤波器。 对于隐藏层 l 的中间特征，每个因果卷积滤波器采用以下形式：

其中（1）式中h是网络结构中第i层在时刻t的内部状态。*是卷积操作，W是第l层指定的过滤权重，A(.)为激活函数，例如sigmoid，用以处理任何特定架构的非线性表征。

考虑一维情况，我们可以看到（2）与数字信号处理中的有限脉冲响应（FIR）滤波器非常相似。这对 CNN 学习的时间关系产生了两个关键影响。首先与标准CNN的空间不变性假设一致，时间CNN假设关系是时间不变的，即在每个时间步长和所有时间使用相同的滤波器权重集。此外CNN只能使用其定义的回溯窗口或接受域内的输入来进行预测。 因此需要仔细调整感受野大小k以确保模型可以利用所有相关的历史信息。值得注意的是，单个因果CNN层等效于自回归 (AR) 模型。

膨胀卷积  使用标准卷积层在长期依赖性很重要的情况下可能具有计算挑战性，因为参数的数量直接与感受野的大小成比例。 为了缓解这