自回归模型（二）：具有自回归误差的回归

        让我们考虑一个问题，其中我们有一个y变量和多个x变量，它们都被测量为时间序列。举个例子，我们可以将y设定为高速公路上每月的事故数量，而x则表示每月在高速公路上的交通量，观测时间为连续的120个月。一个多元（时间序列）回归模型可以写成：

        在这个背景下经常出现的困难是误差（）可能彼此相关。换句话说，我们存在自相关或者误差之间的依赖关系。

        我们可以考虑这样一种情况，即某个特定时间点上的误差与前一个时间点上的误差呈线性关系。也就是说，误差本身遵循一个简单的线性回归模型，可以写成：

         在这里，被称为自相关参数，而项是一个新的误差项，它遵循我们对回归误差的通常假设：

这里“iid”代表“独立同分布”。

        因此，这个模型表明时间t的误差可以通过时间t-1的误差的一部分加上一些新的扰动来进行预测。 

        我们对原始的Y与X回归的误差的模型是一个自回归模型，具体来说是AR(1)模型。误差可能具有自回归结构的一个原因是，时间t的Y和X变量可能与时间t-1的Y和X测量相关（并且很可能是相关的）。这些关系被吸收到我们多元线性回归模型的误差项中，该模型仅关联同一时间点上的Y和X测量。

        请注意，误差的自回归模型违反了误差独立性的假设，这给普通最小二乘法估计的β系数带来了理论上的困难。当误差具有自回归结构时，有几种不同的方法可以估计Y与X关系的回归参数。

        误差项仍然具有均值为0和恒定方差：

        然而，相邻误差项之间的协方差（衡量两个变量之间的关系）为：

        这意味着相邻误差项之间的相关系数（衡量两个变量之间的关系，无单位）为：

        也就是我们上面介绍的自相关参数。

        我们可以使用偏自相关函数（Partial Autocorrelation Function，PACF）图来帮助我们评估自回归误差模型中合适的滞后项。具体而言，我们首先对时间序列数据进行多元线性回归拟合，并存储残差。然后，我们可以观察残差的PACF与滞后的关系图。显著不等于0的大样本偏自相关表示滞后项m可能是n的有用预测变量之一