回归分析汇总
回归分析是一种预测性的建模技术,它研究的是因变量和自变量之间的关系。这种技术通常用于预测分析,时间序列模型以及发现变量之间的因果关系。
回归分析的作用
- 找到真正影响因变量的自变量
- 确定自变量对因变量影响的大小
- 将回归模型用于预测
评估性能
常采用 M S E MSE MSE、 M A E MAE MAE以及 R 2 R^2 R2作为评价模型性能的指标
-
回归平方和(Sum of Squared Regression)
预测数据与原始数据均值之差的平方和
S S R = ∑ i = 1 n ( y i ^ − y ˉ ) 2 SSR=\sum_{i=1}^n(\hat{y_i}-\bar{y})^2 SSR=i=1∑n(yi^−yˉ)2 -
残差平方和(Sum of Squared Errors)
拟合数据和原始数据对应点的误差的平方和
S S E = ∑ i = 1 n ( y i − y i ^ ) 2 SSE=\sum_{i=1}^n(y_i-\hat{y_i})^2 SSE=i=1∑n(yi−yi^)2 -
总偏差平方和(otal sum of squares)
平均值与真实值的误差,反映与数学期望的偏离程度
S S T = S S R + S S E = ∑ i = 1 n ( y i − y ˉ ) 2 SST=SSR+SSE=\sum_{i=1}^n(y_i-\bar{y})^2 SST=SSR+SSE=i=1∑n(yi−yˉ)2 -
决定系数(R-square score)
R 2 ( y , y ^ ) = 1 − S S R S S T = 1 − ∑ i = 1 n ( y i − y ^ i ) 2 ∑ i = 1 n ( y i − y ˉ ) 2 R^2(y,\hat{y})=1-\frac{SSR}{SST}=1-\frac{\sum_{i=1}^n(y_i-\hat{y}_i)^2}{\sum_{i=1}^n(y_i-\bar{y})^2} R2(y,y^)=1−SSTSSR=1−∑i=1n(