常用统计软件关于岭回归计算原理的比较分析

一、引言 对于多元线性回归模型Y=Xβ+ε,其中Y为因变量的观测向量,维度为n×1,X是自变量的观测矩阵,其维度为n×(p+1),β是p+1维的系数向量,ε是n维随机向量且εi～ N(0,σ28).根据Gauss-Markov定理,参数β的最小二乘估计量β=(X'X)-1X'Y是最优线性无偏估计(BLUE).当自变量之间存在高度的共线性,则最小二乘估计的结果尽管在理论上有较好的性质,但在实际应用中,参数估计值可能会极不稳定,易导致参数估计值缺乏合理含义. 针对多重共线性对模型估计所带来的这些影响,Hoerl (1962)和Hoerl & Kennard(1970)分别提出和发展了一种改进普通最小二乘估计的方法,也就是现在大家所熟知的岭回归(Ridge Regression).