[科普中国]-岭回归

简介

岭回归，又称脊回归、吉洪诺夫正则化（Tikhonov regularization），是对不适定问题（ill-posed problem)进行回归分析时最经常使用的一种正则化方法。1

原理

对于有些矩阵，矩阵中某个元素的一个很小的变动，会引起最后计算结果误差很大，这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。对于高斯消去法来说，如果主元（即对角线上的元素）上的元素很小，在计算时就会表现出病态的特征。

回归分析中常用的最小二乘法是一种无偏估计。对于一个适定问题，X通常是列满秩的

采用最小二乘法，定义损失函数为残差的平方，最小化损失函数

上述优化问题可以采用梯度下降法进行求解，也可以采用如下公式进行直接求解

当X不是列满秩时，或者某些列之间的线性相关性比较大时， 的行列式接近于0，即 接近于奇异，上述问题变为一个不适定问题，此时，计算 时误差会很大，传统的最小二乘法缺乏稳定性与可靠性。

为了解决上述问题，我们需要将不适定问题转化为适定问题：我们为上述损失函数加上一个正则化项，变为

其中，我们定义，于是：

上式中， 是单位矩阵。

随着 的增大， 各元素 的绝对值均趋于不断变小，它们相对于正确值 的偏差也越来越大。 趋于无穷大时， 趋于0。其中， 随 的改变而变化的轨迹，就称为岭迹。实际计算中可选非常多的 值，做出一个岭迹图，看看这个图在取哪个值的时候变稳定了，那就确定 值了。

岭回归是对最小二乘回归的一种补充，它损失了无偏性，来换取高的数值稳定性，从而得到较高的计算精度。2

特点

通常岭回归方程的R平方值会稍低于普通回归分析，但回归系数的显著性往往明显高于普通回归，在存在共线性问题和病态数据偏多的研究中有较大的实用价值。3