吉洪诺夫正则化

统计学系列条目
迴歸分析
模型
線性回歸 简单回归 普通最小二乘法 多项式回归 一般线性模型
廣義線性模式 离散选择 对数几率回归 多项罗吉特 混合罗吉特 波比 多项式波比 排序性模型 有序波比 泊松回归
等级线性模型 固定效应 随机效应 混合模型
非线性回归 非参数 半参数 稳健 分位数迴歸 保序回归 主成分 最小角 局部 分段
含误差变量
估计
最小二乘法 普通最小二乘法 线性 偏最小二乘回归 总体 广义 加权 非线性 非负 重复再加权 脊迴歸（嶺迴歸） LASSO
最小绝对值导数法 贝叶斯 贝叶斯多元
背景
回归模型检验 平均响应和预测响应 误差和残差 拟合优度 学生化残差 高斯-马尔可夫定理
概率与统计主题

吉洪诺夫正则化以安德烈·尼古拉耶维奇·吉洪诺夫命名，为非适定性问题的正则化中最常见的方法。在統計學中，本方法被稱為脊迴歸或岭回归（ridge regression）；在機器學習領域則稱為權重衰減或權值衰減（weight decay）。因為有不同的數學家獨立發現此方法，此方法又稱做吉洪諾夫－米勒法（Tikhonov–Miller method）、菲利浦斯－圖米法（Phillips–Twomey method）、受限線性反演（constrained linear inversion method），或線性正規化（linear regularization）。此方法亦和用在非線性最小二乘法的萊文貝格－馬夸特方法相關。

当求解超定问题（即$A_{m\times n}x=b,m>n$）时， 矩阵$A$ 的协方差矩阵 $A^{H}A$ 奇异或接近奇异时，利用最小二乘方法求出的结果 ${\hat {x}}_{LS}=(A^{H}A)^{-1}A^{H}b$ 会出现发散或对$x$ 不合理的逼近。为了解决这一问题，吉洪诺夫于1963年提出了利用正则化项修改最小二乘的代价函数的方法，修改后的代价函数如下：

$J(x)={\frac {1}{2}}(\lVert Ax-b\rVert _{2}^{2}+\lambda \lVert x\rVert _{2}^{2})$

式中 $\lambda \geq 0$ 称为正则化参数，这种方法被称为吉洪诺夫正则化。