吉洪诺夫正则化
跳到导航
跳到搜索
![]() | 此條目可参照英語維基百科相應條目来扩充。 (2019年3月31日) |
统计学系列条目 |
迴歸分析 |
---|
![]() |
模型 |
估计 |
背景 |
吉洪诺夫正则化以安德烈·尼古拉耶维奇·吉洪诺夫命名,为非适定性问题的正则化中最常见的方法。在統計學中,本方法被稱為脊迴歸或岭回归(ridge regression);在機器學習領域則稱為權重衰減或權值衰減(weight decay)。因為有不同的數學家獨立發現此方法,此方法又稱做吉洪諾夫-米勒法(Tikhonov–Miller method)、菲利浦斯-圖米法(Phillips–Twomey method)、受限線性反演(constrained linear inversion method),或線性正規化(linear regularization)。此方法亦和用在非線性最小二乘法的萊文貝格-馬夸特方法相關。
当求解超定问题(即)时, 矩阵 的协方差矩阵 奇异或接近奇异时,利用最小二乘方法求出的结果 会出现发散或对 不合理的逼近。为了解决这一问题,吉洪诺夫于1963年提出了利用正则化项修改最小二乘的代价函数的方法,修改后的代价函数如下:
式中 称为正则化参数[1],这种方法被称为吉洪诺夫正则化。
參考資料[编辑]
- ^ Tikhonov A.N. Solution of Incorrectly Formulated Problems and the Regularization Method. Soviet Mathematics Doklady. 1963, 4: 1035–1038.