吉洪诺夫正则化

维基百科,自由的百科全书
跳到导航 跳到搜索

吉洪诺夫正则化安德烈·尼古拉耶维奇·吉洪诺夫命名,为非适定性问题正则化中最常见的方法。在統計學中,本方法被稱為脊迴歸岭回归ridge regression);在機器學習領域則稱為權重衰減權值衰減weight decay)。因為有不同的數學家獨立發現此方法,此方法又稱做吉洪諾夫-米勒法Tikhonov–Miller method)、菲利浦斯-圖米法Phillips–Twomey method)、受限線性反演constrained linear inversion method),或線性正規化linear regularization)。此方法亦和用在非線性最小二乘法英语Non-linear_least_squares萊文貝格-馬夸特方法相關。

当求解超定问题(即)时, 矩阵 的协方差矩阵 奇异或接近奇异时,利用最小二乘方法求出的结果 会出现发散或对 不合理的逼近。为了解决这一问题,吉洪诺夫于1963年提出了利用正则化项修改最小二乘的代价函数的方法,修改后的代价函数如下:

式中 称为正则化参数[1],这种方法被称为吉洪诺夫正则化。

參考資料[编辑]

  1. ^ Tikhonov A.N. Solution of Incorrectly Formulated Problems and the Regularization Method. Soviet Mathematics Doklady. 1963, 4: 1035–1038.