線性判別分析

维基百科,自由的百科全书
跳转至: 导航搜索

線性判別分析(Linear Discriminant Analysis),簡稱判別分析,是統計學上的一種分析方法,用於在已知的分類之下遇到有新的樣本時,選定一個判別標準,以判定如何將新樣本放置於哪一個類別之中。這種方法主要應用於医学的患者疾病分级,以及人脸识别、经济学的市場定位產品管理市場研究等範疇。

  关于线性鉴别分析的研究应追溯到Fisher在1936年发表的经典论文(Fisher R A. The use of multiple measurements in taxonomic problems),其基本思想是选择使得Fisher准则函数达到极值的向量作为最佳投影方向,从而使得样本在该方向上投影后,达到最大的类间离散度和最小的类内离散度。在Fisher思想的基础上,Wilks和Duda分别提出了鉴别矢量集的概念,即寻找一组鉴别矢量构成子空间,以原始样本在该子空间内的投影矢量作为鉴别特征用于识别。

  1970年Sammon提出了基于Fisher鉴别准则的最佳鉴别平面的概念。随后,Foley和Sammon进一步提出了采用一组满足正交条件的最佳鉴别矢量集进行特征抽取的方法。

  1988年Duchene和Leclercq给出了多类情况下最佳鉴别矢量集的计算公式。

  2001年Jin和Yang 从统计不相关的角度,提出了具有统计不相关性的最优鉴别矢量集的概念。与F-S鉴别矢量集不同的是,具有统计不相关性的最优鉴别矢量是满足共轭正交条件的,该方法被称为不相关的鉴别分析或Jin-Yang线性鉴别法。

  以上提到的各种方法仅适用于类内散布矩阵非奇异(可逆)的情形,但实际应用中存在着大量的典型的小样本问题,比如在人脸图像识别问题中,类内散布矩阵经常是奇异的。这是因为待识别的图像矢量的维数一般较高,而在实际问题中难以找到或根本不可能找到足够多的训练样本来保证类内散布矩阵的可逆性。因此,在小样本情况下,如何抽取Fisher最优鉴别特征成为一个公认的难题。


外部链接[编辑]

概念[编辑]