线性判别分析法原理及其应用

线性判别分析法（LDA），又名Fisher 线性判别分析法（FLD），它作为一种特征提取的分类法，现已广泛运用于实践操作中。它使用Fisher 准则来寻找一组最理想的判别投影向量，利用该向量对高维样本进行投影处理，使之投影至低维空间中[112]，最终实现全部投影样本类内离散度的最小化及其类间离散度的最大化，亦即把类别相同的样本聚集起来，尽可能地将类别不相同的样本分离开来[113]。但在光线照射条件、人脸表情、姿态的变化方面，LDA 法并不敏感，它现已被广泛运用于人脸识别领域。

假定用 N 代表参训的人脸图像共有类的个数，将所有图像定义成一个样本x，其大小是 lw× lh，x 代表一个n = lw× lh维向量，则样本类间离散度矩阵可用式（4-1）来定义：

利用式（4-2）来定义样本类内离散度矩阵Sw：

显而易见的是：St代表全部样本的协方差矩阵，同时满足：S t= Sb+ Sw。

对于低维空间，应尽量分离不同类的样本，与此同时，对同一类样本，要尽可能地将其密集。换言之，我们应该力求实现样本类间离散度的最大化并减少类内离散度的分歧。由此可以看出，LDA 的目标就是用式（4-4）来找到一个最佳投影Wopt：(https://www.xing528.com)

它可以利用式（4-5）特征分解的方法求解：

式（4-5）中可用St来取代式（4-4）中的Sw。

实际上，W 是一个矩阵，是通过求取的前m 个较大特征值相应的特征向量组建而成的。不过，使用LDA 算法来识别人脸时经常会面临如下两个问题：（1）对于小样本问题，也就是说，对于一幅图像，其像素通常都比训练样本的总数要多一些，这会引发Sw的不可逆，给式（4-5）的计算带来负面影响。鉴于此，Belhumeur 创建了Fisherfaces法，此法充分运用PCA 方法对高维空间的样本进行投影，使之投影至低维空间，由此确保类内离散度矩阵非奇异。另外，零空间法、核方法都可有效处理这一问题，其中最经典的是Yailg 发明的DLDA 法。（2）因为有了边缘类，投影空间中的近邻样本会出现重叠现象。换言之，在满足式（4-4）的同时，若过于追求边缘类和其他类彼此间的类间距离，会使投影空间中的近邻类样本发生重叠，这可通过充分运用类间离散度矩阵Sb重新定义或者对Fisher 准则进行局部加权来有效处理。业内人士围绕LDA 问题展开了全方位的探讨，给出了很多行之有效的处理方法。