零空间法：最优化Fisher准则函数的学习方法

通常将在输入变量上构造线性判别函数的方法称为线性判别分析（Linear Discriminant A-nalysis，LDA）。线性判别分析以样本的可分性为目标，寻找一组最优线性变换，使得所有类别样本经过线性变换后，在某种意义上类间分离性最大、类内相异性最小。

线性判别分析有以下主要特点：

● 引入一种维数不超过c-1的空间变换，其中c是需要分类的类别数量。

● 此变换的数据分布随意，如：不假设数据分布具有正态性。

● 变换后的坐标轴根据“判别重要性”来确定，可以取那些最重要的坐标分量来获得数据的线性表示。(www.xing528.com)

● 线性判别分析可以用于更复杂的非线性分类器的后期处理工作。

线性判别分析是模式识别中最经典的方法。经典的线性判别分析中，一般使用的是Fisher判别函数。Fisher判别准则是：不同类样本尽可能远，同类样本尽可能近。Michael J.Lyons等人利用弹性图标签和二维的Gabor特征来描述人脸，利用线性判别分析（LDA）对基于高级属性的人脸进行分类，并在三个不同的人脸库中，对于性别、种族和表情的分类任务进行了测试，证明线性判别分析使得训练简单而迅速。

由前面的Fisher准则函数定义可知，求解式（7-31）即可得到Fisher准则函数的最优解。式（7-31）是一个普通的矩阵特征值，因此求解比较简单。但在一般情况下，满足S_w可逆的条件不易获得，要使其可逆，至少需要n+c个训练样本，这是因为R（S_w）≤N-c，所以若S_w可逆，则有n=R（S_w）≤N-c，即N≥n+c。在人脸识别中，这么巨大的训练样本数一般是很难满足的，也就是S_w经常是不可逆的，这就是模式识别中经常遇到的所谓的“小样本问题（Small Sample Size Problem，SSSP）”，对于人脸识别的应用而言，由于通常没有足够的训练样本来保证类内离散度矩阵满秩，无法直接求解，因此需要加入某些条件，并采取一定的策略。解决办法一般有两种：其一就是采用矩阵的同步对角化原则，具体分析S_w和S_b的特征空间求解，如Liu等人^[3]提出的一种增强的线性判别（Enhanced Linear Discriminant）方法，就是通过同步对角化S_w和S_b的方法，避免对S_w直接求逆；其二就是采取图像的预降维策略，Swets等人^[4]最先提出结合主元分析的线性判别分析方法，随后，Belhumeur等人把它发展成为Fisherface方法。但是无论是采用结合PCA预先降维，还是采用同步对角化的方法，都是以牺牲S_w的零空间为代价的，其在本质上就是直接驱除S_w的零空间。从Fisher准则的角度看，这样做将丢失很多有利于分类的判别信息。Chen等人^[6]提出了一种新的方法来解决线性判别分析中的小样本问题。直接利用S_w的零空间来寻找最佳判别向量集，这里称为零空间法。此外，参考文献[7]提出了一种改进的基于零空间的线性判别分析。

一般应用线性分类器要假设不同类别的模式空间是线性可分的，然而现实中许多问题都是非线性可分的，例如人脸识别问题中，由于光照、姿态、表情等不同而引起的人脸图像的差异造成人脸图像的分布是非线性的和复杂的，故经典的Fishe线性判别分析在处理类似人脸等图像识别任务时，不能取得令人满意的结果，因此在应用于人脸识别或表情识别时，人们对Fisher线性判别分析进行了各种改进或修正的研究。参考文献[8]提出了核Fisher判别分析（Kernel Fisher Discriminant Analysis，KFDA）。它是将该学习方法的思想与Fisher判别分析算法相结合的产物。KFDA算法的思路是：首先通过一个非线性映射，将输入数据映射到一个高维的特征空间中，然后在这个高维特征空间中进行线性Fisher判决分析，从而实现相对于原空间为非线性的判决分析。