高维数据流形学习分析方法简述

8.3.2.1　非参类间散度矩阵和非参类内散度矩阵

LDA在定义类间散度矩阵和类内散度矩阵时，仅仅关注所有样本的均值和每一个类样本的均值，并没有考虑所有样本的局部结构信息。MNMP方法在定义非参类间散度矩阵和非参类内散度矩阵时，采用局部学习的方式对二者进行非参数化定义，使得MNMP不受样本数据的概率分布要求。在定义非参类间散度矩阵时，对任意点Xi，选择与Xi类别不同并且距离最近的k个点作为异类近邻点，并组成Xi的异类局部邻域，然后在此基础上定义一个异类局部邻域的局部类间散度矩阵如下:

对于原始高维空间的每一点都重复以上过程，得到针对所有样本点定义的非参类间散度矩阵。

同时，对于非参类内散度矩阵，首先对于任意样本点Xi，选择与其类别相同并且距离最近的k个点作为同类近邻点，并组成Xi的同类局部邻域，然后在此基础上定义一个基于同类局部邻域的局部类内散度矩阵如下:

同样，对于每一个点都重复式(8.22)，可以得到针对所有样本点定义的非参类内散度矩阵。

8.3.2.2　非参类间距度量

根据以上所定义的非参类间散度矩阵和非参类内散度矩阵，借鉴MMC中类间距度量的定义，可以定义一种非参类间距度量如下:(www.xing528.com)

8.3.2.3　特征提取

根据所建立的非参类间距度量模型，希望在一个低维空间内，使得非参类间距度量最大化，即:

同时引入线性化措施解决样本外点问题，以上目标函数可以转化为:

采用拉格朗日数乘法求解以上约束目标函数，可将其解转为求解如下的特征值分解:

即线性变化矩阵由以上特征分解中前d个最大特征值所对应的特征向量组成。根据以上分析，可总结MNMP算法的提纲如表8-1所示。