首页 理论教育 高维数据流形学习分析方法-LLDE模型提纲

高维数据流形学习分析方法-LLDE模型提纲

时间:2023-11-24 理论教育 版权反馈
【摘要】:局部线性判别嵌入就是在原始的LLE的算法的基础上,构建一个向量平移和距离缩放模型,来提高LLE算法的分类能力。但是通过目标函数(6.2)所求得的线性变换并不一定就是LLDE算法希望得到的线性变换。换句话说,对原始LLE算法的线性近似可以提高数据的可分性能,但是这种线性变换却不能保证是最优的。算法提纲根据以上的理论推导,可以总结出LLDE算法的提纲如表6-1所示。表6-1LLDE算法提纲

高维数据流形学习分析方法-LLDE模型提纲

局部线性判别嵌入就是在原始的LLE的算法的基础上,构建一个向量平移和距离缩放模型,来提高LLE算法的分类能力。当然向量平移和距离缩放不是一个任意的、无序的过程,必须满足一定的条件,就是经过平移和缩放后的数据点必须能满足MMMC标准,并且经过平移和缩放变换后的输出向量的分类性能能得到极大的提高。

(1)LLE算法的线性近似

为了解决样本点外学习能力的问题,在原始的LLE算法中引入一个线性变换Y=ATX。经过线性近似的LLE算法的目标函数可以改写成:

一些相关的研究结果表明经过线性近似处理的LLE算法能够获得比原始LLE算法更好的分类性能。但是通过目标函数(6.2)所求得的线性变换并不一定就是LLDE算法希望得到的线性变换。换句话说,LLDE需要在LLE的线性近似的基础上寻找一个能实现最佳平移和缩放变换标准,大大提高原始LLE算法对高维数据的可分性能。

(2)MMMC

最近,研究者们提出了一个最大间距标准(Maximizing Margin Criterion,MMC),寻找最优的线性投影子空间。同时这个标准也能够有效地克服小样本问题。MMC标准的目标函数可以表示为:

其中,pi和pj分别代表第i和第j类输入点的先验概率分布密度,mi、d(mi,mj)和s(mi)分别定义如下:

其中,ni是第i类数据样本点个数,s(mi)是第i类数据样本点的散度度量,Si是第i类数据样本点的协方差矩阵。在统计学中,s(mi)经常用样本数据的协方差矩阵的迹来表示。

结合上式,可对目标函数式(6.3)做如下推导:

由于d(mi,mj)表示的是两个质心之间的欧氏距离,所以式(6.7)中的第一部分可以推导为:

因此可以得到:

同样,式(6.7)的第二部分也可以推导为tr(SW)。推导过程如下:

根据式(6.10)和式(6.11),式(6.7)可以改写成:

为了充分利用最小重构误差的所得到的权值矩阵具有的平移、缩放不变的特点,在式(6.12)中引入了一个平移缩放因子。首先对数据采用平移变换,然后再保持质心不变,缩放同类数据点与其质心的距离。经过缩放变换之后的类间散度SB保持不变,而经过缩放变换之后的类内矩阵散度SW被缩放了一个比例因子,其推导过程如下:

其中,μ是缩放因子,并且满足μ≥0。

则可以得到改进的最大边缘标准为:(www.xing528.com)

如果在这个目标函数中引入一个线性变换Y=UTX,通过求解目标函数优化问题可能得到一个适合于分类的线性子空间。在这个线性子空间里面相同模式之间聚集的更紧密,而不同的模式更分散,这恰恰是模式分类需要实现的目标。也就是不同质心点之间的距离将会更远,相同类别点之间的距离将会更小。具体用数学符号表示,d(mi,mj)将变大和s(mi)将变小,即通过最大化以下的目标函数可以找到一个最适合分类的线性子空间。

(3)线性特征提取

假设Td×n表示一个平移矩阵,经过平移变换后得到的判别分量表示为[Y-T]d×n,因此LLDE希望找到一个最佳的线性变换Y-T=VTX。

基于以上分析,可以发现,对原始LLE算法的线性近似是寻找一个具有最小重构误差的线性变换。而且,在满足权值和为1的约束条件下,这个线性变换可以通过平移的方式将每一个点移到坐标系中的任何一个地方,但是这种无目的平移方式必然会影响数据的可分性能。换句话说,对原始LLE算法的线性近似可以提高数据的可分性能,但是这种线性变换却不能保证是最优的。同时,MMMC标准可以将原始的数据点映射到一个最适合分类的线性子空间。如果对原始LLE的线性变换也能够同时满足MMMC标准,则数据点的类别可分性能将极大地提高。所以LLDE问题可以归结为计算如下多目标优化函数:

必须注意,在原始的LLE算法中需要满足如下约束条件:

在LLDE算法中,去掉了约束条件(6.19)。因为这个约束条件是消除平移自由度的,而在LLDE算法中,正是要利用数据点的平移来提高数据的类别可分性能,所以LLDE算法可以改写成为如下约束多目标优化函数:

该约束目标函数旨在寻找一个既能使最小重构误差最小,同时又能使异类间的边缘最大的线性变换。在这种的情况下,多目标约束函数(6.20)可以改写成单目标约束优化函数:

下面利用拉格朗日数乘法来求解约束目标函数(6.21)。使用拉格朗日数乘法将式(6.21)构造成一个等式,然后对变量V求导并令其为0,得:

根据式(6.22)可以得到:

其中,λ是广义特征方程(6.23)的特征值,V是其特征向量

根据广义特征方程(6.23)可知,当线性变换矩阵V由广义特征对{(XMXT-(SB-μSW)),XXT}的前d个最小特征值所对应的特征向量组成时,目标函数(6.21)将取得最小值。

(4)算法提纲

根据以上的理论推导,可以总结出LLDE算法的提纲如表6-1所示。

表6-1 LLDE算法提纲

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈