离散K-L变换：优化相关性与降维特征空间

离散K-L变换（Discrete Karhunen-Loeve Transformation，DKLT）又称霍特林（Hotelling）变换或者主成分分析（Principal Component Analysis，PCA），是一种基于目标统计特性的最佳正交变换。基本原理是用较少数量的特征对样本进行描述，以达到降低特征空间维数的目的，在人脸识别、图像压缩和信号传输等领域有着广泛的应用。

K-L变换的突出优点是相关性好，得到的主成分是互相线性不相关的。它的协方差矩阵除对角线以外的元素都是零，消除了数据之间的相关性，从而在信息压缩方面起着重要作用。但是它需要预先知道信源的协方差矩阵并求出特征值，而求特征值与特征向量并不是容易的事，尤其是维数较高时。即使能借助计算机求解，也很难满足实时处理的要求，而且从编码应用看还需要将这些信息传输给接收端。这些因素造成了K-L变换在工程实践中不能广泛使用。人们一方面继续寻求解特征值与特征向量的快速算法，另一方面则寻找一些虽不是“最佳”，但也有较好的去相关与能量集中的特性且容易实现的一些变换方法。而K-L变换就常常作为对这些变换性能的评价标准。

（一）K-L变换的基本原理

设n维随机向量，x=（x1，x2，…，xn）T，其均值向量为x =E[x]，相关矩阵为Rx=E[xxT]，协方差矩阵Cx=E[（x-）（x- ）T]，x经正交变换后产生向量y=（y1，y2，…，yn）T。设有标准正交变换矩阵T，（即TTT=I）

则

称为x的K-L展开式。取前m项为x的估计值

式中，1≤m＜n。其均方误差为

在TTT=I的约束条件下，要使均方误差ε2（m）取最小值，为此设定准则函数

由0可得

即Rxti=λiti（i=m+1，…，n），表明λi是Rx的特征值，而ti是相应的特征向量。利用上式有

用“截断”方式产生x的估计时，使均方误差最小的正交变换矩阵是其相关矩阵Rx的前m个特征值对应的特征向量构成的。

（二）K-L变换的性质(www.xing528.com)

1.去相关特性

K-L变换后的矢量信号的分量互不相关。y的自相关矩阵和协方差矩阵分别为

变换后的向量y的各分量是不相关的：λi=E（yi2），或λi=E{[yi-E（yi）]2}。如图2-22所示，DKLT使新的分量y1和y2不相关，两个新的坐标轴方向分别由t1和t2确定。通过K-L变换，消除了原有向量x的各分量之间的相关性，从而有可能去掉那些带有较少信息的坐标轴以达到降低特征空间维数的目的。

2.能量集中性

所谓能量集中性，是指对N维矢量信号进行K-L变换后，最大的方差集中在前M个低次分量之中。这可使能量向某些分量相对集中，增强随机向量总体的确定性（即得到主要成分）。

图2-22　DKLT的去相关性

3.最佳特性

K-L变换是在均方误差测度下失真最小的一种变换，即

上式表明采用同等维数进行表示，该结果与原始数据的均方误差最小。

4.无快速算法

无快速算法，且变换矩阵随不同的信号样值集合而不同，这是K-L变换的一个缺点，是K-L变换实际应用中的一个很大障碍。