字典学习方法的历程探析

字典学习的灵活性与自适应性使之成为一种更有效的稀疏表达方式，在此首先回顾其发展过程中的三个重要阶段。

1）基于块的字典学习

该类方法从彼此重叠的图像块中提取字典原子，用于构成字典矩阵D的列，并且用一个线性组合x≈Dz来逼近每一个训练像素块。此处的稀疏向量z对于信号的唯一性表达和可解释性具有重要作用。这一数据驱动的图像建模方法在很多实际应用中都展现出比通常的图像模型更好的性能。然而，这类方法使用基于像素块的数值操作，为字典D带来两个局限，即非结构化和移变特性。前者决定了需要使用显式的矩阵—向量运算，从而成为计算负荷的主体；而后者则意味着字典中可能包含同一个原子的多个移位复制。这两个问题会为字典学习算法带来非常严重的计算与存储负荷，如MOD（the Method of Optimal Directions）［232］、K－SVD［233］、GPCA（the Generalized Principle Component Analysis）［234］等。

2）双稀疏字典学习

该类方法针对一个预先选择的字典Φ，如离散余弦基和小波基等，训练一个系数原子表达矩阵A，因而其最终字典为D＝ΦA［235］。后来一些研究工作将该思想拓展到多尺度［236］、正交［237］或在线［238］字典学习之中。如果Φ有快速算法，这种字典结构能够有效地完成涉及D和其伴随算子D∗的运算。然而，该类方法仍然不能完全避免显式的矩阵运算，因而仍然会限制其在高维信号处理中的应用。(www.xing528.com)

3）卷积字典学习

该类方法使用卷积运算作为基本的图像合成操作，X＝∑kDk∗Zk，此处为从训练数据中学习到的卷积核，而为相应的编码矩阵。移不变性是这个图像模型的最显著特点，与基于块的字典学习相比具有两个优势：具有全局图像表达能力的更简洁的字典［239］，以及利用FFT实现快速运算的结构化字典表达［198］。卷积字典学习中最普遍采用的优化策略是用交替优化稀疏编码与滤波器更新两个子问题，而每个子问题使用ADMM等算法求解［197］。

上述的字典学习算法起初都是针对二维图像提出的，因此用于高光谱图像处理时，需要做出调整以适应HSI的三维数据结构。一类方法［223，227］是忽略HSI中的光谱维互相关，直接在每个光谱通道图像上进行空间字典学习。另一类方法［220－222，224－226，228］首先是把三维数据Ξ∈RH×W×B重组为二维矩阵X∈RB×N，此处N＝H×W，H、W和B分别代表HSI的高度、宽度和光谱通道数，然后在光谱维上进行字典学习，将每个像素（X中的一列）表达为xn＝Dzn。第三类方法通过对X中彼此重叠的二维像素块［223］或者Ξ中的三维小立方体［229］的向量化表达进行基于块的字典学习，可以部分地考虑空间—光谱的联合稀疏性，但是仍然无法确保三维信号的完成性。