关键帧提取技术的优化探讨

在上一节中，我们对视频镜头检测技术进行了研究。视频数据划分成镜头后，每个镜头由若干帧组成，帧即一幅静态图像。由于一个镜头中的内容都是在同一场景下拍摄的，内容上差别不大，镜头作为一个连续的帧序列，相邻图像之间有着极大的相似性，存在着大量的冗余信息。如果对每幅图像都提取其特征信息，会带来庞大的数据量且计算复杂。因此可以提取镜头中的一幅或几幅图像来代表这一镜头的概要信息，称之为关键帧提取。关键帧序列一般用来作为视频流的索引，好的关键帧序列能如实地代表镜头内容，对这些关键帧进行多项特征提取后存入特征数据库，然后利用关键帧的相似度匹配来完成视频的检索，这样能极大地降低计算复杂度，提高检索效率，所以关键帧提取技术一直是研究者们研究的热点。

镜头一般分为静态镜头与动态镜头两种。静态镜头是指内容在所有帧中没有任何变化或没有明显变化，静态镜头一般可选取任何一帧作为关键帧；动态镜头是指镜头中内容有明显的变化，如减少、增加或移动等，则需要选取多个代表性的帧作为关键帧。关键帧的选取是否正确与检索性能有极大的关系，为了避免遗漏镜头中的代表性帧，在关键帧的选取上一般采用的都是非进取型的策略，宁可选多也不能丢掉，即删掉重复度很高的帧，留下的帧均作为关键帧处理。关键帧选取是一个逐步优化的过程，主要是考虑相邻图像间不相关性较高的帧，相关性高的帧则作为冗余信息丢弃。关键帧的选取应该具有代表性且数量不能太多（一般比例不超过总帧数的10%）。下面对几种关键帧提取方法进行讨论，当然在算法的选取上，应根据自身的实际情况来选择，针对不同的视频数据有不同的选择标准。

1）基于平均值法

基于镜头边界方法是早期一种简单的提取关键帧的方法，此方法以镜头分割为基础，镜头分割的好坏直接影响到其效果。镜头边界法是将镜头中的第一帧和最后一帧作为该镜头的关键帧，这种方法操作简单，适合于静态镜头。但是对于运动变化较多或前期出现分割误差的镜头则效果很差，因为首尾帧不能完全表示镜头的内容，这样选取的关键帧没有意义。所以，在此基础上提出了基于平均值法。

平均值法分为帧平均值法和直方图平均值法两种。帧平均值法是指在一个镜头中的所有帧中选取某个特殊的位置，计算在此位置上的像素平均值，将每帧在该位置的像素值计算出来，选取最接近像素平均值的一帧图像作为关键帧。直方图平均值法是先计算出镜头中所有帧的统计直方图的平均值，然后挑选最接近直方图平均值的帧作为关键帧。这两种方法的优点在于简单且计算量小，但是因为一个镜头中只选取一帧作为关键帧，因此对于多物体的动态镜头无法处理。

2）基于运动分析法(www.xing528.com)

摄像机的运动是造成视频数据中内容运动的重要原因，因此可以作为提取关键帧的一个依据。一般将摄像机产生的图像变化分为相机焦距变化与相机角度变化两种。对于焦距变化一般选取首尾两帧作为关键帧，对于角度变化一般对当前帧与上一帧进行重叠比较，设置一阈值，低于此阈值则选取该帧作为关键帧。

研究人员提出了一种基于光流分析的运动分析算法，通过计算每一帧的光流分量的模之和，计算出一个运动矩阵，以此描述镜头中的运动量，选取局部最小值作为关键帧。研究者们认为在此基础上将运动对象从背景中先抽取出来，然后再计算其光流将能达到的更好的效果。

3）基于聚类的方法

聚类就是指将集合中类似的对象组合成一类的过程，聚类技术在信息检索领域应用非常广泛。聚类与分类不同，聚类对划分的类数是未知的，基本思想是从一个初始化的聚类出发，根据帧与这个初始化聚类的距离来判断，小于一定数值的聚为一类，否则作为一个新的聚类中心。聚类是一个无监督的学习过程，计算复杂，最终目的是使相似的元素归为一类。由于不同类元素之间差别较大，聚类结果会因为距离度量与相似度度量的标准不同而不同。在视频镜头关键帧提取中，通过此方法能将帧序列分到不同的簇中，同簇中选取离中心最近的帧为关键帧。研究者们基于聚类的思想提出了大量的算法，如类模糊C均值聚类、仿射传播聚类等。

前面对关键帧提取的三种方法进行了分析，在选择的时候应根据它们自身的特点、复杂度和适用范围进行选择。基于平均值法基本思路及算法都较简单，但由于关键帧选择较少，故对多个物体的运动镜头难以准确描述；基于运动分析法选取思路及关键帧数目较灵活，但计算量较大且局部最小值不一定准确；基于聚类的方法能比较有效地获得镜头的代表性内容且计算效率高。对不同内容的视频数据也应综合利用内容、文字、声音等特征进行关键帧提取，如研究人员根据新闻视频的特点，首先将相邻的具有底部文字的连续帧的第一帧作为关键帧，若没有则将镜头的第一帧作为关键帧，然后再进行帧间相似度比较，较好地提高了关键帧选取的正确度。