监控视频识别相同动作

4.6.2.1　基于Gabor小波滤波器的频域分析算法

基于Gabor小波滤波器的频域分析算法利用的是Gabor小波滤波器对图像频率进行分解处理。在图像处理中，Gabor函数作为线性滤波器来提取图像边缘，因此，Gabor小波滤波器非常适合纹理表达和分离，图像在各个尺度和方向上的纹理信息可以被Gabor小波方便地提取到，同时还可以在一定程度上减弱图像中光照变化和噪声的影响。如图4－13所示，是4个方向的Gabor滤波器对原始图像进行滤波后的效果，由图可知，Gabor滤波器对于图像边缘检测有良好的效果。

4.6.2.2　基于sym5小波基的频域分析算法

图像中的很多特征，如纹理特征、形状特征等，在空域中不能很好地进行分析，而频谱承载着重要信息，可用来区分目标的类别。本方法就运用了基于sym N系列小波基的离散小波变换的方法将目标区域变换到频域进行提取特征。

MATLAB提供了dwt和dwt2函数，两个函数分别是用来实现一维的离散小波变换和二维的离散小波变换的，wavedec2函数进行多层尺度的小波分解变换。经过小波变换以后，原始图像会被分成包含原始图像的不同频率成分的几个子图像。如图4－14所示，appcoef2函数提取的A部分的子图区域涵盖了原始图像中的低频分量信息，也就是图像的主要特征信息；而detcoef2函数能够提取各高频分量；H部分的子图区域涵盖了原始图像的水平分量信息，即包含了很多水平边缘信息；V部分的子图区域涵盖了原始图像的垂直分量信息，即包含了很多垂直边缘信息；D部分的子图区域包含了原始图像的对角分量，即同时包含了水平和垂直边缘信息。wrcoef2函数则是对不同高低频分量进行重构图像。

本系统中特征提取的过程是先将图像变换到频域的不同尺度和方向上，再对各个尺度和方向上分解出来的低、高频系数进行分块，接下来计算每一块矩阵的方差和均值，把每块的方差和均值作为特征分量，最后将这些特征分量作为合成特征向量即可。

图4－13　滤波前后对比图像

(a)原始图像；(b)0°方向；(c)45°方向；(d)90°方向；(e)135°方向

图4－14　小波分解原理图

4.6.2.3　相同动作识别模块实现

本部分利用基于Gabor小波滤波器的频域特征分析和基于sym5小波基的频域特征分析，在监控视频中提取出相同的动作。首先对视频数据集中进行参考帧的选择、背景帧的选择、灰度化、二值化等预处理，再使用基于Gabor小波滤波器的频域分析和基于sym5小波基的频域特征提取方法，之后与视频中的每一帧进行相似度识别，得到与参考帧相同的动作帧。相同动作识别模块流程如图4－15所示。

图4－15　相同动作识别模块流程

本系统的部分测试数据来源于动作数据集，数据集有6组视频，分别包含小跑、快跑、单膝跳、抬手、开合跳、双腿跳6组动作，如图4－16所示，该数据集能够很好地将相同动作提前去除并达到提取相同动作帧的目的。该数据集中存在背景视频，以及动作视频，这两种视频是分开的。实验之前已经提前对视频做了处理，将背景视频和对应的动作视频连接起来，作为实验的视频输入，故默认视频第一帧即为背景帧。

图4－16　动作数据集部分展示(附彩插)

(a)小跑；(b)快跑；(c)单膝跳；(d)抬手；(e)开合跳；(f)双腿跳

1)视频帧预处理

视频帧预处理流程如图4－17所示，主要分为5个步骤:

(1)视频逐帧进行灰度变换，减少冗余的彩色信息；

(2)视频逐帧进行中值滤波去噪；

(3)将第(2)步处理后的图像与做相同处理后的背景帧做帧差处理；

(4)对帧差后的图像进行二值化处理，删除小于指定面积的对象(目的是去除孤立噪声)，对处理后的图像进行闭运算，闭运算能够对图像中的微小孔洞进行补充，以及对图像中的细小纹隙进行填补，并保证图像中整体的结构和形体不发生改变，使得图像边角变得更加顺畅，从而获得二值化后的图像，得到运动目标；

(5)利用第(4)步处理后图像的连通区域的信息，实现在原视频帧上的图像确定目标位置，将监控视频帧的运动目标提取出来。

图4－17　视频帧预处理流程

对6段视频中的某一帧进行预处理的结果如图4－18所示。

图4－18　预处理结果(附彩插)

(a)小跑；(b)快跑；(c)单膝跳；(d)抬手；(e)开合跳；(f)双腿跳

2)频域特征分析

目标动作特征提取流程如图4－19所示，主要分为以下4个步骤:

(1)对预处理后的目标动作图像进行频域变换，得到不同尺度和方向上的特征分量；

(2)对各尺度的特征分量进行分块处理；

(3)分别计算各分块的均值和方差；(www.xing528.com)

(4)将各个分块的均值和方差作为特征向量的分量，组成特征向量。

图4－19　目标动作特征提取流程

基于Gabor小波滤波器的频域分析算法:取5个尺度、4个方向与输入图像进行傅里叶变换并与Gabor小波滤波器相卷积，再将所得的矩阵进行均等分块，分别计算出每一块的均值和方差，将矩阵分成2×2块，得到长度为5×4×4×2＝160的特征向量。

基于sym5小波基的频域分析算法:取2个尺度、4个方向对输入图像进行sym5小波变换，再将所得的所有矩阵进行均等分块，分别计算出每一块的均值和方差，将矩阵分成2×2块，得到长度为2×4×4×2＝64的特征向量。

3)动作算法识别

相同目标动作识别算法流程如图4－20所示，主要分为以下5个步骤:

(1)选取目标动作参考帧，记为Fr，经过预处理后，进行频域分析提取特征向量作为输入；

(2)视频中的每一帧经过预处理后，进行频域分析将提取的特征向量作为输入；

(3)将视频帧特征向量与参考帧的频域特征向量使用图像相似度的公式计算出相似度，作为判断相同视频帧的依据；

(4)判定小于指定阈值Z的视频帧是包含有相同动作的图像，将其取出并显示在界面上；

(5)得出相同视频帧的数量。

图4－21是部分动作识别结果的展示，由图可得，相同动作识别结果还是比较准确的。

图4－20　相同动作识别算法流程

图4－21　动作识别结果(附彩插)

(a)小跑动作识别；(b)快跑动作识别

4)实验结果分析

对6组实验视频使用上述两种算法进行测试，评判标准是输出相同动作帧数与正确相同动作帧数的差值绝对值，记为Δ，Δ越小，越准确。本文实验中有两个实验参数:参考帧Fr和阈值Z。以快跑视频为例，都选取第15帧作为参考帧(Fr)，但选取不同的阈值(Z)，比较两种不同算法的实验结果。首先经过人工查看确认监控视频中与第15帧有相同的动作的帧数总共为9帧，将该帧数作为分母，将输出相同动作帧数与正确相同动作帧数的差值绝对值作为分子。不同阈值下两种算法的实验结果如表4－1所示。

表4－1　不同阈值下两种算法的实验结果

由表4－1可见，在较大的阈值情况下，Gabor滤波器算法识别效果相对更加准确，但容易将监控视频中原有的相同动作帧丢失。而sym5尽可能地包括满足监控视频中相同动作要求的视频帧，但同时也会冗余出一些不属于相同动作的视频帧进去，从而降低准确率。因此，两种算法在进行监控视频中的动作识别应用时各有利弊。

图4－22为基于Gabor小波滤波器目标动作识别的界面，界面中可以自由选择监控视频并设置第几帧作为背景帧，一般情况下选择第一帧或者最后一帧作为背景帧。接下来需要设定监控视频中相同动作的参考帧，根据上述实验选取第15帧为参考帧。界面参数设置完成后单击“开始识别”按钮即可运行程序，将监控视频中每一帧的动作进行选中提取，并按照Gabor小波滤波器的识别算法提取出与参考帧具有相同动作的视频帧进行显示，同时会在右下角统计相同动作帧的个数。

图4－22　基于Gabor小波滤波器目标动作识别界面

表4－2为监控视频数据集中不同动作类型的视频采用Gabor小波滤波器的算法进行测试的结果，动作分别为快跑、小跑、单膝跳、抬手、开合跳、双腿跳，对每种动作选择最优的阈值，并记录在此阈值下的误差结果。观察表4－2可以看出，选择基于Gabor小波滤波器的检测方法，在将阈值设置为0.1时获得了比较好的相同目标动作识别结果。

表4－2　基于Gabor小波滤波器的检测结果

图4－23为基于sym5小波变换目标动作识别的界面，与Gabor小波滤波器的界面设置相同，只是提取算法有所差异。界面参数设置完成后单击“开始识别”按钮即可运行程序，对监控视频中每一帧的动作依次进行选中提取，并按照基于sym5小波变换的识别算法提取出与参考帧具有相同动作的视频帧进行显示，同时也会在右下角统计相同动作帧的个数。

图4－23　基于sym5小波变换目标动作识别的界面

将基于sym5小波滤波器的算法进行动作数据统计，得到的检测结果如表4－3所示，结合表4－1与表4－3可知，若选择基于sym5小波变换的算法提取相同目标动作时，将阈值设置为0.01左右，取得了较小的误差。

表4－3　基于sym5小波基的检测结果表

对两种监控视频中动作识别算法的结果统计表进行对比可以看出，基于sym5小波变换的算法需要设定更小的阈值作为评价视频中相同动作的标准，得到的误差更小，结果更精确。