在人体行为识别研究中，融合RGB和深度图像上的底层特征，如梯度-光流特征HOG/HOF，三维梯度直方图特征HOG3D，三维运动-尺度特征3D MoSIFT等，是提升人体行为识别性能的一种有效途径。其中，由纹理谱演变而来的局部二值模式（LBP）凭借其原理简单、计算方式简洁、容易实现和对图像旋转、尺度的不变性等优点，在图像分类、人脸识别、行为识别等领域受到研究者的广泛关注。作为LBP在三维视频上的推广，时空局部二值模式能够描述人体运动过程中纹理信息在空间和时间上的变化，是一种可用的时空纹理特征描述子。本节研究融合RGB图像和深度图像的时空局部二值模式来提高人体行为的识别性能。
受紧致二值人脸描述子（Compact Binary Face Descriptor，CBFD）算法的启示，将二值学习方法拓展到三维的RGB和深度图像序列（视频）上。首先针对已有时空局部二值或三值模式的描述能力不足问题，研究基于相邻帧邻域的三维像素差向量（3D PDV）、深度差向量（3D DDV）计算方法，更好地捕捉人体运动过程中颜色（深度）信息在时间和空间上的变化。然后针对人工设计时空局部二值或三值模式导致得到的特征区分性不足问题，在提取的三维像素差和深度差向量基础上，采用耦合二值特征学习算法同时从局部RGB视频块和深度视频块中自动地学习适用于描述不同行为的二值特征，并将其作为人体行为的局部特征表示。对于二值特征在深度图像上的描述能力有限问题，在耦合二值特征学习的过程中加入时空局部关联约束提升局部二值特征在深度图像上的表达能力。最后在视频的整体描述上，通过VLAD编码方法对耦合二值特征学习到的局部二值特征实现整合，同时结合空间金字塔池化和Rank Pooling操作保持局部二值特征在空间和时间上的关系，从而得到用于人体行为识别的时空纹理特征描述子，即3D Compact LBP（3D-CLBP），3D Compact Local Depth Pattern（3D-CLDP）描述子。通过在公开的数据集ORGBD、MSRDaily-Activity3D以及UTD-MHAD上的实验，验证了所提出方法的可行性和优越性。此外，通过不同融合策略，验证了结合RGB和深度图像的信息能够有效提升单一模态下人体行为识别的性能。(www.xing528.com)
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
