基于循环神经网络的单目标检测与跟踪

尽管单目标跟踪的理论研究取得了显著的进展，但大多数算法是有前提条件的约束或者目标物体处于比较简单的环境中，如背景处于静止状态下，对不会发生形变的单目标跟踪等。单目标跟踪算法仍面临着复杂场景非约束条件的影响，特别是在实际场景中，如目标自身的姿态变化、尺度变化、平面内外旋转、遮挡等，都会给单目标跟踪技术的研究和应用带来极大的挑战，使得目标跟踪技术很难应用于实际生活中，主要有如下挑战。

（1）遮挡（Occlusion，OCC）。遮挡问题是大部分计算机视觉任务中的一个研究热点。当发生遮挡时，遮挡物会产生错误的信息，影响跟踪器获取目标的有效信息，使得跟踪器的稳定性下降，导致跟踪器在后续帧的跟踪中偏离目标所在位置。针对还留有一部分目标信息的遮挡情况，可以利用这部分信息对目标建模，同时尽量将被遮挡的无用信息滤掉，避免无用信息对跟踪器的干扰；对于全部遮挡的情况，首先要判断目标是否被全部遮挡，如果出现全部遮挡，不再对跟踪器进行更新，将遮挡部分的无用信息全部丢弃，等到目标重新出现时再进行跟踪。

（2）尺度变化（Scale Variation，SV）。尺度变化是指目标与摄像机之间的距离发生变化，即发生相对运动时目标的尺度发生剧烈的变化。当用边界框来描述目标所在位置时，如果边界框的大小未随目标大小的变化而做出相应的改变，会对目标区域特征的提取产生影响，使得提取的特征包含的目标信息不足或背景信息冗余。因此，如何自适应地改变边界框大小，即实现多尺度的跟踪器也是一大挑战。(www.xing528.com)

（3）降低目标跟踪算法性能对目标检测算法性能的依赖性。目前tracking-by-detection的跟踪算法是在整张图像上提取特征并进行目标检测，确定目标所在的大致位置，然后使用bounding box regression（边界框回归）的方法得到目标所在的精准位置。这样目标跟踪的性能很大程度上依赖于目标检测的性能，使得目标检测算法性能的瓶颈限制了目标跟踪算法性能的提升。因此，如何降低目标跟踪算法性能对目标检测算法性能的依赖也是要解决的一大难点。

基于上述研究背景及研究难点，本节将研究重点放在了基于循环神经网络的单目标检测与跟踪算法的精度以及速度的提升上。在给定一个视频帧的情况下，考虑到连续视频帧之间的运动关联关系，首先设计基于循环神经网络的运动方向预测模型，来预测目标下一帧大致的运动方向；然后结合运动方向模型预测得到的目标下一帧的运动方向确定感兴趣区域（Region of Interest，ROI），为了便于获取更多的上下文信息，设定一个阈值β，ROI的大小一般设置为上一帧边界框的β倍；接下来在ROI内进行目标检测，确定目标下一帧的位置；得到的边界框回传到方向预测模型，作为方向预测模型下一帧的输入，完成整个跟踪系统。同时，为了实现实时的目标检测与跟踪系统，使用了模型压缩的方法，进一步加快了系统跟踪的速度。此外，提出了一种相关滤波与深度学习结合的跟踪算法，用确定的感兴趣区域初始化相关滤波器，设定一个阈值，当得到的预测框与真值框的Io U大于阈值，得到的预测框作为方向预测模型下一帧的输入，当Io U小于阈值，在确定的感兴趣区域内进行检测。