视频协同跟踪研究现状分析介绍

双摄像机目标协同跟踪和定位涉及目标的检测、双摄像机的标定及双摄像机的协同控制等相关技术。近十几年来，人们在不断地探索和完善双摄像机下的目标检测，行人身份识别是安防监控中的重要课题。远距离行人身份识别系统（The Distant Human Identification，DHID）首先通过广角摄像机对运动目标对象进行检测，然后对目标对象进行简单的分类，接着将摄像机旋转的角度设定为行人位置。该系统中运动摄像机跟踪行人获取图像时采用的是固定焦距方式。运动摄像机通过广角摄像机检测结果来对运动目标进行跟踪，以便获得感兴趣区域的信息，并不分析和识别运动目标的特征。目标检测的结果实现了广角摄像机拍摄到的目标对象的位置信息解析，双摄像机的自动标定模块指引运动摄像机对准广角相机中的观察目标。一些研究人员采用全景相机作为广角视场拍摄视频，在广角视场中检测出场景里的人脸画面，来驱动运动摄像机转动，对准观察范围内的人脸图像。在交通监控系统中，研究人员在广角视场里检测出特定的交通标识符，来驱动运动相机对准视野范围内的交通符号并进行识别。但是，这种方式下的运动相机不能控制缩放，交通符号识别精度受到影响。在智能监控系统领域，科研工作者在以下国际学术期刊发表了一大批高质量的多摄像机协同跟踪及识别方面的文献，如IEEE Transaction on Pattern Analysis and Machine Intelligence（PAMI）、Image and Vision Computing（IVC）、Computer Vision and Image Understanding（CVIU）、International Journal of Computer Vision（IJCV）等，以及国际知名的学术会议，如IEEE Computer Society Conference on Computer Vision and Pattern（CVPR）、International Conference on Computer Vision（ICCV）、European Conference on Computer Vision（ECCV）、IEEE International Workshop on Visual Surveillance（IWVS）、International Conference on Image Processing（ICIP）等。在国际范围内诸多专家和学者的一起努力下，智能视频监控技术已经得到了长足的发展，并产生了很多创新性的研究成果。

从现有的涉及多摄像头目标跟踪研究的成果来看，主要的研究工作集中在了图像处理、摄像头校准和人工智能相结合，以及实际应用场景相结合的方向上。另外一些学者，针对系统结构和摄像头信息交互领域进行了大量开创性工作，如基于多摄像头跟踪系统的视角稳定策略提出了一种多视角目标跟踪的结构。该系统由一个动态和一个静态的摄像头组成，多个摄像头之间通过稳定策略工作，有效减少了跟踪误差；提出了基于多个摄像头跟踪的数据融合方法，信息交互通过简报机制，各个摄像头对目标进行跟踪时经过粒子滤波器，采用格式简报形式交换各自的目标跟踪信息。由于增加了信息交换机制，系统可以有效地规避错误，对于遮挡有很好的效果，能够提升整体跟踪算法的鲁棒性。近些年，传感器网络研究发展很快，使摄像头和系统结构之间的信息交互研究得更加深入。近期研究热点集中在一种嵌入式智能前置的多摄像头系统上，预测该系统将会成为未来发展方向之一。这种分布式系统是一种实时嵌入式系统，使用摄像头来实现计算机视觉功能。通过每个摄像头来获取图像、分析图像，在前端完成典型事件的视频解析和结构化表达的功能。系统能够获取图像，并且生成人们需要的数据，进而识别到感兴趣的目标和目标行为。这种新的发展趋势得益于计算机视觉、成像传感器、嵌入式计算和传感器网络等4个方面的协同发展。

在国内，上海交通大学、清华大学、中国科学院自动化研究所、中国科技大学等在智能视频监控领域也取得了许多科研成果。在这一领域，中国科学院自动化研究所模式识别实验室进行了大量研究，在人体运动分析、交通场景视频监控、交通行为事件分析以及智能轮椅视觉导航方面都获得了很多科研成果。近年来，随着研究的深入，《计算机学报》《软件学报》《自动化学报》《控制与决策》等一些杂志对智能监控系统中一些关键技术刊登了一些高水平的学术文章，出版了视觉监控专刊。

为了促进国内智能视频监控的发展，中国科学院自动化研究所在2016年10月19日举办了第四届全国智能视觉监控会议。本次大会邀请了国内外相关领域知名学者专家做大会特邀报告。结合深度学习的发展，香港中文大学王晓刚教授介绍了基于深度学习的多项智能视觉监控研究成果。澳大利亚昆士兰大学教授Brian Lovell在非配合环境下的CCTV人脸识别问题上做了深入的探索，并取得了很大突破，在会议上做了针对该问题的报告。澳大利亚悉尼科技大学教授陶大程针对监控场景中的多视角学习技术进行了报告，并揭示了该领域发展状况及趋势。

综上可见，跟踪理论和方法的不断深入研究，使得目标跟踪能够实现更好的精度和更大的范围，与此同时，跟踪算法的计算量也不断加大，计算步骤的复杂性也越来越大。如跟踪滤波，从最初的卡尔曼滤波器的线性滤波发展到非线性的粒子滤波算法；目标检测识别方法由开始的灰度模板匹配发展到多特征结构相似度指数计算方法；信息交互融合算法已经发展为采用神经网络模糊推理的人工智能方法。近年来，随着半导体技术的长足发展，嵌入式系统的成本在降低，体积不断减小，同时计算能力和功能实现方面在加强，这样复杂的算法实现更加可行。摄像头目标跟踪理论方法研究同传感器发展、图像处理技术、嵌入式计算以及网络技术的发展是密切相关又相辅相成的。

视频系统跟踪的主要应用场景是监控视频系统中人员目标的接力跟踪，分为重叠场景下的接力跟踪和非重叠场景下的接力跟踪。即便是具体到重叠场景下的人体目标的跟踪，仍然面临着很多难题。主要的难题有：人体运动是非刚体运动；物体三维影射到二维时深度信息的丢失；视频中人体影像自遮挡和被遮挡；背景的不断变化；光照变化；运动模糊；前景检测提取不完整及误检；人体模型初始化和更新等问题，由于存在诸多的客观因素，使得人体目标跟踪仍有很大的技术挑战性。

1）人体的非刚体运动

人体运动相对其他运动比较复杂，它是由骨骼驱动，带动复杂的关节运动，相当于是多个复杂的刚体运动一起构成。再加上人穿着衣物柔软可变形，导致在视频跟踪过程中，很难建立模型来模拟人体运动。尤其是在风的吹动下，衣服将会随风飘动，而且人们还有可能手持雨伞或肩挎背包，所有这些不可预知的复杂因素都决定了真实世界中的人体运动是高度复杂的非刚体运动。这给人体目标跟踪带来了很大困难，所以必须研究新的非刚体运动分析方法来解决复杂的人体运动。

2）三维投影到二维引起深度信息丢失

将真实世界中的三围物体投影到二维图像中将会丢失深度信息，这是在计算机视觉里必须面对的困难，尤其是在基于单摄像机人体目标跟踪过程中。很多研究者用多个摄像机对准一个场景进行拍摄，得到多个角度的拍摄画面，试图将三维信息重建出来，避免摄像机成像过程中深度信息的丢失。但是，这种方式不仅提高了成本，最关键的是，如何对多个同步视频进行有效合理的融合仍是一个很难解决的问题。

3）遮挡和自遮挡

由于视频人体目标跟踪过程中所应用的环境是比较复杂的，很可能被周围的物体部分遮挡或者全部遮挡以及人体的自身遮挡。由于遮挡现象的存在，使得人体部分信息会丢失，或者造成颜色改变，经过抽象得到的人体模型同完整的人体模型不符合。(www.xing528.com)

4）背景的运动变化

在实际环境中，视频跟踪的背景一般是实时变化且相对复杂的，比如，背景中的物体随着风力来回摇摆，雨雪天气等，给背景重建造成困难，人体目标跟踪也有很大挑战性。小范围内的动态背景目标随机移动和定向漂移，使得同一像素位置上不同物体会出现混淆。例如，湖面反光，树叶随风摇摆，在不同的时刻会出现像素叠加，在图像的同一位置出现树枝、树叶、天空等的叠加存在。

5）光照变化和运动模糊

外观变化会随着光照条件不同而起变化，分为渐变、突变和随机干扰等情况。大自然环境中日夜更替、四季轮回、乌云遮挡太阳等都会造成物体目标的色彩发生变化，另外，在跨摄像机跟踪的应用中，拍摄点不同会引起光照不同，有的在阴暗处，有的在室内，有的在炎炎烈日下，有的在窗口处等。环境的光照条件使人体的颜色信息发生变化，给人体的目标跟踪也带来了很大的困难。人体运动速度很快时，摄像机的拍摄速率有限，获取到的视频中运动图像模糊不清，也给人体的运动分析造成困扰。

6）人体模型的自动初始化及更新问题

人体模型初始化问题仍然是人体目标跟踪过程中的比较棘手的问题。自动初始化人体颜色模型利用计算机自动将单个人体目标在背景中提取出来。在真实的场景中，情况还是比较复杂的。例如，一群人进入某个场景，恰好同出来的人群发生遮挡；在太阳光太耀眼时，人体的阴影很长，以及由于遮挡部分人体信息丢失，这些都给自动初始化带来很大的难题。不能得到完整的初始化信息，或者带很多噪声，则跟踪效果一定很不好。所以如何自动地将一群人、发生遮挡的人、带有阴影的人等情况有效地分割与识别仍需要继续研究与探索。另外，在人体跟踪的过程中，模型自动更新时也会加入噪声信息，或者丢失人体的部分信息，如若不更新模型，那么光照条件发生变化，当前人体模型会与初始化模型产生偏差。综合以上各种情况，现阶段大多数的基于视频的人体运动跟踪系统，已经依赖手动初始化人体信息模型，在后续的跟踪过程中，人体的颜色模型不再更新。这种方法尽管无法避免误差和噪声干扰，但是可以降低由于更新而产生人体目标误跟踪的问题。

7）前景检测不完整或误检测

随着时间变化，场景也将随之变动，前景与背景之间出现相互转换的情形。比如监视停车场变化的一段视频，有个车辆进入停车场后静止下来，然后从车辆中走出一些人，那么这里停下来的车必须马上变为背景，然而要将车辆变为背景还需要一段时间学习。视频进行更新背景模型还有背景与前景之间相互混淆的情况。其特点是，背景与前景颜色相似，如穿着红色衣物的行人在红色装饰的环境下，很容易被判为背景的一部分，从而导致背景的局部出现错误变化。另外，前景阴影会造成把突变背景误判为前景，将阴影部分的背景误提取出来。

8）实时跟踪难度较大

人体目标跟踪里面涉及大量的图像数据信息，处理算法的复杂性很大，运算数据量也很大，这样，如何降低算法的复杂度和消耗的时间，是实现人体目标跟踪的一个重要难题。

科研工作者对人体目标跟踪中遇到的复杂问题进行了不同程度上的简化，将现实环境同人体进行了假设和约束，采用丰富的理论知识辅助解决跟踪中遇到的问题和困难。本文的枪球联动系统也是根据目前应用中的主要关注点进行了一些必要的简化和假设，比如说，在场景中同时出现多运动目标，我们的枪球联动跟踪策略是系统自动选取最近的目标进行跟踪，也可以人工选取目标进行跟踪。此外，我们的应用场景主要是考虑一些特殊时段重要场所的安保要求，比如核心办公区域、非开放日的大型展馆等，这些情况下环境光照变化不剧烈，人员运动相对缓慢，人体目标外观基本不变。本报告基于以上相对宽松的情况下开展应用研究，为其能在更复杂场景下的应用奠定了基础。