热红外图像人体目标检测方法

图像分割是根据图像的某些特性将图像中的像素归类成若干个互不相交的统计均匀的子区域（或集合），达到确定感兴趣目标在图像中的位置的目的。如果用P表示图像内的像素集合，Si表示分割区域像素集合，则图像分割可用式（3.1）来形式化地描述［57］：

常用的热红外图像分割方法包括以下几种。

1）边缘检测法

边缘检测法通过边缘检测算子，例如Prewitt算子、Sobel算子、Canny算子等，检测图像目标的边界，从而分割出图像目标。由于这些算子往往以图像梯度信息为基础，所以对场景简单且成像质量较好的图像比较有效，对场景复杂的图像则容易出现目标边界不完整、虚假边缘多以及易受噪声影响的问题。

经典的边缘检测算子对热红外图像的分割性能往往不佳。为此，研究人员提出了若干改进算子。以轮廓显著性图（contour saliency map，CSM）算子［58］为例，为处理热红外图像中人体边缘模糊且存在光晕效应的情况，它在估计图像背景的基础上通过抑制过大和过小的梯度幅值，减弱人体边缘处的光晕，由此减少虚假边缘的发生，但是因为人体某些部位的轮廓相当弱，边界断裂问题仍难以避免。相对基于梯度检测的边缘检测算子，诸如基于最小核同值区（smallest univalve segment assimilating nucleus，SUSAN）算子［59］、相位一致性（phase congruency，PC）检测［60］等非梯度边缘检测算子能更加有效地处理噪声与弱边缘，所以它们对热红外图像中人体目标的边缘检测更准确、可靠。

2）阈值分割法

阈值分割法假设图像中每个目标区域是由许多灰度值相近的像素构成且前景目标和背景之间或不同前景目标之间的灰度有明显差别，由此可以通过选取合适的灰度阈值把目标与背景分开。由于热红外图像中人体目标的灰度一般比背景灰度高，因此阈值分割是一种简单有效的方法，但是阈值分割得到的人体目标通常不完整，需要较多后处理。

阈值分割法按确定阈值所用信息的来源可分为直方图形状分析法、基于聚类法、熵方法、基于目标属性法、空域信息法及局部自适应阈值化法等。直方图形状分析法通过对平滑直方图的峰、谷、曲率等的分析确定分割阈值；基于聚类法将图像灰度聚类成背景与前景（目标）两类，或用两个高斯混合模型拟合确定分割阈值；熵方法根据图像前景与背景的信息熵或阈值化前后的图像交叉熵等的极值化求解确定分割阈值；基于目标属性法根据灰度级与二值化图像的相似性测度，例如模糊形状相似性、边缘一致性等确定分割阈值；空域信息法根据像素间高阶概率分布与（或）相关性确定分割阈值；局部自适应阈值化法根据图像局部特性确定图像局部分割阈值［61］。

阈值分割法也可以划分为参数方法和非参数方法。参数方法根据图像的一阶统计特性进行参数拟合确定图像分割阈值。参数方法的不足主要在于：①最优阈值并不总是位于高斯分布的交叉点；②若图像直方图本身是单模的或者两类分布具有高度重合特征，则它们的有效性将严重退化；③自然界中有些类型图像的直方图分布不能用高斯分布来描述；④如果图像阈值化过程中的类别数增加，则计算量将呈指数形式增长［62］。非参数方法通过优化某些后验准则函数实施阈值分割，在这个过程中不涉及图像各类分布参数的估计。典型的非参数方法有p-tile法［63］、Otsu法［64］以及熵方法（最大熵、Renyi熵、Tsallis熵、交叉熵等）。其中，p-tile方法假定图像由黑目标与亮背景构成，并假设目标区域的面积已知，那么最优阈值为使分割图像中目标区域包含的像素至少占（100-p）%的灰度级。Otsu法通过最大化类间方差确定阈值，对于直方图呈现明显的峰谷分布特征的图像，分割效果很好，而对于直方图分布呈单峰分布或峰谷特征不明显的图像，分割效果不佳。熵方法的数学机理和物理意义比较明确，适应性和实际性能较好。

面向热红外图像，研究者也提出了很多确定阈值的专门准则［65］，例如图像最大灰度值与一个预设常数的差，图像直方图中最后一个（没有饱和的）局部极小值，图像均值和最大灰度值的加权值，按直方图中曲线平滑部分下的面积占曲线下全部面积的比例确定的值，根据模糊Havrda-Charvát熵确定的值，根据图像均值与标准差确定的值等。

3）基于图像高阶统计量的分割方法

这类方法基于对均值、方差、熵、直方图、多维空间距离等图像基本统计量的整合运算形成新的高阶统计特征量，用于图像分割。常用的图像高阶统计量有图像灰度共生矩阵，二维灰度直方图的熵及模糊熵，二维直方图最大相关准则等。这些算法往往复杂度高，运算量巨大，需要充分结合遗传算法、免疫算法、神经网络等最优化数值算法，才能够得到图像分割结果［62］。

4）聚类分割法(www.xing528.com)

聚类分割法通过对图像灰度特征或其他高阶统计特征进行聚类分析实现图像分割，可以划分为硬聚类和软聚类两类。以K-均值（K-means）为代表的硬聚类认为每个像素只属于某一类，在运行时计算像素距离各聚类中心的距离，若离某类中心距离最小，就将该像素归为此类，然后迭代寻优直到各聚类均值不再变化。以模糊C-均值（fuzzy C-means）为代表的软聚类算法考虑图像具有不准确、不全面、模糊的特点，认为每个像素一定程度上都属于多个类别，于是计算像素属于各个类别的可能性，据此将像素判定为可能性最大的类别。相较而言，软聚类算法的聚类效果较硬聚类算法更好，但计算量明显增大。

聚类分割法的最大困难是难以确定准确的聚类数目。若设定的聚类数目过少，图像中的大量背景区域会误分为前景区域，而数目过大则易受噪声影响。另外，聚类中心的初始值对聚类结果也有重要影响，若设置不当，可能导致聚类失败。因此，聚类算法在实践中往往需要关于图像的先验知识，以此在特征空间分析时加入约束条件。

应用聚类分割法分割热红外图像时，由于红外图像直方图分布极不均衡，多数情况下直方图中目标和背景的分布并不是简单的双峰形状，简单使用聚类算法往往难以得到合理的分割结果［9］。为此，采取诸如K-均值聚类结果修正［66-67］等改进的聚类算法，有助于改善聚类分割效果。

5）空间分割法

这类方法首先将图像分为若干“初始”区域，然后基于一定指标分裂或合并这些区域，接下来逐步改进区域分割的指标，直到最后将图像分割为数量最少（或符合某一要求）的“基本一致”的区域为止。这类方法对噪声相对不敏感，且计算复杂度较高。这类方法主要有区域生长算法、分水岭算法、活动轮廓模型（active contour models，ACM）等。

区域生长算法的基本思想是基于一定相似判别准则，从一组生长点开始将与生长点相似的相邻像素或者区域与生长点合并形成更大的区域，并重复此过程直到满足停止准则为止。选择合适生长点、确定相似性准则以及生长停止条件是区域生长算法的三个关键。区域生长算法通常能将具有相同特征的连通区域分割出来，具有生成过程控制灵活、提供边界信息明确的优势，但计算量往往很大。图像中的噪声和灰度不均容易导致空洞和过分割。

分水岭算法是一种基于拓步理论的数学形态学分割方法。它把图像看作测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。分水岭的形成可以通过“模拟浸入”过程［68］来说明，即在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝即形成分水岭。分水岭算法对微弱边缘具有良好的响应，因此容易产生过分割的现象。该问题可以利用先验知识删除无关边缘信息或是修改梯度函数，使得集水盆只响应所探测的目标的途径得到改善。

ACM实现图像分割的基本思想是将图像目标边缘视为连续光滑的封闭曲线，然后基于图像边缘、区域、目标形状等信息演化该曲线，使之在图像定义域内从初始位置逐步发生移动和拓扑变化，最后停止在目标边缘形成目标轮廓，从而将目标从图像中分割出来。由于该封闭曲线能较好地描述目标轮廓，故通常将此曲线称为活动轮廓曲线。早期出现的参数化ACM［69］中，轮廓曲线是参数化表达的，它在先验模型和图像数据构成的能量函数驱动下逐渐变形并最终到达目标边界实现图像分割。在此过程中，存在曲线拓扑变化（即曲线的分裂与合并）难以有效处理的缺陷。随后出现的几何化ACM［29，70］解决了参数化ACM的缺陷。几何化ACM中的轮廓曲线是非参数化表达的，而且其演化过程是基于曲线几何特性度量（如法向矢量、曲率等）进行的。此外，几何化ACM通常与水平集方法相结合，这样活动轮廓曲线被表达为水平集函数（level set function，LSF）的零水平集，然后模型通过演化LSF而非活动轮廓曲线本身，实现了对曲线拓扑变化的灵活处理。变分水平集活动轮廓模型［71］属于另一类几何化ACM。这类模型来源于与图像（或分割目标）相关的某种能量函数。由于能量函数可自然地融入图像边缘、区域、运动或物体形状先验知识等附加约束信息［72］，因此解决复杂图像分割问题的能力更强。以演化LSF实现曲线演化的几何化ACM统称为水平集活动轮廓模型（level set based active contour，LSAC）。

6）运动分割法

这类方法常用于分割序列图像中的运动目标，主流方法为背景相减法、帧差法以及光流法。背景相减法是将图像帧和参考背景相减，然后在绝对差值图像上实施前景检测，从而确定其中的运动区域。它要求场景背景不变或缓慢变化。帧差法是在连续帧图像间做差分，然后在差分图像中检测运动区域获得前景目标。帧差法响应场景变化及时，但分割出的运动区域通常很不完整，一般需要较多的后处理步骤加以修复。光流法假定图像变化完全由目标或背景的运动引起，通过计算光流场的二维瞬时速度场来实现运动目标检测。光流法能够获得完整的运动信息，且对场景变化、相机运动的鲁棒性好，主要缺陷是抗噪声能力较差。大多数光流计算方法复杂度很高，难以实时运行，在实践中往往要使用较低复杂度的光流计算方法。由于热红外成像质量差、人体形态复杂多变，加上运动分割法自身固有的缺陷，基于时空信息联合的运动分割能够改善分割质量，代价是计算复杂度较高。

7）其他方法

除以上方法外，研究者还提出了例如马尔可夫随机场、方向投影、最大稳定极值区检测等其他方法。这些方法在复杂程度和运行效率等方面各有优缺点。例如，方向投影法通过沿主轴方向对前景像素灰度求和并阈值化，实现对人体目标的粗定位和对粘连区域的分离，具有简单高效的优点，但它不能处理形态较复杂的人体目标。最大稳定极值区检测法能够检测图像中的高亮平坦区域，但要获得完整人体区域，还要借助人体形态先验知识，对初始检测结果做大量过滤与合并处理。