技术应用及优势分析

实时深度估计的实现算法可以解决计算立体视觉的主要问题,由三个主要步骤组成：①摄像机校准和矫正;②立体匹配计算;③重建。本节提到的系统已经实现了自适应区域导向方法,同时也使用其他立体匹配过程。

本文提出的立体匹配算法如图8.15所示。因为这个过程处理地址事件,因此和传统的立体视觉系统有明显不同。区别如下：①地址事件需要用特殊的方法来积累（accumulated）,目的是为了找出左右传感器信息重要的相关性;②相关性计算只能由相关的传感器阵列来完成,这有助于将所需的处理器资源最小化。功能模块,如帧组建,集成,地址事件匹配反映了这些不同,这些特点对于把地址事件表达为合适的形式并且为接下来的相关性计算准备地址事件数据是很必需的。此外,为了利用基于地址事件处理方法的优点,我们修改了使用标准化区域导向算法的立体相关性计算方法。

图8.15 用于瞬态视觉传感器的立体匹配模块算法

校准：摄像机校准可以通过应用平移因子来实现,例如将对共轭核线对变为一条直线^[204]。

帧组建：因为地址事件数据流是异步的,帧组建模块用于把持续的DT时间内的地址事件按时间段进行划分,称之为帧。DT决定了三维传感器系统的时间分辨率,它是一个可变参数,可以参考场景的特征时间尺度和时间视觉传感器偏置值的设定来选定这个参数。这种系统中典型的DT值在5～50ms,如果与传统的基于帧的立体视觉系统相比较,这就等同于200～20fps的有效帧速率。

积分：这些地址事件是由它们的像素坐标和极性（开和关）累加获得的。在时间kDT和位置（x,y）累计的事件速率信息包含在AE_act的幅值中,如下式：

这里,k=0,1,2;AE_act（kDT;x,y）是一个单个AE在时间t_ev,坐标为（x,y）处的极性。关是-1,开是+1。

地址事件匹配：事件是以列表的形式存储的,每一帧包含在DT时间范围内脉冲信号的像素参考值。这个功能模块要通过搜索左视觉传感器的每一个脉冲像素以及它在右视觉传感器中的对应脉冲像素来获得可能的匹配集。搜索要在参考核线（在两个传感器阵列的相同行）和视差范围来进行,进而产生一个匹配候选集列表。这样,可以直接读取相关阵列区域,避免了对整个阵列进行相关性计算。进而扫描左边阵列中的像素,通过评价相似性测度来获得右边阵列中与之最匹配的点,这个过程对沿着每一个传感器线的AE（地址事件）重复进行。

相关性计算：立体匹配过程是一个优化过程,它要在相似性测度F的基础上,从左右输入的两个累计事件速率中找到最佳的视差d_opt。

(www.xing528.com)

我们使用并测试了几种不同的相似性测度,例如归一化互相关,二次方和以及census变换^[588],但是性能最好的是归一化绝对差之和（Normalized Sum of Absolute Differences,NSAD）,这种方法是与地址事件（AE）特性相关的自适应匹配算法。给定视差d,根据NSAD值,可以评价匹配的质量,定义如下：

B定义为匹配核（kernal）的大小（它已被设定为15×15）。AE^L（x,y）、AE^R（x,y）是分别在左右传感器得到的像素地址（x,y）AE之和。

相容性检测：立体匹配由左右匹配来完成,即对左帧每个阵列元素计算相关性,可以得到右帧与之匹配的元素。相容性检测调整相关性计算以减少从右到左的像素匹配数量。这样能够增加结果的可靠性,并且还有助于消除由于重叠而缺少深度信息区域的错误匹配。

匹配搜索与优化：匹配搜索和最优化其实就是一个优化问题,它是通过对整个阵列行求取最小的相关和来获得每一个像素的最佳视差。

稀疏视差图的建立：通过收集所有像素的单个视差构建视差图。图8.16给出一个稀疏视差图的实例。

图8.16 集成地址事件描述（左和中）的监视物体的深度轮廓实例以及由此产生的稀疏深度图（右）（为了使地址事件数据可视,累计计算了20ms的事件,并以视频帧形式存储）

重建：最后,利用视差图和立体视觉系统几何学,完成每一个像素的深度信息计算,实现重建步骤。深度信息可以提取出来并且通过使用三角等式的第三坐标来表示：

这里,f是系统物镜的焦距;基线T是传感器（焦点）间的距离;d是视差。