水下3D图像重建与SLAM技术在人工智能与船海工程中应用

SLAM技术目前已经是自主移动机器人不可或缺的一种环境感知技术，借助于SLAM不但能够感知环境的三维信息，而且还能够做到机器人位置和姿态的估计。SLAM技术本身涵盖很多方面的内容，在实现过程中也会借助于很多图像处理方面的技术，在程序编译过程中更是需要多个模块共同来完成。SLAM的基础理论本书不再详细阐述，SLAM技术的分类和代表性的论文以及开源代码请参照表5-2。

表5-2　SLAM技术总结以及开源代码

（续表）

水下3D重建技术的应用包括：检查、测绘、监测、科学研究等很多方面。3D传感器系统通常安装在船舶、潜艇和水下机器人上，如自主水下航行器或遥控运载器，通过3D图像重建可以提供许多定量测量：物体大小、面积、体积和形状。这些数据既可以用于操纵任务，也可以用于在线或离线分析和检测。

在3D成像方面有很多种技术，光视觉相较于无线电和超声等方式来说，可以提供更高的清晰度和分辨率的图像，光视觉技术在海洋生物学中的3D形态计量测量、水下动物研究、海底制图、水下考古、海底结构的检验等方面都有很广泛的应用。

在以往的研究中已经使用了很多不同的特征描述符和匹配器。基于尺度不变特征变换（scale-invariant feature transform，SIFT）算法和加速稳健特征（speeded up robust features，SURF）算法的3D重建技术是较为常规的做法。J Servos等人对BurbBee2相机（12 cm基线）产生的深度图像进行折射投影校正［237］。与标准方法相比，用这种校正得到的结果具有更好的精度和更多的像素对应性。该方法通过补偿由折射引起的图像畸变来生成密集的、几何精确的水下环境重建。使用校准图像离线计算相机和外壳的折射模型，并产生用于立体匹配的非线性外极曲线。采用一种高效的块匹配算法遍历预计算的极性曲线以找到像素对应关系，并且使用像素射线跟踪来计算深度。最后，深度图被用来执行密集的同时定位和映射，以生成环境的3D模型。通过定位和映射算法结合折射校正光线跟踪以提高地图质量。图5-30显示了使用径向校正生成的地图与使用全折射校正方法生成的地图的比较。从图中可以看出，折射校正地图具有平滑的特征，平坦的表面表现出较少的曲率。这是因为连续帧具有更好的全局一致性，从而与全局地图更精确地对齐。还应当注意，径向校正版本的收敛特性显著地更差，因为最近点迭代（Iterative Closest Point，ICP）在对准帧时具有更差的对应信息。通过比较ICP最小化的平均误差和有效对应百分比可以定量地证明映射的全局一致性。这种匹配方法显示深度图像与全局地图的匹配程度，如果给定深度图像以最小的误差与全局地图匹配，并且具有大量正确的对应关系，则该地图可以被认为是测量场景的精确表示。

图5-30　利用径向校正和全折射校正的水下场景SLAM性能比较［238］

Andrew Hogue等人开发了一个立体视觉—惯性传感装置，并用以重建水域和地域中的复杂3D结构［208］。该传感器在时间上结合使用立体视觉算法与3DOF惯性传感器获得的3D信息，然后将得到的点云模型转换为体积表示，并提取纹理多边形网格用于后续处理。从水下序列的样品定性重建，如图5-31所示。图5-31a显示了一个凹陷的驳船模型的一小部分，珊瑚礁生长在其表面上；图5-31b示出了用行进立方体算法获得的模型的多边形网格表示；图5-31c显示了回收的驳船的大部分。

Francisco Bonin-Font等人比较了基于立体视觉的两种不同的SLAM方法——Graph-SLAM和EKF SLAM，用于水下运动水下机器人的实时定位［239］。这两种算法处理纯3D数据，用（X，Y，Z）表示水下机器人位置和四元数来表示其方向，目的是评估和比较这两种方法在机器人姿态估计中的准确性方面的性能。首先在可控的水生场景中进行实验，验证了建立高度可靠的地面视景是可行的，显示了在相同的工作和环境条件下，Graph-SLAM方法优于EKF方法。在海中进行了第二组实验，结果显示出相同的趋势。Carrasco随后又采用该方法在AUV上进行了验证［240］。(www.xing528.com)

鲁棒的、可扩展的SLAM算法是水下机器人在实际应用中成功与否的关键。在许多情况下，这些平台从大规模、非结构化环境中传递大量传感器数据。这些数据可能很难被终端用户解释，而不需要进一步的处理和合适的可视化工具。Johnson-Roberson等人提出了一个强大的，大规模的三维自动化3D重建和可视化系统，该系统可以在AUV上建立多边形网格形式的海底详细的3D模型［241］，同时能够处理成千上万的图像，实现视觉焊缝在纹理和立体网格误差校准，三角网格之间所产生的不一致等问题。盖方法通过估计的局部结构，结合这些估计恢复复合地理结构估计水下机器人的姿态。

图5-31　水下序列的样品定性重建图［239］

Enric Galceran等人提出了一种利用AUV规划覆盖路径以检测海底复杂结构的新方法［242］。该方法最初使用2.5维的先验水深图来规划命名覆盖路径（nominal coverage path），从而实现AUV的传感器能够遍历目标区域上的所有点上。命名路径在有效的平面区域中使用标准的割草模式（mowing-the-lawn pattern），在具有实质3D地貌的区域中，它遵循给定偏移距离的地形水平轮廓。然后，Enric Galceran等人提出的方法考虑了航行器的状态不确定性，而不是依赖理想路径执行的不切实际的假设，提出了基于随机轨迹优化的重规划算法，该算法重塑命名路径以适应现场感知的实际目标结构。再规划算法在检测任务中实时运行在AUV上，根据航行器测距声呐提供的测量值调整路径。此外，Enric等人还提出了流水线的最先进的表面重建技术，通过AUV获得的数据获得3D模型的结构。

Gabrielle Inglis等人提出了一种将立体对应搜索约束到图像的小截面上的方法，该小截面对应于由共栅多波束声呐微测深计算得到的沿外极线的估计范围［243］，这种方法可以应用于基于稀疏特征和密集区域的立体对应技术。在水下航行器上使用校准的立体视觉设备和多波束声呐收集一致的数据集。约束对应方法在数量和正确的匹配的可靠性上有所提高，特征描述复杂度有所降低，但它依赖内在和外在质量传感器校准。

Felipe Guth总结了水下SLAM技术的发展［244］，本书作者对其进行了修改，并增加了一些内容，如表5-3所示。

表5-3　水下SLAM技术总结

（续表）

从以上分析可以看出，水下SLAM技术已经是一个发展较为成熟的领域，基于多种传感器混合的策略被广泛应用于水下AUV和ROV上。为了实现多种不同的地图三维重建功能，以及水下机器人导航和作业需求，SLAM技术被应用于多种不同的场景。随着计算机视觉技术的迅速发展，如何在水下构建更加清晰的图像，怎么样实现实时和可扩展的地图重建是未来研究的热点问题。