虚拟现实注册跟踪技术

增强现实系统的跟踪注册包含使用者头部（摄像机）的空间定位跟踪和虚拟物体在真实空间中的定位两个方面的内容，关系到虚拟和真实对象的配准、排列。对用户头部相对位置和视线方向的获取一般可分为两种：一种是采用跟踪传感器进行注册，简称跟踪器法；另一种是采用计算机视觉系统结合特定算法来实时得到，简称视觉法。在实际应用中，由于这两种方法各有其优缺点，为了得到更广泛的适应性和更好的性能，许多系统采用将两者相结合的复合方法。另外，还有基于认知（Knowledge Based）的方法，该法通过在用户头部和相关对象关键部位安装三维跟踪器来实现。

1.基于跟踪器的注册

基于跟踪器的注册方法普遍采用惯性、超声波、 电磁、 光学、无线电波或机械装置等进行跟踪。其中，惯性导航装置通过惯性原理来测定使用者的运动加速度，通常所指的惯性装置包括陀螺仪和加速度计；超声波系统利用测量接收装置与三个已知超声波源的距离来判断使用者位置；电磁装置通过感应线圈的电流强弱来判断用户与人造磁场中心的距离，或利用地球磁场判断目标的运动方向；光学系统使用CCD传感器，通过测量各种目标对象和基准上安装的LED发出的光线来测量目标与基准之间的角度，并通过该角度计算移动目标的运动方向和距离；机械装置则是利用其各节点间的长度和节点连线间的角度定位各个节点。这些跟踪技术共同的问题就是自身应用领域的局限性。例如，电磁跟踪器只能在事先预备的磁场或磁性引导环境下工作；GPS和电磁跟踪都不够精确，机械跟踪系统笨重不堪；适用于室内的跟踪系统不一定能在户外正常发挥作用等。总之，没有完美的选择。因而，对增强现实系统来说，并没有单一完美的跟踪解决方案，跟踪系统可以结合其中的两三种跟踪传感器，以相互补偿大延时、低刷新率甚至暂时的失效。 然而，对于一个实际的增强现实系统，仅仅根据头部跟踪系统提供的信息，系统没有反馈，难以取得最佳匹配；跟踪器法的精度和使用范围都不能满足增强现实的需要，又容易受到外界干扰，因而几乎不可能单独使用，通常与视觉注册方法结合起来实现稳定的跟踪。

2.视觉跟踪注册

目前，视觉跟踪注册主要有基准点法、模板匹配法、仿射变换法和基于运动图像序列的方法等。其中，基准点方法需事先对相机进行定标（获取四个内部参数），并设置相应的标记或基准点，然后对获取的图像进行分析，以计算相机的位置和姿态（获取六个外部参数）。其原理是先从图像中提取一些已知的对象特征点，找到真实环境和图像中对应点的相关性，然后由相关性计算出对象姿态，这个过程也就是对从世界坐标转换到摄像机坐标的模型视图矩阵的求解过程。通常，特征点可以由孔洞、拐点或人为设置的标记来提供。其中，对于人为标记的特征点，若按照颜色划分，则有黑白与彩色两种情况，而按照形状划分，则有圆形、同心圆环、多边形（包括三角形、方形、五边形等）和条形码等。黑白标志可在图像二值化后用相应算法提取，相对来说，彩色标志通过色彩分量提取更容易，但同时也易受到光照条件、相机本身质量和观察角度方向等的影响；圆形和同心圆环基于本身几何特性对观察方向的改变很稳定，但是用于作为特征点的中心位置就较难精确确定；多边形标记采用拐角作为特征点，位置信息更为精确，但往往需要额外途径或信息，以使各拐角特征点相互区别，并且多边形方法在标记部分受到遮挡时就可能会由于特征点数量的缺失而失效。

根据所使用摄像机的数量不同，基准点方法又可以分为基于一个摄像机的单摄像机法和双摄像机的立体视觉法。对单摄像机法来说，至少需要四个特征点，因而常采用方形标记。立体视觉法则需要三个特征点就可以确定，因此原理上采用三角形即可，但出于对遮挡鲁棒性的考虑，有时也会采用方形标记。立体视觉在对特征点数量的要求上更具优势，并且可以同时从图像视差中获取场景深度信息，但该法分辨率不高、定位精度不够、相机之间基线短且注册深度有限，因此，单相机方法虽然需要至少四个特征点，但是却以优越的性能表现成为注册方法的首选。立体视觉法则可以作为对单相机方法提高稳定性的额外补充，发挥着重要作用。

模板匹配法同样需要事先对相机标定内部参数，再通过图像分析处理提取环境中平面上的特定图形图案，并与已有模式进行匹配，匹配成功即可确定该图案板的位置和姿态，因而，确定要叠加在图案板上虚拟对象的位置和姿态。模板匹配法的典型代表是AR Tool。目前，采用AR Toolkit开发的系统有很多，如 Magic Book等。模板匹配法的优点是方便快速，使用普通PC机和摄像机即可实现很高的帧频，对快速的运动也适用；缺点是鲁棒性不够，只要对图案稍有遮挡，就难以有效运作，因此，无法近距离观察与图案板相连的虚拟物体或者用实际物体与之进行移动交互。(www.xing528.com)

针对复杂的相机标定，有研究致力于简化甚至免除该过程，出现了半自动和自动标定及无须标定的方法，半自动和自动标定一般利用冗余的传感器信息自动测量和补偿标定参数的变化；而无须标定的方法则以仿射变换和运动图像序列法为代表。

仿射变换法不需要摄像机位置、相机内部参数和场景中基准标志点位置等相关先验信息。仿射法通过将物体坐标系、相机坐标系和场景坐标系合并，建立一个全局仿射坐标系（非欧几里得坐标系），来将真实场景、相机和虚拟物体定义在同一坐标系下，以绕开不同坐标系之间转换关系的求解问题，从而不再依赖于相机定标。这种方法的缺点是不易获得准确的深度信息和实时跟踪作为仿射坐标系基准的图像特征点。

基于图像序列的方法是利用投影几何方法从图像序列中重构三维对象，目前已可以较好地重构一些简单的表面实体。存在的问题是，现有基于图像序列重构三维对象的技术中，特征点的提取完全基于图像特征，少量高可靠性的特征点必须由大量特征点通过复杂的匹配和迭代计算得到，因此难以保证观察视点位置获取的实时性。

就目前而言，基于视觉的增强现实系统可以使测量误差局限在以像素为单位的图像空间范围内，因而是解决增强现实中三维注册问题最有前途的方法。但同时研究表明，准确、快速的跟踪注册在环境中有精确外部参考点的情况下，比在复杂的户外真实世界中容易实现得多；在户外情况下，需要使用结合了基于跟踪器方法的复合注册法。

3.复合注册法

一般的视觉跟踪注册法虽然精确性高，但为了缩短图像分析处理的时间，常依赖于帧间连续性，当相机与对象之间相对运动速度较大时，就会找不到特征点；另外，视觉跟踪注册法在环境不符合要求（如标记被遮挡或光照不足）时会失效，稳定性不够好。而跟踪传感器如电磁跟踪等，虽然精确性不高，又有一定延迟，但鲁棒性和稳定性不错，而且对用户运动的限制也较小。因此，结合视觉法和基于跟踪器的方法可以取长补短：通常是先由跟踪传感器大概估计位置姿态，再通过视觉法进一步精确调整定位。一般采用的复合法有视觉与电磁跟踪结合、视觉与惯导跟踪结合、视觉与GPS跟踪结合等。电磁跟踪法便携性好，但易受到环境中金属物体的影响，精度不够高；与视觉法结合可以起到加速图像分析过程、从多选中确定正解、作为后备稳定跟踪和为视觉法提供对比参照结果等作用。惯性跟踪的优点是延迟小、速度快，缺点是误差累积效应并会影响注册稳定性；与视觉法结合后，可以预测平面标记的大概运动范围并增加系统鲁棒性和性能表现，视觉法则负责局部图像分析，以精确定位并消除传感器的累积漂移量。