摄像机自动校准方法优化

与传统摄像机标定方法的不同之处在于，摄像机自标定方法不需要标定模板，而是通过不同图像之间图像点的对应关系来估计摄像机内参数。该类方法由于只需要建立不同图像之间的对应关系，因此灵活性强，具有很广泛的潜在应用价值。然而，由于摄像机自标定方法是非线性的，因此导致标定方法鲁棒性差且标定精度低。20世纪90年代初，Faugeras，Maybank等人针对场景空间结构信息未知和摄像机任意运动时的标定问题，首次给出了摄像机自标定的概念。从射影几何角度出发，Faugeras等人基于两幅图像之间的两个二次非线性约束，提出了基于Kruppa方程的摄像机自标定方法，即通过求解Kruppa方程组来估计摄像机内参数。为了提高基于Kruppa方程的摄像机标定精度，提出了分层逐步标定的思想。分层逐步标定方法的代表有：Triggs的绝对二次曲面法、Hartley的QR分解法、Pollefeys的模约束法。此外，人们还提出了可变摄像机内参数下的自标定方法，用来解决实际应用过程中摄像机内参数实时改变的问题。在理论上，Heyden，Pollefeys等人证明了当摄像机内参数满足一定条件时，可实现内参数实时变化情况下的摄像机自标定。因此，摄像机自标定方法的根本是仅仅利用摄像机内参数本身存在的约束，而这些约束与摄像机运动和场景空间结构信息无关。

1）基于Kruppa方程的摄像机自标定方法

Faugeras和Maybank等人基于绝对二次曲线满足的几何关系推导出Kruppa方程，进而提出了基于Kruppa方程的摄像机自标定方法。绝对二次曲线满足的几何关系为：如果两个平面与无穷远平面上的绝对二次曲线ω相切且通过两个摄像机光心，则这两个平面一定同时相切于ω的像。在Kruppa方程中，摄像机基本矩阵F和向量e是已知的，ω则含有关于摄像机内参数的5个未知变量，这些未知变量都是独立的。在摄像机内参数保持不变的情况下，每两幅图像可以得到一个Kruppa方程，而每个Kruppa方程最多提供两个独立的关于摄像机内参数的五元二次约束方程，因此需要三对及以上的图像来估计摄像机内参数。针对摄像机内参数实时变化的情况，任意一对图像将提供两个独立的Kruppa方程。因此，N（N≥3）幅图像可提供N（N－1）个Kruppa方程。然而，只有5N－9个方程是独立的。

关于Kruppa方程的求解方法，文献中提出了直接求解、间接非线性优化及线性求解等多种算法。

（1）直接求解算法

①基于代数几何概念：Faugeras和Maybank等人提出了一种Kruppa方程的求解方法。该方法很容易受到噪声的影响，因此普通计算机的浮点运算很难满足其要求。

②基于连续同伦算法：Luong提出了一种Kruppa的求解策略，从而降低了算法对噪声的敏感度。然而，为了保证Kruppa方程的求解精度，Luong提出的求解策略要求拐点的提取精度要达到子像素级（0.2个像素）。

基于代数几何概念和基于连续同伦算法的Kruppa方程求解算法存在两个共同的缺点：一是求解困难；二是当图像数量增加时，两两图像之间所列的方程个数将呈指数增长，使得直接求解方程将不再有效。

（2）间接非线性优化算法　Zeller等人基于Levenberg－Marquardt的优化算法，最小化多幅图像上所有点到其对应极线的距离之和，从而得到相应的摄像机内参数。间接非线性优化算法的缺点是需要优化的参数太多，且容易陷入局部最优值。

（3）线性求解算法　Ma等人详细分析了Kruppa方程的奇异性和可解性，并证明了在摄像机的旋转轴平行或垂直于平移向量等特殊情况下，Kruppa方程可以被归一化为线性方程，从而自标定算法也变为了线性标定方法。

基于Kruppa方程的摄像机自标定方法是在两两图像之间建立方程，因此不需要对图像序列进行射影重建。在推导Kruppa方程的过程中，由于隐含消除了无穷远平面的3个未知数，使得无穷远平面在由所有图像对确定的射影空间里的一致性将得不到保证。从而也部分解释了当拍摄图像较多时，基于Kruppa方程的摄像机自标定算法会出现不稳定的现象。

2）基于绝对二次曲面的自标定方法

Triggs提出一种基于绝对二次曲面的摄像机自标定方法。绝对二次曲面Ω＊是对应图像上绝对二次曲线像的对偶。基于绝对二次曲面和绝对二次曲线像对偶之间的对应关系，将对摄像机内参数的约束转移到了对绝对二次曲面Ω＊的约束。理论上，通过联立绝对二次曲面和绝对二次曲线像对偶之间的对应关系即可计算出ῶ＊。然而，由于拍摄图像的不同，绝对二次曲面和绝对二次曲线像对偶之间对应关系中包含的常数因子αi将不同。因此通过矩阵的对应项作叉乘即可消除常数因子αi，从而得到关于绝对二次曲面的约束方程。每幅图像可以得到15个关于绝对二次曲面的约束方程，然而其中至多有5个是独立的。

（1）针对绝对二次曲面的约束方程，Triggs提出了两种求解方法：

在矩阵Ω＊的行列式为0的约束条件下，通过SQP（Sequential Quadratic Propramming）优化算法来求解代价函数的最小值。基于该方法，给定3幅或3幅以上图像可以实现摄像机内参数的全部标定。

半线性方法（Quasi－Linear），分别用列矢量表示和Ω＊，并以的59个分量作为未知数，此时式（6－6）变换为线性方程。因此，在最小二乘意义下，将多幅图像（大于等于4）得到的线性方程联立在一起可以求解出59个未知数。该半线性方法在噪声大时会导致误差也比较大，且存在着过分参数化的倾向。

基于绝对二次曲面和基于Kruppa方程的摄像机自标定方法均是以绝对二次曲线在欧式变换下的不变性为基础，因此其在本质上是一致的。然而，由于绝对二次曲面包含了绝对二次曲线和无穷远平面的所有信息，且绝对二次曲面是通过对所有图像作摄影重建计算得到的，因此基于绝对二次曲面的摄像机自标定方法能够满足无穷远平面对所有图像的一致性。

3）分层逐步摄像机标定方法

分层逐步摄像机标定方法分为两个步骤：首先，对图像序列进行射影重建；其次，基于对绝对二次曲线或绝对二次曲面的约束，估计出摄像机内参数和无穷远平面方程。在实际应用过程中，直接求解Kruppa方程的方法已经逐步被分层逐步摄像机标定方法取代。(www.xing528.com)

（1）Hartley的方法　基于QR分解，Hartley提出了一种摄像机自标定方法。首先，通过对图像序列进行射影重建，获得摄像机投影矩阵序列：。其中，≅表示相差一个常数因子下的相等，Pi是3×4的摄像机矩阵，H1i是参考平面的单应性矩阵，e1i是极点，I3×3为单位矩阵。

摄像机自标定的目标是通过找到特定的射影变换HE，从而将Pi变换到欧式意义下的投影矩阵。射影变换HE有8个未知数：5个摄像机内参数矩阵和3个无穷远平面的法向量。见下式（6－2）：

式中，a∞为无穷远平面的法向量，K为摄像机内参数矩阵，Ri为旋转矩阵序列。针对式（6－2），Hartley首先通过初始估计得到K和；然后，对式（6－2）的左边进行QR分解得到Ki。根据摄像机内参数保持恒定不变的性质可知，Ki应该接近于K。因此，基于Levenberg－Marquardt算法进行优化即可估计出摄像机内参数矩阵K。

Hartley提出的基于QR分解的摄像机自标定方法，其最大的特色在于利用QR分解消除了旋转矩阵。这一特色使得输入较长的图像序列时也同样可以取得较好的效果。然而，其不足之处在于需要预先已知摄像机内参数的初始估计值。

（2）Heyden和Astrom的方法　Heyden和Astrom提出了与Hartely类似的方法：相同之处在于均是以摄像机投影矩阵序列为基础；不同之处在于Heyden和Astrom利用旋转矩阵的性质消去了旋转矩阵序列Ri和平移向量序列ti。最后，通过非线性优化估计出摄像机内参数矩阵。该方法存在的不足之处在于计算量大从而难以保证算法的收敛性。

（3）Pollefeys的方法　基于摄像机单应性矩阵和绝对二次曲线，Pollefeys等推导出了与Heyden和Astrom类似的结果。基于无穷远平面对应的单应性矩阵以及在无穷远平面上绝对二次曲线的像不随着摄像机的运动而有所改变的性质建立目标函数。最后，利用Levenberg－Marquardt算法最小化目标函数优化得到摄像机内参数矩阵。

Pollefeys等建立的目标函数与Heyden等的目标函数在形式上类似，均包含了未知的常数因子。然而，Pollefeys和Heyden却采用了不同的方法来处理未知常数因子。即Pollefeys根据模相等的性质计算常数因子，而Heyden则把常数因子看作独立的未知数与其他参数同时进行优化。由于Pollefeys方法具有较少的待优化未知参数，因此，其优化函数将更易于收敛。

此外，Pollefeys证明了该方法在本质上与基于Kruppa方程的方法、Heyden等的方法以及Triggs的基于绝对二次曲面的方法是相同的。基于Kruppa方程的方法、Heyden的方法以及Pollefeys的方法的共同之处在于：首先，对图像序列作射影标定；其次，以其中某一幅图像为准进行射影对齐，从而未知数将被缩减至8个（即无穷远平面参数3个，摄像机内参数5个）；最后，所有的未知参数将通过非线性优化算法同时求出。其缺点在于：①以某一参考图像为准进行射影重建，由于标定的结果随着参考图像选取的不同而不同，这将导致一般情形下噪声均匀分布的假设前提不再有效；②通过预估得到非线性优化算法的初始值，这将使得其优化算法的收敛性不能得到保证。

4）可变内参数下的分层逐步摄像机标定方法

在实际应用中，往往需要调整摄像机内参数使其满足实际应用场合的需求，如焦距缩放等。摄像机内参数的变化将导致上述摄像机自标定方法不再适用。对此，提出了可变内参数下的摄像机自标定的概念。Pollefeys等采用与Moons类似的方法，提出了一种可变焦距下的摄像机自标定方法。

（1）保持摄像机焦距不变的情况下进行一次纯平移运动，则可完成仿射标定，从而估计出初始焦距，然后，利用模约束标定实时变化的摄像机参数。基于射影重建中的“手性”（Chirality），Hartley等人限定无穷远平面的法向量只能在三维参数空间中的一个立体范围内取值。

（2）基于穷举法搜索出的最优无穷远平面法向量，计算出无穷远平面的单应性矩阵。

（3）标定摄像机内参数矩阵。针对摄像机焦距可变的情况，Sturm提出了一种摄像机自标定方法。该方法需要对摄像机内参数进行初始标定，确定5个内参数的互相关模型。因此，简化可变焦距的自标定过程为内参数的计算过程。此三种方法均以透视摄像机成像模型为基础。

理论上，Heyden和Astrom为解决可变内参数下摄像机自标定的可能性问题迈出了第一步，即证明了当斜率为0，位率恒定不变时，可变内参数的摄像机自标定是可行的。然而，此证明还不够完善，且提出的自标定方法是针对所有的摄像机参数（点的三维空间坐标、常数因子、摄像机内外参数等）同时进行优化。不足之处在于：在实际应用中，对所有摄像机参数进行优化是不现实的；且还没有解决优化的初始值问题。对此，在Heyden和Astrom方法的基础上，从理论和实践角度出发，Pollefeys等人完善了可变内参数下的摄像机自标定问题，并提出了一种较实用的自标定方法。他们证明了当斜率为0，其他内参数任意可变时，可以实现完全的摄像机自标定和欧式重建。

假设第i幅图像对应的内参数矩阵为Ki，i＝1，2，…，N，则有

式中，矩阵Ω＊为对称型矩阵且秩为3。最后，通过最小化目标函数式（6－4）即可优化求解出所有未知参数。

式中，矩阵Ω＊为对称型矩阵且秩为3。

上述优化算法的收敛性需要良好的内参数矩阵初始值才能得以保证。对此，在斜率为0和摄像机主点已知的前提下，式（6－3）的标定过程变换为线性的，并将此标定结果作为优化算法的初始值来保证优化过程的收敛性。之后，Heyden和Astrom进一步降低了可变内参数下摄像机自标定的假设条件，证明了当任意一个摄像机内参数保持不变时，可以实现可变内参数下的摄像机自标定。至此，可变内参数下摄像机自标定的可能性问题得到了彻底解决。