鱼眼摄像机标定方法优化

鱼眼摄像机（Fisheye Camera）由透视摄像机和其正前方的鱼眼镜头构成。鱼眼摄像机与反射折射摄像机相比各有优缺点：反射折射摄像机具有准确的几何成像模型且精度比较高，然而成像设备比较复杂；鱼眼摄像机成像设备简单，但却没有准确的几何成像模型，导致成像精度低。在实际应用中，需要选择合适的全景摄像机来满足不同的应用需求。在图像测量、三维重建等领域，需要精度较高的反射折射摄像机；而在虚拟现实等领域，一般对精度的要求不高，因此鱼眼摄像机的应用比较普遍。Kannala利用多项式来近似鱼眼摄像机的成像模型，并在此基础上提出一种通用的摄像机标定方法。Davide通过多项式鱼眼成像模型把鱼眼图像点转换成透视图像点，之后利用最小二乘方法线性优化得到鱼眼摄像机的参数。鱼眼摄像机大的视场角导致其拍摄的图像存在很大的畸变，对此，天津大学曹作良所带领的团队针对鱼眼摄像机下的摄像机标定、畸变校正、目标跟踪、定位等方面做了大量的工作。中国科学院自动化研究所英向华等人研究了球面透视投影约束，并在此基础上提出了一种鱼眼镜头校正方法，得到了比较满意的校正结果。此外，英向华等人统一了鱼眼摄像机和全向摄像机的成像模型，使得全向摄像机的标定方法可以直接用于鱼眼摄像机的标定。

鱼眼镜头是由十几个不同的透镜构成，使得入射光线经过不同程度的折射后映射到图像平面上。基于鱼眼镜头的设计过程可知，鱼眼摄像机的视场范围远远超过了透视摄像机，但在物体成像时却发生了很大的畸变。不同于透视摄像机线性的成像过程，鱼眼摄像机的成像过程是非线性的。此非线性的成像过程近似于两步投影：第一步是将三维空间点线性地投影到一个虚拟的单位球面上，称之为世界坐标系到摄像机坐标系的映射；第二步是将单位球面上的图像点投影到图像平面上，此投影过程为非线性的，称之为摄像机坐标系到图像坐标系的映射。鱼眼摄像机标定要估计出两步投影过程中的映射关系，即世界坐标系到摄像机坐标系之间的映射关系（摄像机外参数）和摄像机坐标系到图像坐标系之间的映射关系（摄像机内参数）。

1）鱼眼摄像机的畸变校正

首先，空间中的每个点P被映射为空间点P与投影中心O连接的射线OP；其次，通过线性映射，将射线OP投影到单位球面上，得到球面透视投影图像点p；最后，通过非线性映射，将单位球面上的点p投影到图像平面上，从而得到鱼眼图像点m＝D（p）。其中，映射D为鱼眼变形模型。由于单位球面上的每个点与鱼眼图像点是一一对应的，反之亦然，因此鱼眼变形模型D是可逆的。由p＝D－1（m）可知，鱼眼图像点到单位球面点之间的映射关系D－1可以被用于校正鱼眼图像，其中D－1称为鱼眼变形校正模型。在满足球面投影约束的前提下，通过鱼眼变形校正模型D－1，将鱼眼图像平面上的所有图像点映射到单位球面上。球面投影约束是指通过D－1，空间直线在鱼眼图像平面上的投影曲线c被映射为单位球面上的一个大圆g，即g＝D－1（c）。反之，通过鱼眼变形模型D，单位球面上的一个大圆g被映射为鱼眼平面图像上的一条曲线c。

三维空间中的一个点被投影到单位球面上的点p，其球面坐标为（φ′，θ′）。通过鱼眼变形模型D，球面投影点p被映射为鱼眼平面上的点m，其图像坐标系下的坐标为（x，y）。摄像机主点为（xp，yp），以此作为原点来建立极坐标系。

图像中心常常被用来估计摄像机主点。由此可见，通过径向畸变与切向畸变校正模型可以表示鱼眼变形校正模型D－1。然而，由于径向畸变校正模型与切向畸变校正模型是非常复杂的，为了平衡运算代价与校正精度，通常利用5次多项式近似。根据图像平面极坐标的周期性可知，径向畸变和切向畸变校正模型中有一个参数是非独立参数，因此，通过恢复9个畸变校正参数即可对鱼眼镜头进行校正。

通过鱼眼变形校正模型，一条空间直线在鱼眼图像平面上的投影曲线被映射为单位球面上的一个大圆，基于此来估计畸变校正参数：首先，均匀选取鱼眼图像平面上的投影曲线，以保证对鱼眼变形校正参数的无偏估计；其次，在选取的投影曲线上通过手动或多项式拟合曲线的方法提取采样点；最后，提取的采样点通过变形校正参数被映射到单位球面上，通过Levenberg－Marquardt方法最小化式（6－6）来估计鱼眼变形校正参数。

式中，（Φj，Θj）为第j条鱼眼投影曲线拟合的大圆，为第j条鱼眼投影曲线上第i个采样点在单位球面上的坐标，ds为单位球面上的点到其相应大圆的球面距离，。未知的大圆坐标（Φj，Θj）将与鱼眼变形校正参数一起参与优化。

2）基于消失点的鱼眼摄像机标定方法

在图像平面上，空间中平行直线的投影直线的交点称为消失点。由于消失点包含了有关摄像机内外参数的大量有价值的信息，现已出现了很多基于消失点的透视摄像机标定方法。对于鱼眼摄像机，Nakano提出了一种基于二维标定模板在鱼眼图像上消失点的摄像机标定方法，该方法需要从不同位置和角度拍摄多幅二维标定模板的鱼眼图像。Hughes通过校正黑白棋盘格在鱼眼摄像机下的消失点，将其变换成透视图像点来标定摄像机参数，因此标定结果易于受到校正结果的影响。徐晓波等人研究了空间中3组相互正交平行直线在鱼眼摄像机下的消失点，基于此提出了一种基于单幅鱼眼图像消失点的摄像机标定方法。该方法可以同时估计摄像机的主点和外参数矩阵。(www.xing528.com)

在透视摄像机下，空间中一组平行直线的无穷远点对应于图像平面上的1个消失点。而在鱼眼摄像机下，由于存在径向畸变，空间中一组平行直线的无穷远点对应于鱼眼图像平面上的2个消失点，称为1对消失点。

徐晓波等人基于三维标定块上3组相互正交平行的直线在鱼眼摄像机下的3对消失点来估计摄像机的主点坐标。首先，通过曲线拟合方法拟合3组相互正交平行的直线的像；其次，通过曲线相交可以得到3对消失点｛vi1，vi2｝，i＝1，2，3；之后，3对消失点确定3条直线，经SVD分解即可估计出3条直线坐标｛xi ，yi｝；最后，通过3条直线的交点来估计摄像机的主点坐标。

基于估计得到的摄像机主点坐标建立旋转矩阵约束方程，求解旋转矩阵：

①通过鱼眼摄像机拍摄一幅三维标定块图像，三维标定块中包含3组相互正交平行的直线。

②利用Canny算法检测出鱼眼图像上3组相互正交平行的直线像。

③利用曲线拟合算法估计出3组相互正交平行直线像的方程，并计算得到3对消失点坐标。

④基于计算得到的3对消失点坐标确定3条直线，从而求得3条直线的交点得到摄像机主点坐标｛u0 ，v0｝。

⑤鱼眼摄像机成像模型采取等距投影模型，利用估计得到的消失点和摄像机主点坐标，建立旋转矩阵约束方程，进而得到摄像机的旋转矩阵。