CN101887585A - 基于非共面特征点的摄像机标定方法 - Google Patents

Abstract

本发明公开了一种基于非共面特征点的摄像机标定方法，该方法包括以下步骤：设置立体靶标，并建立立体靶标坐标系；所述立体靶标能够提供至少6个非共面特征点；用摄像机拍摄立体靶标图像，所拍摄图像中至少包含6个非共面特征点；提取至少6个非共面特征点在图像坐标系下的坐标，求解立体靶标坐标系与图像坐标系之间的单应矩阵；根据得到的单应矩阵，求解摄像机的内部参数和外部参数；对得到的内部参数和外部参数进行非线性优化。本发明提出的标定方法，靶标设置简单，仅需要拍摄一张图像即可完成标定，且使用方法灵活，标定精度较高。

Description

基于非共面特征点的摄像机标定方法

技术领域

本发明涉及摄像机标定技术，具体涉及一种基于非共面特征点的摄像机标定方法。

背景技术

近年来，利用数字摄像机进行二维、三维重建和尺寸检测获得了越来越多的运用和研究。摄像机模型反映了图像平面与空间位置的映射关系，而摄像机标定就是确定反映摄像机光学及几何特性的内部参数与外部的参数。其中，摄像机内参数为固定参数，不随着摄像机位置变化而改变；摄像机外参数反映的为摄像机坐标系与参考物体坐标系的位姿关系，该参数会随着摄像机位姿的变化而发生改变。

传统标定方法是基于一个精确物体标定块作为空间参照物，通过建立参照物上已知点与其图像点间的对应关系来计算摄像机参数的标定方法。传统标定方法根据标定模板种类可分为共面点标定及非共面点标定，经典非共面点标定方法有：DLT方法，Tsai方法，陈刚方法，夏艳方法等；共面点标定方法有：Tsai方法、张正友方法。

Tsai R Y.在文章“A versatile camera calibration technique for high accuracy 3D machine vision metrology using off the shelf TV cameras and lenses.R.Y.Tsai.，Robotics Automat 3，1987，pp.323-344.”中给出了一种基于径向约束(RAC)的两步标定法，该方法同时利用共面或者非共面标定模板分别求取摄像机内外参数。该方法对于畸变模型可以保证较高的精度，然而需要对图像中心等参数进行预标定。

ZHANG Z Y.在文章″Flexible Camera Calibration by Viewing a Plane from Unknown Orientations.Zhengyou Zhang，Seventh International Conference on Computer Vision，1999，Volume 1pp.666.″中提出了一种更加灵活的使用二维平面标靶的标定方法，该方法通过采集不同未知姿态下的平面图像(至少2张)，优化得到摄像机的内外参数。

当摄像机成像平面与参考面接近平行时，使用二维平面标靶的方法标定出的摄像机参数误差较大甚至失败。针对这种情况，一些在摄像机成像平面与参考面接近平行时用于摄像机标定的方法被提出“Camera calibration with coplanar calibration board near parallel to the imaging plane.”(HongGen Luo LiMin Zhu and Han Ding，Sensors and Actuators A：Physical Volume 132，Issue 2，20November 2006，Pages 480-486.)。

ZHANG Z Y.在文章″Camera Calibration with one-dimensional objects[J].IEEETransactions on Pattern Analysis and Machine Intelligence，2004，26(7)：892-899.″中提出了基于一维标靶的摄像机标定方法，虽然一维标靶加工较为容易、标定精度高，但在标定过程中需要将一维标靶的一端固定，在实际使用中转动时很难保证固定端的绝对固定，从而影响了标定的精度。

WU F C，HU Z Y，ZHU H J.在文章“Camera calibration with moving one-dimensional objects[J].Pattern Recognition，2005，38(5)：755-765”中提出的基于平面运动一维标靶的标定方法，虽然不需要将一维标靶一端固定，但在标定过程中需要运动平台的支持。

陈刚等人在文章“一种基于立体模板的双目视觉传感器现场标定方法.”(陈刚，车仁生，光学精密工程，2004，12(6))中提出了一种使用立体模板标定的方法，陈刚方法没有考虑摄像机成像畸变的影响，借助三坐标测量机得到一组精确的图像特征点及对应参考坐标，通过线性变换方法确定摄像机内外参数，实用性低、抗干扰能力差且存在较大的误差。

张广军等人在中国发明专利“一种基于柔性立体靶标的摄像机标定方法”(申请号为200810114607.7，授权公告号为CN100557635C)中提出了一种使用若干个小面积的平面靶标组成柔性立体标靶进行摄像机标定的方法。该标定方法在本质上依旧为使用二维平面标靶的ZHANG Z Y.标定方法，该方法进一步利用柔性标靶中各子平面的关系不变约束优化摄像机参数。该方法对于大视场的摄像机具有一定的适用性，但是对于视场较小的摄像机无法获取包含的多个平面标靶的图像，该方法并不适用。进一步考虑到平面标靶在与摄像机成像平面接近平行时，ZHANG Z Y.标定方法无法标定出正确的摄像机参数的特点，张广军的方法在放置柔性标靶位置时需要注意这个问题。张广军发明的标定方法需要使摄像机相对与柔性标靶位置至少移动一次，在某些场合摄像机无法移动，且移动柔性立体标靶很难保证各子标靶相对关系不变。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于非共面特征点的摄像机标定方法，仅需要拍摄一张图像即可完成标定，且使用方法灵活，标定精度较高。

为实现上述目的，本发明采用如下技术方案：

一种基于非共面特征点的摄像机标定方法，其特征在于，包括以下步骤：

步骤A、设置立体靶标，并建立立体靶标坐标系；所述立体靶标能够提供至少6个非共面特征点；

步骤B、用摄像机拍摄立体靶标图像，所拍摄图像中至少包含6个非共面特征点；提取至少6个非共面特征点在图像坐标系下的坐标，求解立体靶标坐标系与图像坐标系之间的单应矩阵；

步骤C、根据步骤B得到的单应矩阵，求解摄像机的内部参数和外部参数。

上述技术方案未考虑摄像机成像畸变的影响，得到的摄像机内部、外部参数可能存在偏差，为解决此问题，可以引入畸变，使用牛顿迭代法、Levenberg-Marquardt等对步骤C得到的内部、外部参数进行非线性优化。本发明采用Levenberg-Marquardt非线性优化方法，即：建立以摄像机内参数、外参数以及两阶径向畸变因子为参数且使投影误差最小的目标函数，以步骤C求得的摄像机内部参数、外部参数为初始值，利用Levenberg-Marquardt准则得到摄像机内部参数、外部参数的最优解。

本发明技术方案中使用的立体靶标，可以使用两个相交的平面靶标组成，也可以使用一个平面靶标与一个与其不共面的空间点构成，无论何种构成，只要满足靶标上有至少6个非共面的特征点即可。

附图说明

图1为本发明基于非共面特征点的摄像机标定方法流程图；

图2为本发明具体实施方式中立体靶标的示意图；

图3a-e分别为本发明具体实施方式中实验拍摄图像。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

如附图1所示，本发明方法包括以下步骤：

步骤A、设置立体靶标，并建立立体靶标坐标系；所述立体靶标能够提供至少6个非共面特征点；

在本具体实施方式中，为简化后续计算，采用了如附图2所示的立体靶标，该立体标靶由两个相互之间垂直相交的平面靶标组成，每个平面靶标上有4条直线平行于两平面靶标的交线，9条直线垂直于平面的交线，每条临近的平行直线间距为10mm，以直线间交点作为特征点，则该立体靶标最多能够提供81个特征点。

这里用OXYZ表示立体靶标坐标系，其中每个特征点在立体靶标坐标系下的坐标分别表示为P₁(x₁  y₁  z₁)……P_n(x_n y_n z_n)，其中n为选取特征点的总数，n》6。

步骤B、用摄像机拍摄立体靶标图像，所拍摄图像中至少包含6个非共面特征点；提取至少6个非共面特征点在图像坐标系下的坐标，求解立体靶标坐标系与图像坐标系之间的单应矩阵；本步骤具体包括以下各步骤：

步骤Bl、用摄像机拍摄立体靶标图像，所拍摄图像中至少包含6个非共面特征点；提取至少6个非共面特征点在图像坐标系下的坐标；

步骤B2、使用线性方程求解单应矩阵；

记摄像机成像模型为：

其中表示立体标靶坐标系坐标，

表示图像平面坐标系坐标；  止为摄像机内参数矩阵，

其中(u₀，y₀)表示图像主点的像素坐标，f_x、f_y分别表示X、Y轴向的等效焦距，尸表示成像平面倾斜因子；[r₁ r₂ r₃ t]为摄像机外参数矩阵，[r₁ r₂ r₃]_3×3、t分别描述了立体标靶坐标系在摄像机坐标系描述下的旋转及平移的关系；s为任意的比例因子。单应矩阵H=λA[r₁ r₂ r₃ t]，记单应矩阵

为矩阵H的第i行。

考虑到摄像机成像模型中比例因子s，不妨令单应矩阵元素h₄₃＝1。特征点p₁(x₁ y₁ z₁)对应图像坐标系坐标为(u₁ v₁)，依次得到特征点P_n(x_n y_n z_n)对应图像坐标系坐标为(u_n v_n)。

将特征点P₁带入摄像机成像模型有：

消去占得到方程组：

依次将各个特征点带入摄像机模型中，直至特征点P_n并得到相应方程组为：

$\left\{\begin{array}{c}{x}_n{h}_{11}+y_n{h}_{21}+z_n{h}_{31}+h_{41}-x_n{u}_n{h}_{13}-y_n{u}_n{h}_{23}-z_n{u}_n{h}_{33}=u_n\\ x_n{h}_{12}+y_n{h}_{22}+z_n{h}_{32}+h_{42}-x_n{v}_n{h}_{13}-y_n{v}_n{h}_{23}-z_n{v}_n{h}_{33}=v_n\end{array}\right.$

由上述可知，n个特征点一共获得2n个方程，将这些方程组成方程组有：

$\left[\begin{array}{ccccccccccc}{x}_1& y_1& z_1& 1& 0& 0& 0& 0& -u_1{x}_1& -u_1{y}_1& -u_1{z}_1\\ 0& 0& 0& 0& x_1& y_1& z_1& 1& -v_1{x}_1& -v_1{y}_1& -v_1{z}_1\\ & & & & & .& & & & & \\ & & & & & .& & & & & \\ & & & & & .& & & & & \\ x_n& y_n& z_n& 1& 0& 0& 0& 0& -u_n{x}_n& -u_n{y}_n& -u_n{z}_n\\ 0& 0& 0& 0& x_n& y_n& z_n& 1& -v_n{x}_n& -v_n{y}_n& -v_n{z}_n\end{array}\right]X=\left[\begin{array}{c}{u}_1\\ v_1\\ .\\ .\\ .\\ u_n\\ v_n\end{array}\right]$

其中X＝[h₁₁ h₂₁ h₃₁ h₄₁ h₁₂ h₂₂ h₃₂ h₄₂ h₁₃ h₂₃ h₃₃]^T，记

$L_{2n\×11}=\left[\begin{array}{ccccccccccc}{x}_1& y_1& z_1& 1& 0& 0& 0& 0& -u_1{x}_1& -u_1{y}_1& -u_1{z}_1\\ 0& 0& 0& 0& x_1& y_1& z_1& 1& -v_1{x}_1& -v_1{y}_1& -v_1{z}_1\\ & & & & & .& & & & & \\ & & & & & .& & & & & \\ & & & & & .& & & & & \\ x_n& y_n& z_n& 1& 0& 0& 0& 0& -u_n{x}_n& -u_n{y}_n& -u_n{z}_n\\ 0& 0& 0& 0& x_n& y_n& z_n& 1& -v_n{x}_n& -v_n{y}_n& -v_n{z}_n\end{array}\right],$

显然当n≥6时，方程组存在唯一解，此时方程组解为X＝(L^TL)^-1L^TK，从而得到单应矩阵H。

此处可以看到，本发明方法的摄像机成像模型单应矩阵为3×4矩阵，而张正友方法中的单应矩阵为本方法单应矩阵退化后的3×3矩阵。

步骤B3、对步骤B2得到的单应矩阵H进行非线性优化；

在实际中，由于获取图像点的过程中存在噪声干扰，使得M和m并不能满足线性方程。假设图像点受到独立分布且均值为零的高斯噪声干扰，那么单映性矩阵H的最优解可以通过使目标函数

最小得到，其中m_i＝(u_i，v_i)， ${\hat{m}}_i=\frac{1}{{\stackrel{\‾}{h}}_3\·{\left[\begin{array}{cccc}{x}_i& y_i& z_i& 1\end{array}\right]}^T}\left[\begin{array}{c}{\stackrel{\‾}{h}}_1\·{\left[\begin{array}{cccc}{x}_i& y_i& z_i& 1\end{array}\right]}^T\\ {\stackrel{\‾}{h}}_2\·{\left[\begin{array}{cccc}{x}_i& y_i& z_i& 1\end{array}\right]}^T\end{array}\right];$

单应矩阵求解问题转化为非线性优化问题，使用Levenberg-Marquardt准则求解单应矩阵H的最优解，其中L-M准则所需单应矩阵H的初始值使用步骤B2的求解结果，参数优化使用数据为特征点P₁……P_n。L-M优化的具体方法可参考文献″The levenberg-marquardt algorithm，implementation and theory″(J.More，In G.A.Watson，editor，Numerical Analysis，Lecture Notes in Mathematics 630，Springer-Verlag，1977)。

步骤C、根据步骤B得到的单应矩阵，求解摄像机的内部参数和外部参数；具体包括以下各步骤：

步骤C1、根据旋转矩阵的正交性建立仅与摄像机内参数相关的方程组；

对于非共面特征点计算得到的单应矩阵根据摄像机成像模型有h₁＝λAr₁ h₂＝λAr₂ h₃＝λAr₃ h₄＝λt，且考虑到r₁、r₂、r₃正交性，存在方程 $h_1^T{A}^{-T}{A}^{-1}{h}_2=0,$ $h_1^T{A}^{-T}{A}^{-1}{h}_3=0,$ $h_2^T{A}^{-T}{A}^{-1}{h}_3=0,$

$h_1^T{A}^{-T}{A}^{-1}{h}_1=h_2^T{A}^{-T}{A}^{-1}{h}_2=h_3^T{A}^{-T}{A}^{-1}{h}_3,$ 记 $B=A^{-T}{A}^{-1}=\left[\begin{array}{ccc}{B}_{11}& B_{12}& B_{13}\\ B_{12}& B_{22}& B_{23}\\ B_{13}& B_{23}& B_{33}\end{array}\right],$ 定义向量b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T，则可得到如下方程组：

$\left[\begin{array}{c}{v}_{12}\\ v_{13}\\ v_{23}\\ v_{11}-v_{22}\\ v_{11}-v_{33}\end{array}\right]b=0$

步骤C2、根据方程组求解摄像机内参数；

假设采集非共面特征点图像有m张，由步骤B可获得m个单应矩阵，进一步根据步骤C1，则可以获得5m个方程，记该方程组为：Vb＝0，其中V为5m×6的矩阵。当m≥2时，存在唯一解b；当m＝1时，令成像平面倾斜因子γ＝0，即给方程组增加一个约束方程[01000]b＝0，则可以求求解出b。众所周知，方程组的解b为矩阵V^TV最小特征值对应的特征向量。由解b计算出矩阵B，根据ZHANG Z Y.标定方法中公式求解摄像机内参数矩阵A，具体求解过程参见文献″Flexible Camera Calibration by Viewing a Plane from Unknown Orientations″(Zhengyou Zhang，Seventh International Conference on Computer Vision，1999，Volume 1pp.666)，此处不再赘述。

步骤C3、根据摄像机内参数求解各个外参数；

对于非共面特征点图像，由上述求解的内参数矩阵A，可得到外参数矩阵

$r_1=\frac{1}{\mathrm{\κ}}{A}^{-1}{h}_1,$ $r_2=\frac{1}{\mathrm{\κ}}{A}^{-1}{h}_2,$ $r_3=\frac{1}{\mathrm{\κ}}{A}^{-1}{h}_3,$ $t=\frac{1}{\mathrm{\κ}}{A}^{-1}{h}_4,$

其中，κ＝1/A^-1h₁||＝1/||A^-1h₂||＝1/||A^-1h₃||；

对得到的矩阵Q＝[r₁ r₂ r₃]进行正交化，根据ZHANG Z Y.标定方法，矩阵奇异值分解为Q＝USV^T，则R＝UV^T为其对应的外参数。详细求解过程参见文献″Flexible Camera Calibration by Viewing a Plane from Unknown Orientations″(Zhengyou Zhang，Seventh Intemational Conference on Computer Vision，1999，Volume 1pp.666)，此处不再赘述。

步骤D、对步骤C得到的内部参数和外部参数进行非线性优化；

本发明采用Levenberg-Marquardt非线性优化方法，即：建立以摄像机内参数、外参数以及两阶径向畸变因子为参数且使投影误差最小的目标函数，以步骤C求得的摄像机内部参数、外部参数为初始值，利用Levenberg-Marquardt准则得到摄像机内部参数、外部参数的最优解；具体而言，按照以下方法：

假设采集m张参考物图像，每张图像上取n个标定点，且图像点受到均值为零独立分布的高斯噪声干扰。通过使投影误差目标函数最小优化摄像机参数。

在函数f中第i张图像第j个特征点P_ij，其图像像素坐标值记为m_ij＝(u_ij v_ij)，对应标靶坐标系坐标记为M_ij＝(x_ij y_ij z_ij)，k₁，k₂分别为引入的一阶二阶畸变系数，A为摄像机内参数，[R_i，t_i]为第i张图像时的摄像机外参数。I(m_ij，A，k₁，k₂)为由图像像素坐标计算出的规格化图像坐标系坐标，

为由物体参考坐标及外参数矩阵计算出的规格化图像坐标系坐标。在优化时，将旋转矩阵R_i转化为俯仰滚(RPY)角度φ，θ，并将φ，θ，

作为参数进行优化。

目标函数中根据摄像机模型可知

$\hat{x}=[\left(u_{\mathrm{ij}}{-u}_0\right)-\mathrm{\γ}(v_{\mathrm{ij}}-v_0)/f_y]/f_x.$

$\hat{y}=(v_{\mathrm{ij}}-v_0)/f_y$

目标函数中其中(X_cij Y_cij Z_cij)为点P_ij在摄像机坐标系系下的坐标值，根据摄像机成像模型有：

非线性最小化使用Levenberg-Marquardt准则求解。该准则需要一个初始值。其中摄像机内外参数初始值为步骤C中计算得到的参数值。畸变系数k₂，k₂的初始值可以通过下面的线性方法求解：

将特征点P_ij代入摄像机成像模型中得到：

其中 $\begin{array}{c}\hat{x}=[(u_{\mathrm{ij}}-u_0)-\mathrm{\γ}(v_{\mathrm{ij}}-v_0)/f_y]/f_x\\ \hat{y}=(v_{\mathrm{ij}}-v_0)/f_y\end{array},\begin{array}{c}x=X_{\mathrm{cij}}/Z_{\mathrm{cij}}\\ y=Y_{\mathrm{cij}}/Z_{\mathrm{cij}}\end{array},{\left[\begin{array}{ccc}{X}_{\mathrm{cij}}& Y_{\mathrm{cij}}& Z_{\mathrm{cij}}\end{array}\right]}^T=\left[\begin{array}{cc}{R}_i& t_i\end{array}\right]\·\left[\begin{array}{c}{x}_{\mathrm{ij}}\\ y_{\mathrm{ij}}\\ z_{\mathrm{ij}}\\ 1\end{array}\right].$

由上可知每个特征点能够获得2个如上所示方程。将所有特征点代入摄像机成像模型，一个特征点可以得到2mn个方程，将所有方程组成方程组记为Mk＝d，可以得到畸变系数初始值k＝[k₁ k₂]′＝(M^TM)^-1M^Td。

为了验证本发明标定方法的效果，按照如下实验方法与ZHANG Z Y.标定方法进行比较：

实验用摄像机镜头为9mm的AVT Guppy F_033B摄像机，其图像分辨率为640×480；使用的立体靶标通过普通打印机打印平面表格，再贴到立方铁块上得到；在不同位置拍摄立体靶标图像5张，序号编为1-5，各幅图像如附图3a-3e所示；分别采用本发明的标定方法及ZHANG Z Y.标定方法对上述摄像机进行标定，然后比较两种标定方法得到的标定值；由于摄像机外参数数据庞大，且一般摄像机标定主要是为了标定内参数，所以本实验仅对摄像机内参数的标定值进行比较。考虑到ZHANG Z Y.标定方法使用共面特征点进行标定，因此实验时选取构成该立体靶标的其中一个平面靶标用来进行ZHANG Z Y.方法标定。

实验结果如下所示，其中表1为使用ZHANG Z Y.标定方法仅拍摄一张图像时的标定结果，表2为使用本发明方法仅拍摄一张图像时的标定结果，表3为使用ZHANG ZY.标定方法拍摄多张图像时的标定结果，表4为使用本发明方法拍摄多张图像时的标定结果：

表1

表2

表3

表4

从以上实验结果可以看到，使用单张或较少图像时，使用非共面点比使用共面点得到的摄像机参数更为稳定；随着图像使用数量增加，使用非共面点和使用共面点都趋于得到一个稳定的摄像机参数。

在上述实验中没有使用高精度标定块或特定的仪器，但使用本发明的标定方法最终仍得到了一个稳定且较高精度的结果，进一步证明了本发明的实用性。为了进一步提高摄像机参数精度，可以使用精度更高的3维标定块或者通过沿Z_w轴移动平面标定块固定距离得到位置精度较高的非共面特征点。

Claims (3)

1.一种基于非共面特征点的摄像机标定方法，其特征在于，包括以下步骤：

步骤A、设置立体靶标，并建立立体靶标坐标系；所述立体靶标能够提供至少6个非共面特征点；

步骤B、用摄像机拍摄立体靶标图像，所拍摄图像中至少包含6个非共面特征点；提取至少6个非共面特征点在图像坐标系下的坐标，求解立体靶标坐标系与图像坐标系之间的单应矩阵；

步骤C、根据步骤B得到的单应矩阵，求解摄像机的内部参数和外部参数。

2.如权利要求1所述基于非共面特征点的摄像机标定方法，其特征在于，所述步骤C后还包括步骤D：对步骤C得到的内部参数和外部参数进行非线性优化。

3.如权利要求2所述基于非共面特征点的摄像机标定方法，其特征在于，所述非线性优化是指：建立以摄像机内参数、外参数以及两阶径向畸变因子为参数且使投影误差最小的目标函数，以步骤C求得的摄像机内部参数、外部参数为初始值，利用Levenberg-Marquardt准则得到摄像机内部参数、外部参数的最优解。

Images