CN102842127A - 环景显示系统摄像机仅对外参数的自动标定 - Google Patents

Abstract

一种用于标定摄像机系统的方法，该摄像机系统包括具有预定内标定的多个摄像机，这些摄像机设置在诸如车辆的对象上，并覆盖该对象的周围环绕区域，该方法包括以下步骤：在对象周围区域中并且在摄像机视野中，设置一组以已知尺寸间隔开并位于单个平面上的标记；然后根据该摄像机的相应的标记组，计算该摄像机的外参数；并且针对该多个摄像机中其它摄像机中的每一个重复这些步骤。

Description

环景显示系统摄像机仅对外参数的自动标定

技术领域

本发明涉及标定（calibrate）摄像机系统的方法，该摄像机系统包括具有预定内标定（intrinsic calibration）的多个摄像机，这些摄像机设置在诸如车辆的对象上，并且覆盖该对象周围环绕区域。

背景技术

在现代化的对象（诸如车辆）中，对于获取紧邻该对象的周围环境的信息存在日益增长的需求。例如，关于车辆，驾驶员经常期望获得超出用于控制停车距离的传感器的信息。在不熟悉的、狭窄的或受约束的空间中，或者在其它情况迫使司机或乘客（如果存在）下车以协助驾驶员的时候，这样的信息可能尤其有用。在这样的情况下，通常期望在控制显示器上呈现基本全面的影像，示出从鸟瞰的角度观察到的车辆和其周围环境。这样的影像通常不能通过经常用于感测和控制停车距离的超声波传感器获得。取而代之的是，经常使用摄像机来获得这样的影像。所获得的图像通常可以数字方式呈现在某种控制显示器上，该种控制显示器对于控制该车辆的驾驶员或人是很容易看到的。于是，这种清楚的概览视图使得驾驶员即使在受约束的空间中也能够准确地操纵该车辆或对象，甚至无需转他/她的头部。这样的信息即使在诸如公路以外的路这样的崎岖地形下也可以呈现厘米级的准确度，避开大石、树木、树桩和其它障碍物。而且，在驾驶拖车时，这样的信息可能也是尤其有用的。可因此基本上避免与花盆、墙，等物刮蹭。该系统在白天和夜晚均可使用，即使是在车辆正以低速移动的时候也可使用，并且，可在狭窄的驾驶环境下避免与其它车辆或者与非移动物体碰触。

对于部分或甚至完全在遥控下的对象，这样的信息也可能是有用的。

典型地，为了获得基本接近360度圆周的周围环境的视图，需要至少两个摄像机。这样的摄像机可设置在车辆的侧视镜上。从这些摄像机获取的关于汽车和其周围环境的数据可由中央计算机处理。

另外的摄像机可在对象的其它位置处被集成到摄像机系统中，因此，例如，起到监视与该车辆交叉移动的交通的作用。重要的问题是，要避免盲点/黑点，也就是，在车辆环绕区域中未被该系统的任何摄像机覆盖的点。

用于提供这样的概览影像的摄像机系统的一个重要方面，是该系统的标定。

一种用于摄像机标定的简单模型是应用于小孔摄像机的Tsai模型或类似的立体投影的小孔模型，可起到解释某些基础参数的作用。

Tsai摄像机模型是基于立体投影的小孔模型的。给定在3D世界（3Dworld）坐标系中一点的位置，该模型预测该点的图像在2D像素坐标系中的位置。Tsai模型具有11个参数，包括五个内部参数（也称为内参数（intrinsicparameter）的或内在参数），和六个外部参数。

内部参数包括，表示小孔摄像机的有效焦距的f，表示一阶径向透镜失真系数的k₁，表示径向透镜失真中心的坐标Cx，Cy，以及该摄像机坐标系的Z轴在摄像机传感器平面上的穿透点，sx表示比例因子，用于解释归因于帧捕获器（framegrabber）横向扫描线重新取样的任意不确定因素。

外部的参数（也称为外参数或外在参数）包括Rx、Ry、Rz，其表示用于世界与摄像机坐标系之间的转换的旋转角（欧拉（Euler）角），并且Tx、Ty、Tz表示翻译分量，用于在世界与摄像机坐标系之间的转换。指数x、y和z可等同地表示为1、2和3。

内部参数描述了摄像机是如何形成图像的，而外部参数描述了在世界坐标系中摄像机的位置和定向。用于该模型的标定数据由特征点的3D（x，y，z）世界坐标（通常以mm的单位给定），以及在图像中该特征点的相应2D坐标（Xf，Yf）（典型地以像素为单位给定）组成。两种形式的标定可能是：在共面标定的情况下，标定点位于3D世界的单个平面上，而，在非共面的情况下，标定点则占据了一定的3D体积。例如在1986年在Miami Beach,FL召开的IEEE Conference on Computer Vision and Pattern Recognition的会议录的第364至374页，由Roger Y.Tsai所著的“An Efficient and Accurate CameraCalibration Technique for 3D Machine Vision”中，以及在1987年8月，IEEEJournal of Robotics and Automation，Vol.RA-3，No.4，第323至344页，由Roger Y.Tsai所著的“A versatile Camera Calibration Technique forHigh-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Camerasand Lenses”中，给出了对基本标定算法的解释。

在2000年，IEEE Transaction on Pattern Analysis and Machine Intelligence，Vol.22,No.11，第1330至1334页，由Z.Zhang所著的“A flexible new techniquefor camera calibration”中讨论了标定摄像机的不同方法。

摄像机系统经常是通过使用设置在固定位置处的标记进行标定的。为了这种标定，应该使诸如车辆的对象停在固定的位置。该车辆应进一步具有固定的定向。这两个要求都是相当困难且耗时的任务。这种标定方法也是相当难于以装置外演绎的方式执行的，在此情况下，整个标定设置必须被准确地转移或复制/再现。在任何情况下，标记的位置和它们与对象的相对位置都应该保持尽量准确。

发明内容

本发明针对以上提及的标定摄像机系统的问题提供了解决方案。尤其是，依据本解决方案，用于标定摄像机系统的方法通过提供该摄像机系统的所有摄像机的外参数（extrinsic parameter），使得标定非常灵活、机动，且易于完成。

本发明提供了一种用于标定摄像机系统的方法，该摄像机系统包括具有预定内标定的多个摄像机，这些摄像机设置在诸如车辆的对象上，并且覆盖了该对象的周围环绕区域，该方法的步骤包括：（a）在该对象的周围区域中且在摄像机的视野中，设置以已知尺寸间隔开并且位于的单个平面上的一组标记；然后（b）根据用于该摄像机的相应的标记组，计算该摄像机的外参数；并且然后（c）对多个摄像机中的其它摄像机中的每一个，重复以上步骤（a）和（b）。

将通过一种已知的方法提供的已知内标定考虑在内，依据本发明的方法集中在外参数上。通过以上步骤，可通过使用诸如棋盘板的一组标记，可典型地标定所有的多个摄像机，假设该棋盘提供了处于单个平面上的，也就是共面的点。这些板可典型地为四方形的，并且这些板可以是基本上平坦的。

由于根据内标定，每个摄像机的摄像机内参数是已知的，这提供了用于确定诸如旋转和平移参数（translation parameter）的外参数的基础。由于该组标记典型地提供了许多个点，在确定外参数所使用的任意线性方程的系统（或线性系统）中，这些点的个数都远大于未知点的个数，所以，任意线性系统的设置都将是超定的，使得优化可能应用。

在如上所描述的方法中，每一个摄像机的视野与其相邻摄像机中的至少一个可至少部分地重叠。在该摄像机系统中，所使用的摄像机的视野重叠提供了能够提供以下有益效果，以该摄像机系统中的不同的，即，独立的摄像机看到对应的图像点。由于该组标记在该单个面之内的尺寸和范围通常是已知的，所以这种重叠进一步有助于减少标定的误差，即，有助于精确确定摄像机参数。

在如上所描述的方法中，在相邻摄像机视野的重叠区域中，选择该组标记。一般在相邻摄像机的重叠区域中，选择该组标记。例如，对于在一个平面内的摄像机来说，则这涉及的是每个摄像机的左右邻居，如果可能为每个摄像机提供对应的点。

在如上所描述的方法中，针对多个摄像机中的至少一个，相应的一组标记可包括原点，使得各个摄像机的外参数可参考该原点。因此可引入世界坐标系（world coordinate system）中的原点作为参考点。

如以上所描述的方法可进一步包括以下步骤：（d）相对于在步骤（c）中获取的其它摄像机的外参数，针对多个摄像机中的每个摄像机计算第二组外参数。通过这些额外的步骤，可相对于相邻摄像机，对这些摄像机的标定进行测试。也就是说，摄像机的外参数可相对于其相邻摄像机来表达，但是，这些参数也可相对于所述摄像机的另一个相邻摄像机来提供。然后，该步骤可针对所有摄像机相继地进行，以获得一组适宜于进一步优化的方程。

如以上所描述的方法可进一步包括以下步骤：（e）相对于原点，针对其它摄像机中的每一个估计第三组外参数。正如以上已作为参考点所指出的，该原点提供了表达其它摄像机中任意摄像机的外参数的可能性，正如从一个摄像机关于该原点所看到的那样，从而为能在后续优化中使用的进一步信息提供了可能性。

如以上所描述的方法可进一步包括以下步骤：（f）优化所述组外参数。如果所测量的值没有噪声，则以上所估计的外参数将是精确的。但是，由于每一次测量通常都带有例如源于噪声的一些不确定因素，所以需要优化的步骤。典型地，最小化问题可使用最小二乘法来最小化这些参数的估计。这样的方法可通过使用Levenberg-Marquardt算法实现，该算法包括牛顿高斯（Newton-Gauss）与梯度下降（gradient descent）法。

在如以上所描述的方法中，该优化一般使重投影的错误最小化，这使用了步骤（e）的估计结果。也就是说，所选的该组记号的再投影通常应该产生最小的误差。

在以上所描述的方法中，该优化通常使步骤（d）的结果之间的差异最小化。这可被用作对如以上所描述的最小化方法的进一步约束，因此减少了在最小化问题中自由参数的个数，并且改进了该方法的收敛性。

在如以上所描述的方法中，可通使用过在每个摄像头前方已知的位置处的附加的一组标记进一步约束该优化。这些是提供最小化问题的参数的边界的附加信息，以进一步改进该问题的收敛性。进一步地，还可以针对该优化问题使用最大似然法，以替代最小二乘法。

在以上所描述的方法中，垂直于摄像机的投影面的失真通常是通过多项式来近似的。因此这些摄像机的失真可通过多项式近似来近似，即，使用函数快速地近似。在这方面，可以通过不同的函数（例如样条函数）来近似这些失真。

在以上所描述的方法中，这些摄像机可以是鱼眼摄像机。通常地，具有可为120度或更大的大开度角的直线性摄像机使用起来非常复杂，并且价格昂贵。使用鱼眼摄像机通常提供了能够提供鲁棒性的可能性，且处理摄像机组足够简单。通常地，所述摄像机的水平开度角不少于175度。因此，这样的摄像机还可提供至少部分地观察相邻摄像机的可能性，这提供了用于标定外参数的进一步的冗余信息。

在以上所描述的方法中，可相对于对象的至少一个对称轴对称地放置这些摄像机。在对象中，尤其是关于车辆的对象中，可在该车辆的左和右镜上提供这样的摄像机。而且，可在该车辆的前部和/或后部提供至少一个摄像机。对于较大的对象，针对所选摄像机可具有额外的或其它位置，诸如该对象的顶缘。

在以上所描述的方法中，摄像机的个数可以是四个，这是对可在诸如环景显示系统（Surround-View system）的系统中使用的摄像机选择的，目前该环景显示系统被某些车辆制造商所采用。

依据本发明，进一步提供了一种计算机程序产品，包括至少一个计算机可读介质，该计算机可读介质具有计算机可执行指令，用于在计算机上运行时，执行前面所述方法中的一个方法的步骤。也就是说，依据如以上所描述的方法，本发明可提供适用于标定摄像机系统的计算机程序产品或设备。所述设备可包括依据以上所描述的方法，用于标定以上所描述的摄像机系统的器件。

附图说明

根据以下结合附图所作出的详细描述，本发明的以上的和其它的方面、特征和优点将变得更加显而易见，其中：

图1是可依据本发明进行标定的摄像机系统的配置；

图2是可依据本发明进行标定的摄像机系统的摄像机的采集；

图3是用于依据本发明标定摄像机系统的外参数的方法的示意性表达；

图4是包括用于观察车辆周围环绕区域的最多六个摄像机的摄像机系统的示例。

具体实施方式

在下面讨论了具有四个摄像机的摄像机系统。摄像机的个数不应被理解为具有限制性，而仅是为了说明的目的选择的，并且，依据摄像机系统的特定应用，针对不同系统和不同对象，摄像机的个数可能改变。

图1描绘了具有摄像机系统的对象1，该摄像机系统包括四个摄像机。这些摄像机被表示为，指示前部摄像机的2F、指示后部/背面摄像机的2B、指示左侧摄像机的2L，和指示右侧摄像机的2R。对象1被图示成基本上为长方体。摄像机2F、2B、2L和2R被图示成黑点，这些黑点相对于代表对象1（例如车辆）的长方体的长轴AL和短轴AR对称地放置。在图1中，摄像机2F、2B、2L和2R被定位成，使得它们基本上在同一高度上，或者在代表图1中的垂直轴z的相同位置上。图1以毫米为单位，分别图示了从-8000mm到8000mm的x轴，以及从-5000mm到5000mm的y轴。z轴以毫米为单位示出了从0到5000mm的范围。应该理解，这些范围仅为了说明性的目的被选择，而其它的范围也可使用。

摄像机系统的摄像机2F、2B、2L和2R具有大开度角，例如超广角摄像机（extra wide angle camera）。这些摄像机2F、2B、2L和2R的开度角可以例如大于120度。这些摄像机的水平开度角可以上至175度且有可能更大。这些摄像机可备选地关于对象1的周边被对称地定位，以尽可能地覆盖该对象的整个周围环绕区域。在图1中用虚线图示了等高线CL。归因于对象1（例如车辆）的结构状况，在该对象1的侧面提供这些摄像机观察侧方向可能是更麻烦的。因此，可在该对象1最外侧的左右点，诸如车辆的镜子（未示出）处，提供摄像机2F、2B、2L和2R，以提供该对象1侧方的足够的视野和覆盖范围。

在图1中指示了摄像机2F、2B、2L和2R的投影空间，其中，在图1中距离被示为以毫米为单位。该对象1的碗形投影表面的底部是平坦的，使得在该底部上的点基本上仅在一个平面上给出。

图2示出了如用四个诸如鱼眼摄像机的摄像机所观察到的棋盘型测试板4的示例，其中，通过这些摄像机观察到的视图被表示为3F（前）、3B（后/背）、3L（左）和3R（右）。产生图2的视图的这些摄像机可与图1中所示出的摄像机2F、2B、2L和2R相对应。图2的摄像机中的每一个示出了例如棋盘型测试板，该棋盘形测试板位于这些摄像机中至少两个摄像机的视图平面中。

关于图1的摄像机，例如摄像机2F（前）和2R（后）观察到了测试板（例如棋盘板4），正如图3中视图3F和3R所示出的。也就是说，通过至少两个摄像机分别观察到了同一块板4。

针对在图1和图2中描绘的设置，随后描述了一种标定的方法。应该再一次强调，在本示例中摄像机的个数为四个，但是，摄像机的个数可以改变，并且可选择更少个或更多个摄像机。在下面，该标定的方法涉及如图1中描绘的具有四个摄像机2F、2B、2L和2R的摄像机系统，正如以上所描述的。这些摄像机2F、2B、2L和2R可如关于图2所讨论的那样产生视图3F、3B、3L和3R。

假设针对该摄像机系统的每一个摄像机，在此为2F、2B、2L和2R，的内标定是已知的，并且已经通过适宜的标定方法实现，对外参数的确定被假设为与对内参数的标定互无影响。现在，可根据示出一组测试标记的单个平面（诸如棋盘板4）推导出这些外参数，这些外参数是旋转性和翻译性的参数，见例如图2，对测试标记的唯一要求是，它们的尺寸应该是已知的。也就是说，该组测试标记的外尺寸应该是已知的，并且测试标记之间的距离应该是已知的。一般这些测试标记被放置在基本平坦的平面上。对于棋盘板4，其尺寸应该是已知的，并且板上的黑白方块或长方块的尺寸应该是已知的。

一般地，鱼眼状摄像机（诸如图2中的摄像机2F、2B、2L和2R）具有不同的映射机制。要取得描述每一个摄像机摄像属性的特定摄像响应函数可能较困难。因此，可通过可适当的近似函数（诸如多项式或样条）对失真进行近似。

在下面，平移矩阵T描述了用于将图案/一组标记平移给摄像机的外参数，且进一步地，旋转矩阵R描述了旋转外参数，诸如欧拉角。在外部图案坐标体系中，一点被描述成X=[X,Y，Z,1]’。贯穿以下说明，具有多个分量的矢量的记法可例如被表示成[x,y，z]。转置矢量可被表示成[x,y,z]’或[x,y,z]T。如通过这些鱼眼摄像机中的一个的图像观察到的点X=[X,Y，Z,1]’的投影被描述成x=[x,y,z]’。这里，如以上所讨论的，z可通过近似（例如，对各个摄像机的失真进行多项式近似）被给定成

z=a₀+a₁d+a₂d²…+a_ndⁿ，

其中d表示该投影点相对于图像中心的距离，n表示为该近似所选择的多项式次数。

在下面，H表示投影矩阵，对于该投影矩阵，重要的是注意H与x的向量积（cross product）为零，这是因为H和x是共线的。H由下式给出：

$H=\left[\begin{array}{cccc}{R}_{11},& R_{12},& R_{13},& T_1\\ R_{21},& R_{22},& R_{22},& T_2\\ R_{31},& R_{32},& R_{33},& T_3\\ 0& 0& 0& 1\end{array}\right]---\left(1\right)$

下面，假设Z=0，也就是说，相应的点被置于外部图案坐标系的XY平面上。根据这种假设，可获得以下等式：

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]\×\left[\begin{array}{ccc}{R}_{11},& R_{12},& T_1\\ R_{21},& R_{22},& T_2\\ R_{31},& R_{32},& T_3\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=0---\left(2\right)$

根据等式（2），我们推导出了以下线性系统，其考虑了对于z的失真的近似：

y_i(R₃₁X_i+R₃₂Y_i+T₃)-(a₀+...+a_ndⁿ)(R₂₁X_i+R₂₂Y_i+T₂)＝0

(a₀+...+a_nd_n)(R₁₁X_i+R₁₂Y_i+T₁)-x_i(R₃₁X_i+R₃₂Y_i+T₃)＝0（3）

x_i(R₂₁X_i+R₂₂Y_i+T₂)-y_i(R₁₁X_i+R₁₂Y_i+T₁)＝0

开始时对于位于该测试板上的所有点，仅考虑后两个等式，从中可得到：

L·M=0                        （4）

使用以下定义

M=[R₁₁,R₁₂,R₂₁,R₂₂,T₁,T₂]’以及

$L=\left[\begin{array}{c}-y_1{X}_1,-x_1{Y}_1,x_1{X}_1,y_1{Y}_1,-x_1,y_1\\ -y_2{X}_2,-x_2{Y}_2,x_2{X}_2,y_2{Y}_2,-x_2,y_2\\ -y_3{X}_3,-x_3{Y}_3,x_3{Y}_3,y_3{Y}_3,-x_3,y_3\end{array}\right]---\left(5\right)$

由于来自该组标记（诸如棋盘板）中的点的个数通常比未知的个数大得多，因此能够通过最小二乘准则（least square criteria）对该线性系统求解，例如：

min||L·M||条件是||M||²=1。

而且，应该注意到，旋转矩阵R的列是正交的。因此，唯一地确定出了该旋转矩阵R的剩余分量。

在该系统中，因此通过与T₃做除法，确定了外部的旋转和平移参数。

下面，将以上针对旋转和平移参数R和T所获得的表达式考虑在内，使用等式（3）中的前两个等式对T3求解，于是获得了以下表达式：

$\left[\begin{array}{c}{A}_1,A_1{d}_1...A_1{d_{\mathrm{1,1}}}^n\\ C_1,C1d_1...C_1{d_1}^n\\ ...\\ A_k,A_k{d}_k...A_k{d_k}^n\\ C_k,C_1{d}_k...C_1{d_k}^n\end{array}\right]\·\left[\begin{array}{c}{a}_0\\ ...\\ a_N\end{array}\right]-T_3\left[\begin{array}{c}{y}_1\\ x_1\\ ...\\ y_N\\ x_N\end{array}\right]=\left[\begin{array}{c}{B}_1\\ D_1\\ ...\\ B_k\\ D_k\end{array}\right]---\left(6\right)$

其中使用了以下缩写代换：

A_j＝R₂₁X_j+R₂₂Y_j

B_j＝y_i(R₃₁X_j+R₃₂Y_j)

C_j＝R₁₁X_j+R₁₂Y_j+T₁            （7）

D_j＝x_i(R₃₁X_j+R_i，32X_j)

其中索引j表示在测试板上的点，即，该标定所使用的一组测试标记。

就等式（6）而言，获得了超定的线性系统。该系统可通过使用摩尔彭罗斯广义逆（Moore-Penrose pseudoinverse）（此后仅称为广义逆）来解算，该广义逆被用于运算该线性方程系统的最佳（诸如最小二乘）解。这于是还可用作对于具有多个解的线性方程系统的最小（欧几里德（Euclidean））范数解（norm solution）最小化。应该注意，该广义逆是针对所有矩阵定义的并且是唯一的，这些矩阵的元为实数或复数，这可使用奇异值分解（singularvalue decomposition）（SVD）来实现。

解算T3，可得到：

现在，根据该式已经确定了旋转和平移矩阵R和T中的所有参数。也就是说，已经得到了针对图1和图2中的每一个摄像机且针对每个特定测试板的外参数。

因此，可以相对于第一摄像机的外参数来表达第二摄像机的外参数，不严谨地说，可相对于第一摄像机来表达第二摄像机。例如，如图1和图2所示的，如果第一摄像机是前方的摄像机而第二摄像机是右侧的摄像机，则RBoard_1L和RBoard_1R代表相对于摄像机1的板的左右旋转矩阵，对应的平移参数分别被表示为TBoard_1L和TBoard_1R。因此，可相对于第一摄像机，将在第二摄像机的位置上的摄像机2表达成：

R₁Camera₂＝RBoard_1R*RBoard_1L ^-1＝RBoard_1R*RBoard_1L ^T        （9）

T₁Camera₂＝TBoard_1R-R₁Camera₂*TBoard_2L

在以上方案中，已经相对于摄像机1表达了摄像机2的参数。在这种配置下，可相对于摄像机2对在图1和图2中背部摄像机，第三摄像机，摄像机3，进行表达。而且，可相对于摄像机1对在图1和图2中左侧的第四摄像机进行表达。

现在，相对于摄像机1，可以两种不同的方式来表达摄像机3（后部）的外参数。一种是可将第二摄像机的参数用作中间结果，或者，另一种是可将第四摄像机的参数用作中间结果。通过以下两种表达可对这两种选择进行表达：

R₁Camera₃＝R₁Camera₂*R₂Camera₃

T₁Camera₃＝R₂Camera₃*T₂Camera₃+T₁Camera₂                （10）

R₁Camera₃＝R₁Camera₄*R₄Camera₃                          （11）

T₁Camera₃＝R₄Camera₃*T₄Camera₃+T₁Camera₄

为了获得一个总体的参考点，前部摄像机，摄像机1的外参数可通过典型地在该摄像机前方地面上放置的一组测试标记（即，标定板）来确定。在地面前方上，该标定板的位置被选择为，使得该板的中间轴与车辆前部的中间大致重合，并因此与用于标定的中间起点重合。因此，该板被选择为，沿着这辆汽车的轴向，基本平行于该汽车。通过这样的方式实现了相对于该辆汽车的前部摄像机的外标定。虽然该标定非常粗略而且是近似的，但是其较为简单并且易于实现，而且为后续标定提供了起点。

该组测试标记、测试板的尺寸是预先确定的且是已知的，并且可被用作以上方法的输入。因此，可相对于总体参考点，获得第一摄像机的外参数。

现在可相对于该原点，表达在并不对本方法构成限制的本示例中其余3个摄像机（后部摄像机3、左侧摄像机和右侧摄像机2）的参数，该原点是相对于参考点的，即：

RCamera₂Orig＝RCamera₁Orig*R₁Camera₂

T₁Camera₂Orig＝RCam₁Orig*T₁Camera₂Orig+TCam₁Orig

RCamera₃Orig＝RCamera₁Orig*R₁Camera₃                （12）

T₁Camera₃Orig＝RCam₁Orig*T₁Camera₃Orig+TCam₁Orig

RCamera₄Orig＝RCamera₁Orig*R₁Camera₄

T₁Camera₄Orig＝RCam₁Orig*T₁Camera₄Orig+TCam₁Orig

通过这种方式获得了对该摄像机系统中所有摄像机（此处为摄像机1至4）的外参数的估计。在没有摄像机噪声和失真的情况下，这些估计值将是精确的，这指的是一种理想的场景。然而，由于摄像机噪声和失真都不能被忽略，所以从这些摄像机中的每一个获得的测量都被用作优化过程的输入。

可使用平均最小二乘法，例如使用Levenberg-Marquardt算法来执行优化，该算法是的牛顿-高斯与梯度下降法的组合。

在该优化中，可将进一步的限制考虑在内。在标定板上使用估计结果进行再投影将提供极微的误差。而且，通过等式（10）和（11），即，通过以上描述的两种不同的方式所计算出的摄像机参数，将产生相同的结果。此外，可使用通常在地上置于每个摄像机前方的板，使得在地上的这些点可为优化问题提供进一步限制。

图3示出了对依据本发明用于标定摄像机系统的外参数的方法的示意性表达。该摄像机系统可同样涉及如关于图1和图2所描绘的和讨论的摄像机系统。

在步骤200中，在对象周围环绕区域中并在摄像机视野中，设置以已知的尺寸间隔开并位于单个平面上的一组标记。在步骤210中，该方法涉及根据摄像机的相应的一组标记，计算该摄像机的外参数。在步骤220中，针对该多个摄像机中其它摄像机中的每一个，重复步骤200和步骤210。在步骤230中，相对于在步骤220中获得的其它摄像机的外参数，计算用于该多个摄像机中每一个摄像机的第二组外参数。在步骤240中，提供相对于原点其它摄像机中每一个摄像机的第三组外参数的估计。在步骤250中，优化在步骤240中的外参数组。在步骤250中的优化可将以下步骤中的一个或更多个步骤考虑在内，这些步骤为253：使用240的估计结果最小化在一组标记上的再投影的误差、255：通过使用在每一个摄像机的前方已知位置上的附加组标记进行限制，以及，257：针对不同摄像机最小化230的结果之间的差异。在步骤300中，由控制摄像机系统的控制系统的输出单元输出结果。

以上描述的方法可在控制系统或控制单元中实现，该控制系统或控制单元可代表一种计算机程序产品。该方法可被存储在至少一个计算机可读介质（诸如硬盘、闪存盘、闪存或在以上控制系统中包括的任意其它现代化存储器单元）中。因此该存储器可具有，在计算机（例如控制单元）上运行时，用于执行以上描述方法中的任一个方法的步骤的计算机可执行指令。这些计算机可执行指令可例如以面向对象的计算机语言（例如C++）编码。

通过对象的控制单元，可将从摄像机系统获取的数据有益地考虑在内。该控制单元可在通常可使该车辆的驾驶员容易看到的适宜的显示器上提供数据图像。所获得的这些结果还可与控制该对象的速度的速度控制系统结合。关于能见度、速度、对象的接近、附近对象的速度变化中的一个或更多个因素的预定阈值可被考虑在内，并可以通过信号通知正在控制该对象的驾驶员或人，以协助他/她做出决策。

图4示出了进一步的示例，车辆10装备有一套摄像机系统，其具有六个摄像机：指示前部的11F、指示后部/背部的11B、指示右边的11R、指示左边的11L、指示观察该车辆左前方的摄像机11FL、指示观察该车辆右前方的摄像机11FR、指示观察该车辆左后方的摄像机11BL，以及，指示观察该车辆右后方的摄像机11BR。该组摄像机11F、11B、11L、11R、11FL、11FR、11BL和11BR基本覆盖了该车辆10周围环绕区域。类似于在图1和图2中所示出的摄像机系统，这些摄像机具有重叠的视野。

还可以将从该摄像机系统获得的数据与图案识别单元相结合，该图案识别单元能够将所获得的数据与诸如人、动物的轮廓，此外还有热辐射源的轮廓的预定图案进行比较。这对于在夜间提供基本景象，以便安全地引导对象，可能是尤其重要的。

进一步可能的是，为了覆盖该车辆前灯以外的区域，用于对周围环境进行视觉感知的摄像机的个数，和，进一步的红外摄像机（即，对周围环境进行热感知）的个数可能不同，或者，这些摄像机指向的主方向不同。

进一步可能的是，这些摄像机可记录诸如道路标志或交通信号灯或警告标志的交通信息，尤其是那些不在驾驶员视野内的交通信息，使得这些额外的信息可被考虑在内。

虽然参考其特定的优选实施例示出和描述了本发明，但是本领域技术人员将理解的是，在其中可做出形式和细节上的不同改变，而不背离如在随附的权利要求书中所限定的本发明的精神和范围。

Claims (15)

1.一种用于标定摄像机系统的方法，该摄像机系统包括多个具有预定内标定的摄像机，这些摄像机被设置在诸如车辆的对象上，并覆盖该对象的周围环绕区域，该方法包括以下步骤：

（a）在所述对象的周围区域中并且在摄像机的视野中，设置一组以已知尺寸间隔开并且位于单个平面上的标记；然后

（b）根据该摄像机的所述相应标记组，计算所述摄像机的外参数；

（c）对所述多个摄像机中其它摄像机中的每一个，重复步骤（a）和（b）。

2.如权利要求1所述的方法，其中，所述每个摄像机的视野与其相邻摄像机中至少一个摄像机的视野至少部分重叠。

3.如权利要求2所述的方法，其中，在相邻摄像机所述视野的所述重叠区域中，选择所述标记组。

4.如权利要求1至3中任一项所述的方法，其中，对于所述多个摄像机中的至少一个摄像机，所述相应标记组包括原点，使得所述相应摄像机的所述外参数参考该原点。

5.如权利要求4所述的方法，进一步包括步骤（d）：相对于在步骤（c）中获得的所述其它摄像机的所述外参数，针对所述多个摄像机中的每个摄像机，计算第二组外参数。

6.如权利要求4或5所述的方法，进一步包括步骤（e）：相对于所述原点，针对所述其它摄像机中的每个摄像机，估计第三组外参数。

7.如权利要求6所述的方法，进一步包括步骤（f）：优化所述外参数组。

8.如权利要求7所述的方法，其中，所述优化使使用步骤（e）的所述估计结果的所述标记组的再投影的误差最小化。

9.如权利要求7或8所述的方法，其中，所述优化使步骤（d）的所述结果之间的差异最小化。

10.如权利要求7至9中的任一项所述的方法，其中，通过使用在每个摄像机前方已知位置处的另外的标记组，进一步限制所述优化。

11.如权利要求1至10中的任一项所述的方法，其中，通过多项式来近似与摄像机的投影平面正交的失真。

12.如权利要求1至11中的任一项所述的方法，其中，所述摄像机为鱼眼摄像机。

13.如权利要求1至12中的任一项所述的方法，其中，所述摄像机相对于该对象的至少一个对称轴对称地放置。

14.如权利要求1至13中的任一项所述的方法，其中，所述摄像机的个数为四个。

15.一种计算机程序产品，包括至少一个计算机可读介质，具有计算机可执行指令，当在计算机上运行时，用于执行如权利要求1至14中的任一项所述的方法的所述步骤。

Images