Nothing Special   »   [go: up one dir, main page]

CN113841384B - 校准装置，用于校准的图表和校准方法 - Google Patents

校准装置，用于校准的图表和校准方法 Download PDF

Info

Publication number
CN113841384B
CN113841384B CN201980096450.6A CN201980096450A CN113841384B CN 113841384 B CN113841384 B CN 113841384B CN 201980096450 A CN201980096450 A CN 201980096450A CN 113841384 B CN113841384 B CN 113841384B
Authority
CN
China
Prior art keywords
view
field
image
cameras
chart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980096450.6A
Other languages
English (en)
Other versions
CN113841384A (zh
Inventor
明官佳宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN113841384A publication Critical patent/CN113841384A/zh
Application granted granted Critical
Publication of CN113841384B publication Critical patent/CN113841384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

夹具14保持成像装置12和图表200并且改变成像装置12相对于图表200的方向，成像装置12包括具有不同的光轴方向的多个相机13a,13b,13c，…，并且图表200由具有不同角度的多个平面形成。校准装置10在相邻相机获得图表200的预定视野时获取拍摄图像，并且提取图表图案的特征点的图像，以获得成像装置12的相机参数。

Description

校准装置，用于校准的图表和校准方法
技术领域
本发明涉及用于校准成像设备的装置、用于校准的图表和校准方法。
背景技术
利用用于显示捕获图像或分析捕获图像以获取预定信息的技术被广泛引入电子游戏等、安保相机、车载相机、机器人控制等的内容中。为了确保此类系统中的处理精度，执行校准处理以预先获取装置特定信息，例如成像装置的内部和外部参数。内部参数定义了捕获图像中像素的位置坐标与相机坐标系(原点位于光学中心并使用长度作为单位)中的位置坐标之间的关系，并且表示由畸变校正系数、焦距、原点的相对位置、剪切因子和比例因子确定的相机光学系统的特性。
这里，畸变校正系数是用于校正透镜诱发的径向变形或透镜诱发的周向变形的系数。外部参数定义相机坐标系和世界坐标系之间的关系，并用于例如执行多眼相机(具体而言，例如立体相机)的同时校准以调整单独捕获图像的倾斜。张的方法是众所周知的校准技术(参考NPL 1)。张的方法是从多个视点捕获具有棋盘格图案的平面图表的图像并优化参数以校正捕获图像中的特征点的位置与真实空间中的图表平面上的特征点的位置之间的关联的方法。
[引文列表]
[专利文献]
[PTL 1]
欧洲专利申请公开No.0999518
[非专利文献]
[NPL 1]
张正友，“一种灵活的相机校准新技术”，微软研究技术报告，MSR-TR-98-71，1998年12月2日。
发明内容
[技术问题]
使用NPL1中介绍的方法，需要以多个位置和姿势设置成像装置和图表并重复捕获图像。这造成了繁重的工作量。在一定的约束条件下，可以减少图像采集的工作量。然而，可以想象，这种约束条件可能会丧失变通能力。此外，一个简单的校准方法不可能达到和张的方法相当的精度。近年来，包括具有不同光轴取向的多个相机的成像装置已被广泛用于获得广角图像，例如全天空图像。然而，相机数量的增加增加了校准所需的时间和精力。
本发明是针对上述问题而做出的。本发明的一个目的是提供一种技术，通过该技术可以以减少的工时高精度地校准成像装置。
[问题的解决办法]
为了解决上述问题，本发明的一个方面涉及校准装置。该校准装置校准包括具有不同光轴取向的多个相机的成像装置，并且包括：图像获取部分，其被配置为获取由所述多个相机中的至少两个相机从不同方向捕获的图表的图像的数据，所述图表包括具有不同角度的多个平面；特征点信息获取部分，其被配置为从每个所述图像中检测所述图表上描绘的图案的特征点的图像并生成特征点信息，其中所述特征点的所述图像的位置坐标与所述图表上所述特征点的位置坐标相关联；以及校准部分，其被配置为基于所述特征点信息获取包括所述相机之间的位置和姿势信息的参数。
本发明的另一方面涉及用于校准的图表。该校准图表用于校准包括具有不同光轴取向的多个相机的成像装置，并且包括形成预定角度的多个平面，其中，所述多个平面中的任何一个平面包括：已经根据所述多个相机中的相邻相机的成像平面的角度对所描绘的图案进行投影变换的区域，所述相邻相机中的每个相机同时捕获所述平面的图像；以及所描绘的图案不进行所述投影变换的区域。
本发明的另一方面涉及校准方法。该校准方法包括：通过用于校准成像装置的校准装置实现以下步骤，所述成像装置包括具有不同光轴取向的多个相机：获取由所述多个相机中的至少两个相机从不同方向捕获的图表的图像的数据的步骤，所述图表包括具有不同角度的多个平面；从每个所述图像中检测所述图表上描绘的图案的特征点的图像并生成特征点信息的步骤，其中所述特征点的所述图像的位置坐标与所述图表上所述特征点的位置坐标相关联；以及基于所述特征点信息获取包括所述相机之间的位置和姿势信息的参数的步骤。
应当注意的是，上述构成组件的任何组合以及在方法、装置、系统、记录介质、计算机程序等之间转换的本发明的表达式也作为本发明的方面有效。
[发明的有利效果]
根据本发明，可以以减少的工时高精度地校准成像装置。
附图说明
图1是示出在本实施例中要校准的成像装置的图。
图2是示出在本实施例中要校准的成像装置的其他示例的图。
图3是示出根据本实施例的校准系统的配置的图。
图4是用于描述本实施例中的成像装置的相机之间的位置关系和图表的图。
图5是用于描述在本实施例中的图表上描绘的图案的图。
图6是用于描述用于生成图5所示的图表图案的方法的图。
图7是用于描述用于生成图5所示的图表图案的方法的图。
图8是用于描述在本实施例中赋予图表图案的特征点的索引的图。
图9是示出根据本实施例的校准装置的内部电路的配置的图。
图10是示出根据本实施例的校准装置的功能块的配置的图。
图11是示出根据本实施例的校准装置基于图表的捕获图像执行校准的处理过程的流程图。
图12是示出特征点信息获取部分生成图11的S24中的特征点信息的处理过程的流程图。
图13是用于描绘在本实施例中通过特征点信息获得的信息系统的图。
图14是示出校准部分通过其获取图11的S29中的外部参数的处理过程的流程图。
图15是用于描述在本实施例中的成像装置中包括多个立体相机的情况下相机之间的位置关系和图表的图。
具体实施方式
图1示出了在本实施例中要校准的成像装置。如上方部分的透视图所示，成像装置12具有圆柱形形状，其中多个相机13a、13b、13c…的成像平面设置在成像装置12的侧表面上。如下方部分的水平横截面图所示，多个相机13a、13b、13c、…固定在成像装置12内，使得它们的光轴向外辐射。
相机13a、13b、13c…中的每个相机包括成像设备和机构。成像设备捕获对象的图像。该机构通过对来自成像设备的输出信号执行诸如去马赛克处理之类的一般处理来生成和输出捕获图像的数据。成像设备包括可见光传感器，例如CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器，例如，其用在普通数码相机或数码摄像机中。以这种方式配置的成像装置12可以在水平方向上以360°视角捕获静止图像或运动图像。
图2示出了在本实施例中要校准的成像装置的其他示例。在子图(a)中示出了一种成像装置，该成像装置包括以相同高度平行设置的四个立体相机的组合。该图示出了该成像装置的横截面图。使用立体相机从已知空间的视点捕获的立体图像对来标识对象位置的技术是众所周知的。如图中所示，成像装置包括多个立体相机，这些立体相机被固定成其光轴向外辐射。这样的成像装置不仅可以捕获360°广角图像(如图1所示的成像装置12的情况)，而且还可以获取对象的位置。
注意，通过更换相机13a、13b、13c…也可以获得类似的信息，相机13a、13b、13c…具有图1所示配置的红外传感器，并且提供图中未示出的红外照射机制。一种检测辐照红外光反射并根据辐照光和反射光之间的时间差或相位差确定对象位置的技术称为TOF(飞行时间)。子图(b)示出了成像装置的透视图，其中在十二面体的每个面上提供多个相机中的每个相机的成像平面。以这种方式配置的成像装置可以在不区分水平方向和垂直方向的情况下获得全天图像。
在本实施例中要校准的成像装置包括光轴不平行的多个相机，如图1和2所示。就这一点而言，对相机的数量和布置、整体视角以及包括是否平行和相同高度提供的相机没有限制。此后，将此类成像装置统称为“成像装置12”。通过将成像装置12的各个相机根据其视角在多个方向上捕获的图像拼接在一起获得广角图像。如果将其用作显示的源图像，则可以实现能够从期望视点观看图像的内容。
例如，在与佩戴头戴式显示器的用户的头部的移动相对应的视野中显示源图像可以使用户感觉沉浸在图像世界中。通过网络分发此类视频内容，还可以很容易地营造出用户身处世界各地的情景。此外，如果成像装置12安装在诸如移动机器人、无人机或车载相机之类的移动对象中，则无论移动方向如何，都可以捕获所有方向上的图像。
此时，如果如图2的子图(a)所示引入多个立体相机以标识存在于环境中的对象的位置，则可以执行自主控制以避免碰撞，并且可以将关于环境状况的信息准确地发送到远程位置。增强现实或混合现实可以通过显示捕获到的图像来实现，根据对象的位置和运动，将虚拟对象叠加在该图像上。以这种方式，使用成像装置12的目的不受限制。然而，即使在任何情况下，相机参数的准确获取也是提高处理结果的准确性的重要关键。
例如，假设将由多个相机捕获的图像拼接在一起的情况。在这种情况下，在某些情形下，仅相机之间的距离、光轴的方向、每个相机的焦距等与设计值的微小偏差可使拼接变得可见。此外，尽管使用立体相机的测距技术可以基于成像平面获得对象在局部坐标系中的位置，但是需要准确地标识多个立体相机之间的相对位置和姿势，以便将获得的结果整合到单个坐标系中。
典型的单镜头或立体相机从多个方向捕获图表图案的图像，并通过分析该图像来获取相机参数。相比之下，本实施例中假设的成像装置12包括相机，每个相机具有不同的光轴取向。因此，用于立体相机的计算不能按原样应用。此外，随着相机数量的增加，图像捕获所需的时间和精力也会增加。因此，本实施例采用包括具有不同角度的多个平面的图表。通过在改变成像装置12的方向的同时重复多个相机的同时图像捕获，以减少的工时高精度地获取相机参数。
图3示出了根据本实施例的校准系统的配置。该校准系统包括要校准的成像装置12、用于校准的图表200、夹具14和校准装置10。夹具14将成像装置12和图表200保持在预定的位置关系中。校准装置10通过使用图表200的捕获图像来获取相机参数。注意，如右上横截面图所示，图中所示的成像装置12包括具有设置在图1所示的圆柱形侧表面上的成像平面的多个相机。然而，如上所述，对成像装置12的形状不做限制。
校准装置10获取由成像装置12捕获的用于校准的图表200的图像的数据，并基于该数据执行预定计算以导出内部参数和外部参数。这些是众所周知的参数。通过使用这些参数，捕获图像中的像素m(u，v)与世界坐标系中的位置M(X，Y，Z)之间的关系表示如下。
[数学函数1]
这里，“s”表示比例因子，并且“A”表示内部参数矩阵。[R|t]表示外部参数。外部参数包括用于将世界坐标系转换为相机坐标系的旋转矩阵R和平移向量t。内部参数矩阵A表示如下。
[数学函数2]
这里，“f”表示焦距，ku和kv表示图像平面的水平和垂直比例因子，并且(u0,v0)表示图像平面上光轴的位置坐标。注意，在上述等式中，假设偏斜畸变(skew distortion)为零。
此外，在考虑透镜诱发的径向畸变或透镜诱发的周向畸变的情况下，例如，通过下面的近似等式，将位于捕获图像中以光轴为中心的位置坐标(x，y)处的点位移到位置坐标(x'，y')处的点。
x'＝(1+k1r2+k2r4)x+2p1xy+p2(r2+2x2)
y'＝(1+k1r2+k2r4)y+p1(r2+2y2)+2p2xy
这里，
r2＝x2+y2
此外，k1和k2表示与径向畸变相关的参数，p1和p2表示与周向畸变相关的参数。这些参数统称为畸变系数。
校准装置10获得包括畸变校正系数等的内部参数和外部参数，使得捕获图像中的特征点的图像出现在三维空间中反映原始位置的位置。在下文中，这些参数有时将被统称为“相机参数”。现有技术足以用于导出相机参数的过程的基本算法。特别是，可以采用NPL1中所述的张的方法。即，从捕获的图像中提取图表200上描绘的特征点的图像以获得其位置坐标。然后根据获得的位置坐标和特征点在三维中的位置，获得内部参数的初始值，并执行称为光束调整的非线性优化处理，以最终确定内部参数和外部参数。
同时，在本实施例中，用于校准的图表200具有三维结构，包括相对于捕获图表200的图像的至少任何相机的光轴倾斜的多个平面。图中所示的图表200处于竖直状态，使得在其上描绘图表图案的两个平面中的一个平面的一侧连接到两个平面中另一个平面的一侧，以便围绕这些侧面形成的轴形成θ角(0<θ<180°)。然而，只要后面描述的第一视野和第二视野可以由相邻的相机同时获得，则对构成图表200的平面的数量没有限制。
在图表200中，在成像装置12侧的每个平面上描绘的图表图案包括棋盘格图案和标记。棋盘格图案包括以网格图案排列的矩形，其中相邻的矩形交替地以黑色和白色着色。标记用于标识相应的平面。在这种情况下，特征点是每个矩形的顶点。然而，图表200上描绘的图案不限于棋盘格图案。只要分布的特征点具有能够通过使用现有搜索方法容易地检测到特征点的形状和排列，就可以使用任何图案。例如，可以使用通过水平和垂直排列黑圈而获得的圆圈网格。
夹具14保持成像装置12和图表200两者，使得成像装置12和图表200具有预定的姿势和距离，并且还改变成像装置12的方向，使得成像装置12的所有相机13a、13b、13c、…中的每个相机可以在预定视野中顺序捕获图表200的图像。在图中所示的圆柱形成像装置12的情况下，夹具14包括支撑圆柱体的中心部分并绕中心轴旋转成像装置12的致动器。这允许每个相机顺序地采取相对于图表200的类似姿势，并在相同视野中捕获图表200的图像。
然而，对夹具14的形状和操作不做限制，并且根据成像装置12的形状、相机的布置等进行优化。校准装置10向夹具14发送控制信号以执行控制，从而改变每个相机的成像平面的方向，直到成像平面相对于图表200呈现预定姿势，并且在成像平面呈现预定姿势时暂停。此外，校准装置10还向成像装置12发送控制信号，以使成像装置12在暂停时刻捕获图表200的图像。结果，顺序获取由每个相机在类似视野中捕获的图表200的图像。
图4是用于描述成像装置12的相机之间的位置关系和图表的图。该图示出了图表200以及包括在成像装置12中的相机中的三个相机13a、13b和13c的俯视图。对于校准，校准装置10使用包括在视野中的图表200的两个平面的捕获图像和包括在视野中的一个平面的捕获图像。在图中所示的示例中，前者由具有视野范围18a的相机13a捕获，而后者由具有视野范围18b的相机13b捕获。
在下文中，前一视野将被称为“第一视野”，后一视野将被称为“第二视野”。包括在第一视野中的图表200的两个平面相对于捕获这些平面的图像的相机13a的光轴倾斜。优选地，包括在第二视野中的单个平面与捕获该平面的图像的相机13b大致直接相对。然而，对于该单个平面与相机13b之间的关系没有特定限制。在第一视野中捕获的图像用于获取已捕获该图像的相机的内部参数。此外，在第二视野中捕获的图像和表示在第一视野中捕获的图像内与第二视野公共的平面的图像的区域用于获取已捕获该图像的两个相机的外部参数。
例如，如箭头16所示，通过夹具14旋转成像装置12，接着使相机13b和13c分别到达第一视野和第二视野的位置。因此，下一幅图像由这些相机捕获。以这种方式，每当彼此相邻的两个相机到达满足上述条件的各自位置时，重复停止成像装置12的旋转和捕获图表200的图像的处理。最终，可以获得由所有相机捕获的第一视野和第二视野的捕获图像。以包括八个相机0到7的成像装置12为例，可以通过如下八次执行图像捕获来获取所有图像。这里，“序列号”是指标识每一轮图像捕获的标识号。
[表一]
如上所述，使用在每个序列中捕获的第一视野的图像来获得相机0到7中的相应一个的内部参数。此外，在每个序列中捕获的第一视野的图像和第二视野的图像用于获得相邻相机的外部参数，即相机0和1、1和2、2和3…。如果可以获得相邻相机之间的位置和姿势关系，则可以获得所有相机相对于用作参考的一个相机的位置和姿势。注意，如果相机的数量为n，则可以通过至少捕获第一视野中的图像n次并同时捕获第二视野中的图像n-1次来获得所有相机的内部参数和相机之间的外部参数。
此外，如上所述，只要可以同时获得第一视野和第二视野的捕获图像，就不限制构成图表200的平面的数量。增加平面的数量可以减少图像捕获的次数。此外，第一视野和第二视野的上述条件是最低要求，并且图表200的其他平面等也可以在图像中捕获。在一些情况下，第一视野可以包括三个平面，其中一个平面包括在相邻相机的第二视野中，而另一个平面包括在对侧相邻相机的第二视野中。
图5是用于描述在图表200上描绘的图案的图。图的上半部分示出了在图表200的两个表面上描绘的图案。中间部分示出了图表200和成像装置12之间的位置关系。如本文所示，在平面202a上描绘图表图案212a，并且在平面202b上描绘图表图案212b。在第一视野中捕获平面202a的图像。在第一视野和第二视野中共同捕获平面202b的图像。图案212b的区域204a包括在第一视野中。
图的下半部分示出了在从相机13a的第一视野和从相机13b的第二视野中观察到的图表图案是什么样的。在第一视野214中，同时观察到图表200的两个平面202a和202b。即，图像218a和218b分别对应于平面202a和202b。这些平面在深度方向上具有相对于相机13a的成像平面的范围。因此，在图表图案表示棋盘格模式本身的情况下，更深的图案看起来在尺寸上更小。在这种情况下，作为特征点的正方形角的搜索精度取决于它们的位置。
因此，在本实施例中，如图所示，为了使特征点的位置在垂直和水平方向上明显地均匀地出现在第一视野214中，对原始棋盘格图案进行投影变换，该投影变换是根据成像平面与该平面之间的距离产生的投影变换的逆变换。在图中所示的示例中，以透视方式描绘图表图案212a，使得棋盘格图案的正方形在距离成像平面最远的右端处最大化。此外，在图表图案212b中，透视地描绘包括在第一视野中的区域204a，使得棋盘格图案的正方形在距离成像平面最远的左端最大化。
由于与相机13a的成像平面的距离相对于图表图案的水平轴线性变化，因此可以通过使用稍后描述的单应矩阵从一般棋盘格图案容易地生成图中所示的图表图案。这种配置能够捕获在垂直和水平方向上均匀对齐的大小相等的图形的图像，尽管这些图形在真实空间中的距离不同。这统一了特征点的检测精度，使得能够通过单个图像捕获来获取相机13a的参数。
注意，本发明人在国际公布No.WO 2018/235163中公开了在单镜头相机或立体相机的校准中使用具有形成一定角度的多个平面的图表的技术。相比之下，在本实施例中，使用包括在图表200中的多个平面，使得具有不同光轴取向的两个相机13a和13b中的每一个都可以同时捕获图表200的图像。即，相机13b的第二视野216包括与第一视野共有的平面202b。
在图中所示的示例中，确定图表200的两个平面之间的角度，使得平面202b大致与相机13b的成像平面直接相对。在这种情况下，在平面202b上描绘的图表图案212b中，不包括在第一视野214中的区域204b原样描绘了棋盘格图案。因此，可以在第二视野216的至少一部分中观察到在垂直和水平方向上均匀对齐的特征点。在平面202b和相机13b不是彼此直接相对的情况下，区域204b中的棋盘格图案也可以根据它们之间的距离进行逆投影变换，如区域204a的情况一样。
注意，每个视野中的明显特征点布置得越均匀，检测精度就变得越均匀，但无意严格创建这样的布置。换句话说，没有必要严格限定相机13a和13b与图表200的相应平面202a和202b之间的角度或相应地严格地变换图案。例如，在由相机13b捕获的图表图案212b的图像中，特征点在区域204a的图像中不是垂直排列的，但是即使在该区域中也可以检测到特征点并用于推导相机参数。
图6和图7是用于描述用于生成图5所示的图案的方法的图。图6示意性地示出了图表200中的平面202a和相机13a的俯视图。在平面202a中，由图表200的形状和夹具14的设计确定从相机13a的成像平面到最近点a的光轴方向上的距离za和到最远点“b”的光轴方向上距离zb。
由于点“b”的表观尺寸是点“a”的za/zb倍，图表图案中点“b”的大小是za/zb倒数的倍数，因此“a”和“b”处的图案在外观上变得大小相同。注意，为了便于描述，简化了所示示例。严格意义上，考虑到相机13a的位置和姿势之间的关系、相机的视角和镜头畸变等，通过执行透视投影并且在计算捕获图像中可能描绘的图案的形状时进行调整可以获得更优的变换参数。
图7示出了未变换的图案和变换的图案的虚拟几何形状。在图中所示的图表图案平面60中，图6中所示的点“a”对应于左侧，而图6中所示的点“b”对应于右侧。图表图案的高度为h，宽度为w，并且图表图案的左上角是图案平面的原点。图像到不同平面上图像的投影变换通常称为单应性。单应矩阵是一种变换参数，它可以由与变换前后的四个点相关的关联信息来确定。
本例重点在于图表图案的四个顶点的坐标。在图表200中，如上所述，图表图案需要以随着与成像平面的距离增加而增加的放大率扩张，并且在距离成像平面最远的“b”处以zb/za的放大率扩张。因此，位于未变换图表图案之外的变换图表图案对应于梯形62的一部分，其中高度从“a”侧到“b”侧逐渐减小，并且“b”处的高度为h·za/zb。注意，尽管该示例指示光轴存在于作为“b”侧的中点的点“p”的情况，但是梯形的形状也取决于光轴的位置而变化。此外，计算用于将梯形62变换为原始矩形64的单应矩阵使得能够对整个图像执行适当的变换。
未变换梯形62的四个顶点的坐标(xn,yn)(n＝0，1，2，3)可表示如下。
(x0,y0)＝(0,0)
(x1,y1)＝(w,0.5*h*(1-za/zb))
(x2,y2)＝(0,h)
(x3,y3)＝(w,0.5*h*(1+za/zb))
同时，变换后的矩形64的四个顶点的坐标(x'n,y'n)(n＝0，1，2，3)可以表示为如下。
(x'0,y'0)＝(0,0)
(x'1,y'1)＝(w,0)
(x'2,y'2)＝(0,h)
(x'3,y'3)＝(w,h)
假设比例因子为s，单应矩阵H定义如下。
[数学函数3]
在未变换矩形和变换后的矩形的顶点坐标如图所示定义的情况下，给出以下等式。
[数学函数4]
当左侧的矩阵是E，右侧的矩阵是F时，由于E是平方矩阵，因此可以如下获得单应矩阵H。
H＝E-1F
如图5所示，在图表200中，将在平面202a上描绘的棋盘格图案通过单应矩阵H变换以获得图表图案212a。此外，在平面202b中，仅通过单应矩阵H变换包括在第一视野214中的区域204a中的棋盘格图案以获得图表图案212b。
在本实施例中，如上所述，从由每个相机13a和13b捕获的图表图案的图像中提取特征点，并且获取图像上的位置坐标(u，v)和图表200上的位置坐标(X，Y，Z)之间的关联，以获得每个相机的内部参数矩阵A和外部参数R和t。为此，随着图表图案的生成，为构成图表200的每个平面生成投影变换参数，该投影变换参数将原始图表图案中所有特征点的给定索引变换为图表200上特征点的位置坐标。
从图表200上的特征点的位置坐标是最初在作为真实对象的图表上给出的位置坐标的视点来看，图表200上的特征点的位置坐标可以被视为图表的“3D(三维)模型的位置坐标”。然而，只要图表200的每个平面上的位置坐标已知，校准所需的信息就足够了。因此，实际上，二维位置坐标就足够了。该投影变换参数也是一个单应矩阵，用于将索引坐标系中的位置坐标变换为变换图表图案中相应特征点的位置坐标。通过执行这种关联，特征点的实际捕获图像的位置坐标可以在校准时通过索引与三维模型的位置坐标相关联。
图8是用于描述赋予图表图案的特征点的索引的图。在本实施例中，图表图案50中的标记52的附近用作基点，基于该基点，给出用于标识每个特征点的索引，并且通过将该索引用作键(key)，使3D模型的位置坐标可标识。在图中所示的示例中，位于标记52上方两个正方形的正方形左上顶点用作索引(i，j)坐标系的原点。同时，在以图像平面上的像素为单位的位置坐标系(x，y)中，图像的左上角作为原点。
在该示例中，图像坐标系的原点(x，y)＝(0，0)对应于索引坐标系中的(i，j)＝(-7，-4)。相反，索引坐标系的原点(i，j)＝(0，0)被定位在图像坐标系中的(x，y)＝(7*gridSize,4*gridSize)处。这里，gridSize表示形成一个正方形的水平和垂直像素的数量。例如，gridSize＝64。此时，索引坐标系的原点位于图像坐标系中的(x，y)＝(448，256)处。在该图中，该位置为(Cx,Cy)。
特征点的索引(i，j)和图像平面的位置坐标(x，y)之间的广义关系如下所示。
x＝i*gridSize+Cx
y＝j*gridSize+Cy
此外，通过使用上述单应矩阵H，可以将未变换的图表图案50中的位置坐标(x，y)变换为变换后的图表图案中的位置坐标(x'，y')。
此外，根据像素大小和实际长度之间的关系，获得以图表的3D模型中的长度为单位的位置坐标(x",y",z")。
x"＝x'*scale
y"＝y'*scale
z"＝0
这里，scale表示一个像素区域的宽度。如果长度单位为毫米，则scale的值例如为0.25。
因此，可以通过获取例如图表图案50的四个顶点中的每一个的索引(in,jn)(n＝0，1，2，3)以及作为图表200中的3D模型的位置坐标的相应的x和y分量(x",y")，并以上述类似方式建立单应矩阵H的方程来获得单应矩阵，作为用于将索引变换到3D模型的位置坐标的参数。
图9示出了校准装置10的内部电路的配置。校准装置10包括CPU(中央处理单元)122、GPU(图形处理单元)124和主存储器126。基于操作系统、应用等的程序，CPU 122控制由装置内部的组成部件执行的处理和信号传输。GPU 124执行图像处理。主存储器126包括RAM(随机存取存储器)并存储处理所需的程序和数据。
这些部分中的每一个部分都通过总线130互连。输入/输出接口128进一步连接到总线130。通信部分132、存储部分134、输出部分136、输入部分138和记录介质驱动部分140连接到输入/输出接口128。通信部分132包括诸如USB(通用串行总线)或IEEE(电气和电子工程师协会)1394的外围设备接口和诸如有线或无线LAN(局域网)的网络接口。存储部分134包括硬盘驱动器、非易失性存储器等。输出部分136向成像装置12或夹具14输出控制信号。输入部分138成像装置12或输入装置(未示出)接收数据。记录介质驱动部分140驱动磁盘和诸如光盘或半导体存储器之类的可移动记录介质。
图10示出了校准装置10的功能块的配置。图10所示的每个功能块可以通过图9所示的CPU 122、GPU 124、主存储器126等实现为硬件，并且通过例如从硬盘或记录介质加载到主存储器126中的计算机程序实现为软件。因此，本领域技术人员应当理解，这些功能块可以仅通过硬件、仅通过软件或通过硬件和软件的组合以各种形式实现，并且不限于其中任何一种。
校准装置10包括图像捕获方向控制部分32、图像获取部分34、特征点信息获取部分36、投影变换参数存储部分40、特征点信息存储部分42、校准部分38和相机参数存储部分44。图像捕获方向控制部分32控制包括在成像装置12中的相机的方向。图像获取部分34获取捕获图像的数据。特征点信息获取部分36将捕获图像中的每个特征点的位置坐标与3D模型中的对应特征点的位置坐标相关联。投影变换参数存储部分40存储用于关联的变换参数。特征点信息存储部分42存储关于每个特征点的关联信息。校准部分38通过使用关联信息来执行校准。相机参数存储部分44存储作为校准结果获得的相机参数。
图像捕获方向控制部分23由图9中所示的CPU 122和输出部分136实现，并控制夹具14的移动，使得由包括在成像装置12中的多个相机中彼此相邻的两个相机依次获得第一视野和第二视野。也就是说，例如，图像捕获方向控制部分23重复地移动和停止成像装置12以创建上表中定义的多个状态。可应用用于机器人操作等的一般技术来控制包括在夹具14中的致动器。
图像获取部分34由图9所示的CPU 122、输出部分136和输入部分138实现。每当成像装置12的相邻相机通过图像捕获方向控制部分32获得第一视野和第二视野时，图像获取部分34发送控制信号以使这些相机中的每一个捕获图表200的图像，并且还获取每个捕获图像的数据。投影变换参数存储部分40由图9所示的主存储器126实现，并且预先存储将与图表图案的生成同时生成的投影变换参数。
特征点信息获取部分36由图9中所示的CPU 122、GPU 124等实现，并且从捕获的图像检测特征点和标记的图像，并将每个检测到的特征点的图像的位置坐标与由标记标识的每个平面的3D模型中的对应特征点的位置坐标相关联。在这种情况下，特征点信息获取部分36通过使用存储在投影变换参数存储部分40中的变换参数来标识每个特征点的索引，并根据索引标识3D模型的位置坐标。以这种方式，对于每个特征点，捕获图像中的位置坐标与图表200的3D模型的位置坐标相关联。特征点信息存储部分42由图9所示的主存储器126实现，并存储与所获取的每个特征点有关的关联信息。
校准部分38由图9所示的CPU 122等实现，并且通过使用与每个特征点相关的关联信息作为输入数据来标识相机参数。即，校准部分38使用第一视野的捕获图像来获取已捕获第一视野图像的相机的内部参数。现有算法可用于此处理。此外，校准部分38还使用第一视野和第二视野的捕获图像来获取已捕获第一视野和第二视野图像的相机之间的外部参数。相机参数存储部分44由图9所示的主存储器126实现，并存储获取的相机参数。
或者，可以将参数发送到成像装置12。如果相机参数被保留在成像装置12中，则可以在成像装置12内部适当地执行校正。或者，可以将相机参数发送到通过使用由成像装置12捕获的图像来执行游戏等的信息处理装置。因此，在适当校正之后，可以将同时捕获的多个图像拼接在一起，并且可以在世界坐标系中表示对象的位置信息。
接下来，将描述可以通过到目前为止描述的配置来实现的校准装置10的操作。图11是示出根据本实施例的校准装置10基于图表200的捕获图像执行校准的处理过程的流程图。首先，图像捕获方向控制部分32移动包括在成像装置12中的相机，使得这些相机中彼此相邻的两个相机获得第一视野和第二视野(S16)。例如，图像捕获方向控制部分32旋转具有圆柱形形状的成像装置12，使得可以获得上表中的序列号“0”。
接下来，图像获取部分34使已经获得第一视野和第二视野的每个相机捕获图表200的图像并获取其图像数据(S18)。重复S16和S18的处理，直到完成预定状态下的图像捕获，例如上表中的序列号“0”到“7”(S20中的N)。注意，用于获得第一视野和第二视野的相机可以是单镜头相机或多镜头相机。例如，在每个相机由立体相机实现的情况下，在S18中获取由两对立体相机捕获的四个捕获图像的数据。
此外，可以在相同状态下多次执行图像捕获。此时，图像获取部分34可以通过添加通过多次执行图像捕获而获得的图像来执行降噪处理。例如，图像获取部分34为每个对应像素添加16帧的图像以获取平均值，并生成具有所得平均值作为像素值的图像。在所有状态下完成图像捕获之后(S20中为是)，特征点信息获取部分36从捕获的图像中提取特征点的图像(S22)。在棋盘格图案中检测正方形顶点作为特征点的各种方法已经投入实际使用，并且其中任何一种都可以在这里使用。
例如，如果使用基于哈里斯(Harris)特征量的方法，则特征量等于或大于预定值的特征点被提取为正方形的顶点(角)(参考C.Harris和M.Stephens，“组合角点和边缘检测器”，第四届Alvey视觉会议的记录，1988年，第147至151页)。或者，可以使用两个边缘亮度梯度以亚像素精度获取捕获图像中的位置坐标(u，v)。对于此处理，可以使用OpenCV的cv::FindCornerSubPix()函数或类似函数，OpenCV是一个典型的开源图像处理软件库。
此外，特征点信息获取部分36基于与包括在图表图案中的标记的图像的位置关系来获得每个特征点的索引，并且通过使用投影变换参数来获得图表200上的位置坐标。因此，特征点信息获取部分36生成特征点信息，其中捕获图像中每个特征点的位置坐标与图表200的3D模型的对应位置坐标相关联(S24)。此时，特征点信息获取部分36通过标记的图形标识构成图表200的平面或区域，并从投影变换参数存储部分30读取与对应平面相关联的投影变换参数，并使用投影变换参数。对所有获取的捕获图像重复该处理(S26中为否)。
在为所有捕获图像中的每一个生成特征点信息之后(S26中的是)，校准部分38通过使用从第一视野的每一个捕获图像获得的特征点信息来获得已经捕获第一视野的图像的每一相机的内部参数(S28)。NPL1等中描述的现有技术可以用作通过使用相对于成像平面具有不同姿势的多个平面的捕获图像来获取每个相机的内部参数的方法。
随后，校准部分38然后使用从第一视野的捕获图像和第二视野的捕获图像中的每一个获得的特征点信息来获取已经捕获第一视野和第二视野的图像的两个相机的外部参数(S29)。即，校准部分38获得两个相机的相对旋转矩阵和平移向量。通过对在所有捕获状态下获得的图像执行S28和S29的处理，校准部分38可以获得构成成像装置12的所有相机的内部参数和相机之间的外部参数。校准部分38将获取的参数存储在相机参数存储部分44中。
图12是示出特征点信息获取部分36生成图11的S24中的特征点信息的处理过程的流程图。特征点信息获取部分36首先检测捕获图像中的任何标记的图像(S30)。可以以与AR(增强现实)技术类似的方式执行该检测过程，AR(增强现实)技术检测在真实世界中的板(board)等上描绘的标记，并在捕获图像中绘制与其对应的虚拟对象。例如，可以采用ArUco标记技术(参见S.Garrido-Jurado等人的“遮挡下高度可靠基准标记的自动生成和检测”，模式识别，第47卷，第6期，2014年6月，第2280至2292页)。
接下来，对于检测到的标记之一，特征点信息获取部分36获取指示对应图像上的变形的参数(S32)。具体地，特征点信息获取部分36获取单应矩阵，该单应矩阵将具有水平和垂直边的矩形的四个顶点(其最初应显示为标记的图像)变换为标记的实际图像的四个顶点。
随后，使用该标记作为基点来检测标记周围的正方形顶点(S34)。此时，通过使用在S32中获得的单应矩阵来变换最初应显示为正方形图像的正方形形状的四个顶点，以便考虑在四个顶点附近产生的变形来标识四个顶点的近似位置。然后，搜索在变换后的位置坐标周围有效检测到的特征点(例如，在大约0.5像素的范围内)。从与标记的位置关系来看，检测到的特征点的索引是明显的。结果，通过该处理，索引与捕获图像中的特征点的位置坐标(u，v)相关联。
接下来，从上述索引标识三维模型的位置坐标(x",y",z")(注意，z"＝0)，以将特征点的位置坐标(u，v)与三维模型的位置坐标(x",y",z")相关联(S36)。使用存储在投影变换参数存储部分40中的与标记相对应的平面的单应矩阵来变换位置坐标。接下来，获取指示在S34中检测到的正方形的变形的参数(S38)。具体地，与S32的情况一样，获取用于将正方形形状(最初应显示为正方形的图像)的四个顶点变换为正方形的实际图像的四个顶点的单应矩阵。
接下来，使用上述正方形作为基点来检测正方形周围的正方形的顶点(S40)。此时，同样与S34的情况一样，通过使用在S38中获取的单应矩阵对正方形形状(最初应显示为正方形的图像)的四个顶点进行变换，以便可以考虑在四个顶点的邻域中产生的变形来标识正方形的顶点的近似位置。然后进行搜索以检测在变换后的位置坐标周围有效检测到的特征点。相应地，索引与特征点的位置坐标(u，v)相关联。
接下来，与S36的情况一样，通过使用单应矩阵将各个索引(i，j)变换为3D模型的位置坐标(x",y",z")，然后将其与捕获图像中的特征点的位置坐标(u，v)相关联地存储(S42)。对同一平面上描绘的所有正方形重复S38到S42的处理(S44中的否)。在生成与所有正方形的顶点(即，特征点)相关的关联信息之后(S44中的是)，针对与在S30中检测到的另一标记相对应的平面或区域重复S32到S44的处理(S46中的否)。在以这种方式为所有检测到的标记以及因此所有平面生成和存储特征点信息之后，处理结束(S46中的是)。
上述国际公开中披露了生成特征点信息的该方法的另一具体示例。在本实施例中，如图5所示，图表图案212b被描绘在平面202b上，平面202b是图表200的平面之一。图表图案212b包括特征点在水平和垂直方向上对齐的区域204b和特征点在水平和垂直方向上未对齐的区域204a。该处理还类似地应用于包括这些区域的第二视野的捕获图像。也就是说，在每个区域中描绘的标记被用作搜索特征点的基点，从而可以有效地为整个区域生成特征点信息。
图13描绘了用于描述通过特征点信息获得的信息系统的图。如上所述，在本实施例中，同时捕获包括图表200的多个平面(图中称为“平面A”和“平面B”)的第一视野的图像以及包括这些平面中的一个平面(图中称为“平面B”)的第二视野的图像。如子图(a)所示，从第一视野的图像获得的特征点信息指示平面A和B的3D模型的位置坐标与由每个相机0、1、2…捕获的图像上的位置坐标之间的关联。利用这些信息，可以获得每个相机的内部参数。
相比之下，从第二视野的图像获得的特征点信息指示平面B的3D模型的位置坐标与由相机1、2、…、和0中的每一个捕获的图像上的位置坐标之间的关联。根据在此同时捕获的第一视野的图像，也可以获得平面B的3D模型的位置坐标与由每个相邻相机0、1、2、…捕获的图像上的位置坐标之间的关联。因此，可以从中获得的相对于平面B的旋转矩阵和平移向量被整合，使得可以获得如子图(b)所示的相邻相机"0,1,""1,2,""2,3,"…的相对旋转矩阵和平移向量。因此，一个相机可用作参考，以获得所有其他相机的相对旋转矩阵和平移向量。
图14是示出校准部分38获取图11的S29中的外部参数的处理过程的流程图。校准部分38首先从特征点信息存储部分42读取与共同包括在第一视野和第二视野中的平面(图13所示的平面B)的3D模型相关联的特征点信息(S50)。接下来，校准部分38使用特征点信息以获得从图表平面的坐标系到每个相机的坐标系的旋转矩阵和平移向量(S52)。此处理本身可以作为一般的PnP(n点透视)问题执行，例如，可以使用OpenCV的cv::solvePnP()函数。
这里，在图11的S28中获得的值可以用作内部参数。因此，对于相机0、1、2、…中的每一个获得处于一个相机从两个方向中的每一个捕获图表200的一个平面的图像的状态下的旋转矩阵R1和R2以及平移向量t1和t2。这里，下标“1”和“2”分别对应于第一视野和第二视野。接下来，校准部分38获取相邻相机之间的相对位置和姿势关系(S54)。
为相机n获得的两个旋转矩阵R1(n)和R2(n)以及两个平移向量t1(n)和t2(n)可用于获得从相机n到相机n+1的旋转矩阵Rn和平移向量Tn，如下所示。
Rn＝R2(n+1)*(R1(n))-1
tn＝R2(n+1)*(R1(n))-1*t1(n)+t2(n+1)
这里，相机n+1是指当相机n处于第一视野位置时处于第二视野位置的相机。
以这种方式，如果可以在所有相机之间获得相邻相机的相对旋转矩阵和平移向量，则可以使用一个相机作为参考来获得所有其他相机的位置和姿势关系。因此，在适当的校正之后，可以将各个相机捕获的图像拼接在一起，并且可以生成没有可见边界的广角图像。如上所述，该方法可应用于平行且在相同高度提供的多个立体相机或多镜头相机。
图15是用于描述相机之间的位置关系以及用于在成像装置12中包括多个立体相机的情况的图表的图。该图中的成像装置12包括立体相机300a，其包括相机“0”和“1”、立体相机300b，其包括相机“2”和“3”，以及立体相机300c，其包括相机“4”和“5”。然而，立体相机的数量不限于此，并且立体相机可以以各种方式布置。在三个立体相机的情况下，如图所示改变相机的方向，并且按照以下顺序执行三次图像捕获。
[表二]
序列号 第一视野 第二视野
0 相机0，1 相机2，3
1 相机2，3 相机4，5
2 相机4，5 -
在这种情况下，校准部分38首先从每个立体相机在第一视野中捕获的图像的特征点信息获取每个相机的内部参数和表示成对相机之间的关系的外部参数。OpenCV的cv::stereoCalibrate()函数等可用作从从多个方向捕获的图表图案的图像获取立体相机的外部参数的方法。
校准部分38进一步从由两个相邻立体相机捕获的图表200的公共平面的第一视野和第二视野的每个图像的特征点信息获取立体相机之间的外部参数。即，在上表中的序号“0”中，获取在第一视野中捕获图像的相机0或相机1与在第二视野中捕获图像的相机2或相机3之间的旋转矩阵和平移向量。此外，在序列号“1”中，获取在第一视野中捕获图像的相机2或相机3与在第二视野中捕获图像的相机4或相机5之间的旋转矩阵和平移向量。
处理过程可以类似于参考图14描述的过程。因此，可以获得相邻立体相机300a和300b之间以及相邻立体相机300b和300c之间的相对旋转矩阵和平移向量。因此，可以使用一个相机作为参考，以获得所有其他相机的位置和姿势关系。从每个立体相机捕获的捕获图像，可以获取在该捕获图像中描绘的对象相对于成像平面的位置信息。如上所述，由于可以获得立体相机之间的相对位置和姿势关系，因此可以整合由各个立体相机获得的局部位置信息片段，以在单个三维坐标系中在大范围内准确地生成位置信息。
根据上述本实施例，在包括具有不同光轴取向的多个相机的成像装置的校准中，多个相机中的至少两个从不同方向捕获图表的图像，该图表包括具有不同角度的多个平面。此时，其中一个相机在包括两个图表平面的第一视野中捕获图像，而另一个相机在包括两个平面之一的第二视野中捕获图像，这样就可以同时获得前一个相机的内部参数和两个相机之间的外部参数。
成像装置或图表的方向由夹具改变，并且第一视野的图像由成像装置中包括的所有相机中的每一个捕获，而第二视野的图像由其相邻的相机捕获。因此，可以通过少量的图像捕获次数获得所有相机的内部参数和相机之间的外部参数。此外，在图表上描绘的图案中，包括在第一视野中并且与成像平面具有大倾角的区域的图案被成形(shaped)，使得可以在捕获图像中获得正交且均匀排列的特征点。因此，可以容易地以高精度进行特征点搜索。
通过这种配置，即使成像装置包括具有不同光轴方向的相机，也可以通过少量的图像捕获次数高精度地获取内部和外部参数。这使得可以通过将各个相机捕获的图像拼接在一起来生成高精度的广角图像，或者通过整合对象的三维信息片段以高精度在单个坐标系中表示对象。
以上基于实施例描述了本发明。上述实施例是范例，本领域技术人员应当理解，可以对实施例中的各个组成部分和各个处理过程的组合进行各种修改，并且这些修改也属于本发明的范围。
[工业适用性]
如上所述，本发明适用于用于成像装置的校准装置、用于校准的图表、包括它们的系统等。
[参考符号列表]
10 校准装置
12 成像装置
14 夹具
32 图像捕获方向控制部分
34 图像获取部分
36 特征点信息获取部分
38 校准部分
40 投影变换参数存储部分
42 特征点信息存储部分
44 相机参数存储部分
122 CPU
124 GPU
126 主存储器
200 图表

Claims (10)

1.一种用于校准成像装置的校准装置，所述成像装置包括具有不同光轴取向的多个相机，所述校准装置包括：
图像获取部分，其被配置为获取由所述多个相机中的至少两个相机从不同方向捕获的图表的图像的数据，所述图表包括具有不同角度的多个平面；
特征点信息获取部分，其被配置为从每个所述图像中检测所述图表上描绘的图案的特征点的图像并生成特征点信息，其中所述特征点的所述图像的位置坐标与所述图表上所述特征点的位置坐标相关联；以及
校准部分，其被配置为基于所述特征点信息获取包括所述相机之间的位置和姿势信息的参数,
其中，所述图像获取部分获取由彼此相邻的相机捕获的第一视野的图像和第二视野的图像，所述第一视野包括具有不同角度的所述图表的两个平面，并且所述第二视野包括所述两个平面中的一个平面，并且
所述校准部分基于所述第一视野的图像获取已捕获所述第一视野的图像的相机的内部参数，同时基于所述第一视野和所述第二视野的图像获取已捕获所述第一视野和所述第二视野的图像的相机的外部参数。
2.根据权利要求1所述的校准装置，还包括：
图像捕获方向控制部分，其被配置为通过夹具改变所述成像装置或所述图表的取向，使得所述多个相机顺序地获得所述第一视野和第二视野。
3.根据权利要求2所述的校准装置，
其中，所述图像捕获方向控制部分改变所述成像装置或所述图表的所述取向，直到所述多个相机中的所有相机都获得所述第一视野，并且
在相邻相机分别获得所述第一视野和所述第二视野的时刻，所述图像获取部分使这些相机中的每一个相机都捕获所述图表的图像。
4.根据权利要求2或3所述的校准装置，
其中，所述图像捕获方向控制部分旋转具有圆柱形形状的所述成像装置，使得光轴径向设置在所述成像装置的侧表面上的所述多个相机相对于所述图表的方向形成完整的圆圈。
5.根据权利要求1至3中任一权利要求所述的校准装置，
其中，所述图像获取部分获取由所述成像装置中包括的具有不同光轴取向的多个立体相机中彼此相邻的立体相机捕获的所述第一视野的图像和所述第二视野的图像的数据，并且
所述校准部分基于所述第一视野的图像获取已捕获所述第一视野的图像的立体相机的每个内部参数和所述立体相机的相机之间的外部参数，同时基于所述第一视野和所述第二视野的图像获取包含在不同立体相机中的任何相机之间的外部参数。
6.根据权利要求1至3中任一权利要求所述的校准装置，
其中，所述图表上描绘的图案的至少一部分是通过对预定图案进行变换而获得的，所述变换对应于从捕获所述图案的所述至少一部分的图像的相机的成像平面到对应的一个平面的距离的变化，使得在捕获图像中获得所述预定图案。
7.一种用于校准成像装置的校准图表，所述成像装置包括具有不同光轴取向的多个相机，所述校准图表包括：
形成预定角度的多个平面，
其中，所述多个平面中的任何一个平面包括：
已经根据所述多个相机中的相邻相机的成像平面的角度对所描绘的图案进行投影变换的区域，所述相邻相机中的每个相机同时捕获所述平面的图像；以及
所描绘的图案不进行所述投影变换的区域。
8.根据权利要求7所述的校准图表，还包括：
仅包括已经根据所述相邻相机中的一个相机的成像平面的角度对所描绘的图案进行所述投影变换的区域的平面。
9.一种校准方法，包括：
通过用于校准成像装置的校准装置实现以下步骤，所述成像装置包括具有不同光轴取向的多个相机：
获取由所述多个相机中的至少两个相机从不同方向捕获的图表的图像的数据的步骤，所述图表包括具有不同角度的多个平面；
从每个所述图像中检测所述图表上描绘的图案的特征点的图像并生成特征点信息的步骤，其中所述特征点的所述图像的位置坐标与所述图表上所述特征点的位置坐标相关联；以及
基于所述特征点信息获取包括所述相机之间的位置和姿势信息的参数的步骤,
其中，获取所述图像的数据的步骤包括获取由彼此相邻的相机捕获的第一视野的图像和第二视野的图像，所述第一视野包括具有不同角度的所述图表的两个平面，并且所述第二视野包括所述两个平面中的一个平面，并且
获取所述参数的步骤基于所述第一视野的图像获取已捕获所述第一视野的图像的相机的内部参数，同时基于所述第一视野和所述第二视野的图像获取已捕获所述第一视野和所述第二视野的图像的相机的外部参数。
10.一种其上存储有计算机程序的记录介质，所述计算机程序使校准包括具有不同光轴取向的多个相机的成像装置的计算机实现：
获取由所述多个相机中的至少两个相机从不同方向捕获的图表的图像的数据的功能，所述图表包括具有不同角度的多个平面；
从每个所述图像中检测所述图表上描绘的图案的特征点的图像并生成特征点信息的功能，其中所述特征点的所述图像的位置坐标与所述图表上所述特征点的位置坐标相关联；以及
基于所述特征点信息获取包括所述相机之间的位置和姿势信息的参数的功能，
其中，获取所述图像的数据的功能包括获取由彼此相邻的相机捕获的第一视野的图像和第二视野的图像，所述第一视野包括具有不同角度的所述图表的两个平面，并且所述第二视野包括所述两个平面中的一个平面，并且
获取所述参数的功能基于所述第一视野的图像获取已捕获所述第一视野的图像的相机的内部参数，同时基于所述第一视野和所述第二视野的图像获取已捕获所述第一视野和所述第二视野的图像的相机的外部参数。
CN201980096450.6A 2019-05-23 2019-05-23 校准装置，用于校准的图表和校准方法 Active CN113841384B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/020560 WO2020235110A1 (ja) 2019-05-23 2019-05-23 キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法

Publications (2)

Publication Number Publication Date
CN113841384A CN113841384A (zh) 2021-12-24
CN113841384B true CN113841384B (zh) 2023-07-25

Family

ID=73458268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980096450.6A Active CN113841384B (zh) 2019-05-23 2019-05-23 校准装置，用于校准的图表和校准方法

Country Status (4)

Country Link
US (1) US11881001B2 (zh)
JP (1) JP7218435B2 (zh)
CN (1) CN113841384B (zh)
WO (1) WO2020235110A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727597B2 (en) * 2018-12-21 2023-08-15 Sony Group Corporation Calibrating volumetric rig with structured light
CN111738923B (zh) * 2020-06-19 2024-05-10 京东方科技集团股份有限公司 图像处理方法、设备及存储介质
WO2022026609A1 (en) * 2020-07-29 2022-02-03 Magic Leap, Inc. Camera extrinsic calibration via ray intersections
CN112785654A (zh) * 2021-01-21 2021-05-11 中国铁道科学研究院集团有限公司基础设施检测研究所 轨道几何检测系统标定方法及装置
TWI788875B (zh) * 2021-06-10 2023-01-01 中華學校財團法人中華科技大學 應用旋轉磁場與ａｒｕｃｏ ｍａｒｋｅｒｓ輔助定位之無人機非接觸充電系統及方法
FR3128561B1 (fr) * 2021-10-26 2024-03-22 Commissariat Energie Atomique Procédé de calibration automatique des paramètres extrinsèques d’un réseau de caméras optiques ; Produit programme d’ordinateur, système de vision par ordinateur et véhicule automobile associés.
CN114640781B (zh) * 2022-05-19 2022-08-23 山东省科学院海洋仪器仪表研究所 一种水下摄像机图像径向畸变校正装置及方法
KR20240030098A (ko) * 2022-08-29 2024-03-07 현대자동차주식회사 차량 및 차량의 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012189551A (ja) * 2011-03-14 2012-10-04 Topcon Corp マルチカメラのキャリブレーション用全周フィールド
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
CN106878687A (zh) * 2017-04-12 2017-06-20 吉林大学 一种基于多传感器的车载环境识别系统及全方位视觉模块
WO2018235163A1 (ja) * 2017-06-20 2018-12-27 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100812903B1 (ko) 1998-05-19 2008-03-11 가부시키가이샤 소니 컴퓨터 엔터테인먼트 화상 처리 장치와 방법 및 프로그램 기록 매체
JP3735344B2 (ja) * 2002-12-27 2006-01-18 オリンパス株式会社 キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
TWI303782B (en) 2006-03-10 2008-12-01 Sony Taiwan Ltd An optimized video stitching mehtod for asic implementation
US9596459B2 (en) 2014-09-05 2017-03-14 Intel Corporation Multi-target camera calibration
JP6576945B2 (ja) * 2014-11-13 2019-09-18 オリンパス株式会社 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法
CN106780632A (zh) 2017-01-24 2017-05-31 长沙全度影像科技有限公司 一种标定靶及用于四路鱼眼镜头标定的标定靶组
WO2019050417A1 (en) * 2017-09-06 2019-03-14 Auckland Uniservices Limited METHOD FOR CALIBRATING STEREOSCOPIC SYSTEM

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012189551A (ja) * 2011-03-14 2012-10-04 Topcon Corp マルチカメラのキャリブレーション用全周フィールド
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
CN106878687A (zh) * 2017-04-12 2017-06-20 吉林大学 一种基于多传感器的车载环境识别系统及全方位视觉模块
WO2018235163A1 (ja) * 2017-06-20 2018-12-27 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法

Also Published As

Publication number Publication date
CN113841384A (zh) 2021-12-24
US11881001B2 (en) 2024-01-23
JPWO2020235110A1 (zh) 2020-11-26
JP7218435B2 (ja) 2023-02-06
WO2020235110A1 (ja) 2020-11-26
US20220148225A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP6859442B2 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
US11503275B2 (en) Camera calibration system, target, and process
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN106408612B (zh) 机器视觉系统校准
JP4825980B2 (ja) 魚眼カメラの校正方法。
US9117269B2 (en) Method for recognizing objects in a set of images recorded by one or more cameras
JP6079333B2 (ja) 校正装置、方法及びプログラム
CN109920004B (zh) 图像处理方法、装置、标定物组合、终端设备及标定系统
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
JP4825971B2 (ja) 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
WO2018056206A1 (ja) 変位計測装置、変位計測システム、変位計測方法及びプログラム
CN114549660A (zh) 基于圆柱形自识别标记物的多相机标定方法、装置及设备
CN116524022B (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
JP4196784B2 (ja) カメラ位置測定装置および方法並びにカメラ位置制御方法
CN116416315A (zh) 一种外参标定方法及控制设备
CN118334116A (zh) Led灯珠标定方法、装置、设备及介质
CN115984099A (zh) 全景成像设备和方法
JP2022095239A (ja) 画像標定方法、画像標定装置、画像標定システム及び画像標定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant