Nothing Special   »   [go: up one dir, main page]

CN110447220A - 校准装置、校准方法、光学装置、摄影装置以及投影装置 - Google Patents

校准装置、校准方法、光学装置、摄影装置以及投影装置 Download PDF

Info

Publication number
CN110447220A
CN110447220A CN201880019080.1A CN201880019080A CN110447220A CN 110447220 A CN110447220 A CN 110447220A CN 201880019080 A CN201880019080 A CN 201880019080A CN 110447220 A CN110447220 A CN 110447220A
Authority
CN
China
Prior art keywords
dimensional
coordinates
calibration
camera
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880019080.1A
Other languages
English (en)
Other versions
CN110447220B (zh
Inventor
松泽聪明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijingtong Co ltd
Original Assignee
Okubayashi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Okubayashi Co Ltd filed Critical Okubayashi Co Ltd
Publication of CN110447220A publication Critical patent/CN110447220A/zh
Application granted granted Critical
Publication of CN110447220B publication Critical patent/CN110447220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

校准装置(1)具备：校准数据获取部(8)，其获取表示图像变换元件的二维的像素坐标与世界坐标空间的三维的世界坐标之间的对应关系的校准数据；以及参数计算部(7)，其对获取到的校准数据应用将二维的像素坐标的两个坐标值以三维的世界坐标的三个坐标值的函数表示的摄像机模型，来计算参数，其中，在使用射影的焦距(f)大致通过射影公式y＝fP(θ)来表示视角(θ)与像高(y)之间的射影关系时，参数计算部(7)将获取到的校准数据的三维的世界坐标利用与该世界坐标相等的三维的球面坐标变换为二维的坐标，之后应用将二维的像素坐标的两个坐标值以二维的坐标的两个坐标值的函数表示的摄像机模型，来计算摄像机模型的参数。

Description

校准装置、校准方法、光学装置、摄影装置以及投影装置
技术领域
本发明涉及一种校准装置、校准方法、光学装置、摄影装置以及投影装置。
背景技术
公知一种针对摄影装置、投影装置进行摄像机校准的校准装置(例如参照专利文献1、非专利文献1以及非专利文献2)。
摄像机模型包括多个未知的参数(摄像机参数)，通过事先利用校准装置求出这些摄像机参数，能够以数学方式获得与图像的二维坐标(像素坐标)对应的现实世界的主光线。或者，能够获得与现实世界的三维坐标(以下，称为世界坐标)对应的像素坐标。此外，上述的主光线也被称为与像素坐标对应的逆投影直线或者视线。
对专利文献1和非专利文献1中公开的以往的摄像机校准进行说明。使用数学方式的摄像机模型通过以下的过程来进行摄像机校准，该数学方式的摄像机模型表现了利用摄像机拍摄现实世界的三维坐标来将其变换为图像的二维坐标的过程。
首先，使用数式1将世界坐标(x，y，z)投影成归一化图像平面坐标(up，vp)。
[数式1]
[数式2]
其中，数式2的旋转矩阵R和平移向量T表示从世界坐标向摄像机坐标的三维的坐标变换。这些数据是表示摄像机的相对于世界坐标的位置和姿势的值，被称为外部参数。此外，数式1是基于所有的主光线在摄像机的光学中心处相交这一设想得到的式子。接着，使用数式3来求出对归一化图像平面坐标(up，vp)施加畸变像差后的(ud，vd)。
[数式3]
其中，(g1、g2、g3、g4、k1)是畸变参数。并且，使用数式4将施加畸变像差而得到的归一化图像平面坐标(ud，vd)变换为像素单位的像素坐标(u，v)。
[数式4]
像这样用数式1至数式4来表示从利用摄像机进行摄像所得到的世界坐标(x，y，z)向像素坐标(u，v)的变换的模型是标准的摄像机模型。
此外，数式3和数式4的参数(αu、αv、u0、v0、g1、g2、g3、g4、k1)表示摄像机自身的性质，因此被称为内部参数。
关于畸变参数，根据用途进行各种各样的定义。例如，数式3是考虑到3阶的畸变像差的模型，但是还能够使用追加了5阶、7阶……之类高阶的项的模型。其中，代表性的畸变模型为数式5所示的非专利文献2的布朗模型。
[数式5]
其中，ρp 2＝up 2+vp 2
在布朗模型中，用旋转对称的径向畸变的参数(k1、k2、k3、…)和非旋转对称的切向畸变的参数(p1、p2、p3、…)来表示畸变像差。
一般来说，在摄像机校准中，利用摄像机拍摄具备世界坐标(x，y，z)已知的多个特征点的校准图。然后，通过图像处理来获取拍摄特征点而得到的像素坐标(u，v)。通过这样，获得表示世界坐标(x，y，z)与像素坐标(u，v)的对应关系的多个测定数据，求出摄像机参数。
现有技术文献
专利文献
专利文献1：日本专利第3735344号公报
非专利文献
非专利文献1：デイジタル画像処理[改訂新版]、(CG-ARTS協会，2015)，p.308-317(数字图像处理[改订新版]，(CG-ARTS协会，2015)，p.308-317)
非专利文献2：D.C.BRown，“Close-Range camera calibration”，Photogramm，Eng.37，855-866，(1971)
发明内容
发明要解决的问题
在利用以往的摄像机模型来求出与世界坐标对应的像素坐标时，存在以下问题。
在专利文献1和非专利文献1的校准装置中，使用基于所有的主光线在摄像机的光学中心处相交这一设想所得到的摄像机模型。然而，一般来说，光学系统伴有光瞳像差，因此不是所有的主光线在入射光瞳上的一点处相交。特别是，在使用视角大的广角镜头的情况下，光瞳像差明显。因此，在该摄像机模型中，无法求出与世界坐标对应的准确的像素坐标。
一般来说，视角大的广角镜头的畸变像差大，因此需要数式5的高阶的项。由此，摄像机模型的参数量增加，因此不易实现最优化。并且，数式1的摄像机模型基于透视投影，因此原理上无法对半视角90°以上的广角镜头进行校准。
以专利文献1的摄像机模型为首的以往的标准的摄像机模型是由数式1至数式4所示的多个数式形成的非线性模型，需要通过根据测定数据求出摄像机参数的过程最终使所有的摄像机参数重复最优化。因此，产生下面的两个问题。
第一，存在以下问题：非线性模型的最优化的评价函数可能存在多个极小值，若不设定适当的初始值则收敛于错误的最小值。第二，存在以下问题：需要重复进行多个摄像机参数的最优化运算，因此有时需要大量的计算时间。
本发明是鉴于上述的情况而完成的，提供一种能够短时间且高精度地求出视角大的摄像机的摄像机参数并且能够短时间地求出与世界坐标对应的像素坐标的校准装置、校准方法、光学装置、摄影装置以及投影装置。
用于解决问题的方案
本发明的一个方式是光学装置的校准装置，该光学装置具备：二维的图像变换元件，其具有多个像素；以及光学系统，其用于在该图像变换元件与三维的世界坐标空间之间形成成像关系，所述校准装置具备：校准数据获取部，其获取校准数据，该校准数据表示所述图像变换元件的二维的像素坐标与所述世界坐标空间的三维的世界坐标之间的对应关系；以及参数计算部，其对由该校准数据获取部获取到的所述校准数据应用将所述二维的像素坐标的两个坐标值以所述三维的世界坐标的三个坐标值的函数表示的摄像机模型，来计算该摄像机模型的参数，其中，在使用射影的焦距f大致通过射影公式y＝fP(θ)来表示所述光学系统的视角θ与像高y之间的b射影关系时，所述参数计算部将由所述校准数据获取部获取到的所述校准数据的三维的世界坐标(x，y，z)利用与该世界坐标相等的三维的球面坐标变换为二维的坐标之后，所述参数计算部应用将所述二维的像素坐标的两个坐标值以所述二维的坐标的两个坐标值的函数表示的摄像机模型，来计算该摄像机模型的所述参数。
在上述方式中，也可以是，所述摄像机模型利用以所述二维的坐标的两个坐标值的函数为要素的多个二维向量函数的线性和，来表示所述二维的像素坐标的两个坐标值。
在上述方式中，也可以是，所述二维的坐标的函数是与表示二维的平面之间的成像关系的函数相同形式的函数。
在上述方式中，也可以是，所述摄像机模型由将所述多个二维向量函数的线性和的各系数用所述三维的球面坐标的r的倒数的乘方多项式进行置换所得到的数式来表现。
在上述方式中，也可以是，所述参数计算部利用线性最小二乘法对所述校准数据应用所述摄像机模型。
在上述方式中，也可以是，所述参数计算部对由所述校准数据获取部获取到的所述校准数据中的、将所述三维的世界坐标变换为使其以表示该世界坐标的旋转的三个旋转角中的一个以上的旋转角进行旋转后的世界坐标所得到的校准数据应用所述摄像机模型，来求出使该摄像机模型的残差最小的一个以上的旋转角。
在上述方式中，也可以是，所述参数计算部对由所述校准数据获取部获取到的所述校准数据中的、将所述三维的世界坐标变换为使其以表示该世界坐标的平移的三个平移分量中的一个以上的分量进行平移后的世界坐标所得到的校准数据应用所述摄像机模型，来求出使该摄像机模型的残差最小的一个以上的平移分量。
在上述方式中，也可以是，所述光学装置具备光学系统和多个所述图像变换元件，该光学系统用于在该图像变换元件与所述三维的世界坐标空间之间形成成像关系，所述校准数据获取部获取各所述图像变换元件及所述光学系统的校准数据，所述参数计算部对各所述图像变换元件及所述光学系统的所述校准数据应用各所述摄像机模型。
在上述方式中，也可以是，所述光学装置为摄影装置，所述图像变换元件为摄像元件，所述光学系统为摄像光学系统。
在上述方式中，也可以是，所述光学装置为投影装置，所述图像变换元件为图像形成元件，所述光学系统为投影光学系统。
本发明的其它方式是一种校准方法，包括以下步骤：获取校准数据，该校准数据表示光学装置的二维的图像变换元件的二维的像素坐标与三维的世界坐标空间的三维的世界坐标之间的对应关系，其中，所述光学装置具备：所述二维的图像变换元件，其具有多个像素；以及光学系统，其用于在该图像变换元件与所述三维的世界坐标空间之间变换成像关系；以及对获取到的所述校准数据应用将所述二维的像素坐标的两个坐标值以所述三维的世界坐标的三个坐标值的函数表示的摄像机模型，来计算该摄像机模型的参数，其中，在使用射影的焦距f大致通过射影公式y＝fP(θ)来表示所述光学系统的视角θ与像高y之间的射影关系时，在计算参数的所述步骤中，将通过获取校准数据的所述步骤获取到的所述校准数据的三维的世界坐标(x，y，z)利用与该世界坐标相等的三维的球面坐标变换为二维的坐标 之后，应用将所述二维的像素坐标的两个坐标值以所述二维的坐标的两个坐标值的函数表示的摄像机模型，来计算该摄像机模型的所述参数。
在上述方式中，也可以是，所述摄像机模型利用以所述二维的坐标的两个坐标值的函数为要素的多个二维向量函数的线性和，来表示所述二维的像素坐标的两个坐标值。
在上述方式中，也可以是，所述二维的坐标的函数为与表示二维的平面之间的成像关系的函数相同形式的函数。
在上述方式中，也可以是，所述摄像机模型由将所述多个二维向量函数的线性和的各系数用所述三维的球面坐标的r的倒数的乘方多项式进行置换所得到的数式来表现。
在上述方式中，也可以是，在计算参数的所述步骤中，利用线性最小二乘法对所述校准数据应用所述摄像机模型。
在上述方式中，也可以是，在计算参数的所述步骤中，对通过获取校准数据的所述步骤获取到的所述校准数据中的、将所述三维的世界坐标变换为使其以表示该世界坐标的旋转的三个旋转角中的一个以上的旋转角进行旋转后的世界坐标所得到的校准数据应用所述摄像机模型，来求出使该摄像机模型的残差最小的一个以上的旋转角。
在上述方式中，也可以是，在计算参数的所述步骤中，对通过获取校准数据的所述步骤获取到的所述校准数据中的、将所述三维的世界坐标变换为使其以表示该世界坐标的平移的三个平移分量中的一个以上的分量进行平移后的世界坐标所得到的校准数据应用所述摄像机模型，来求出使该摄像机模型的残差最小的一个以上的平移分量。
本发明的其它方式是一种光学装置，搭载有摄像机模型，该摄像机模型中设定了由上述任意的校准装置计算出的所述参数。
在上述方式中，也可以是，具备像素坐标计算部，该像素坐标计算部利用所述摄像机模型，根据所述三维的世界坐标的三个坐标值来求出所述像素坐标的两个坐标值。
在上述方式中，也可以是，具备失真校正图像生成部，该失真校正图像生成部利用所述摄像机模型，来求出与所述世界坐标对应的、由所述图像变换元件获取到或者形成的图像的像素坐标，生成对失真进行校正后的图像。
本发明的其它方式是一种光学装置，搭载有摄像机模型，在该摄像机模型中，由上述校准装置获取到的所述旋转角被设定为参数。
在上述方式中，也可以是，具备世界坐标旋转部，该世界坐标旋转部利用所述旋转角将所述世界坐标变换为旋转后的世界坐标。
本发明的其它方式是一种光学装置，搭载有摄像机模型，在该摄像机模型中，由上述校准装置获取到的所述平移分量被设定为参数。
在上述方式中，也可以是，具备世界坐标平移部，该世界坐标平移部利用所述平移分量将所述世界坐标变换为平移后的世界坐标。
本发明的其它方式是一种摄影装置，包括上述任意的光学装置。
本发明的其它方式是一种投影装置，包括上述任意的光学装置。
发明的效果
根据本发明，起到能够短时间且高精度求地求出视角大的摄像机的摄像机参数并且能够短时间地求出与世界坐标对应的像素坐标这样的效果。
附图说明
图1是示意性地示出本发明的第一实施方式所涉及的校准装置的整体结构图。
图2是示出图1的校准装置的校准图的图案的图。
图3是示出说明图1的校准装置的校准方法的流程图的图。
图4A是在图1的校准装置中使用的摄像机模型的说明图，是示出用于说明与摄像机的像素坐标对应的物体侧的主光线的摄像机的截面的图。
图4B是在图1的校准装置中使用的摄像机模型的说明图，是示出与各像素对应的主光线的方向的图。
图5是示出失真校正的流程图的图。
图6是示出利用本发明的第二实施方式所涉及的校准装置对摄像机进行校准的过程的流程图的图。
图7是示意性地示出本发明的第三实施方式所涉及的校准装置的平面图。
图8是示意性地示出本发明的第四实施方式所涉及的校准装置的平面图。
具体实施方式
下面，参照附图对本发明的第一实施方式所涉及的校准装置和摄像机校准方法进行说明。
本实施方式所涉及的校准装置是摄像机校准装置1，以将拍摄到的图像作为规定格式的图像文件传输到外部的摄像机(摄影装置、光学装置)2为校准对象。在本实施方式中，作为光学装置的一例，使用摄像机2。
如图1所示，本实施方式所涉及的摄像机校准装置1具备：底座3，其用于固定作为校准对象的摄像机2；z轴移动台4，其设置于该底座3；校准图6，其固定于能够利用该z轴移动台4进行移动的可动部5；以及计算机(参数计算部)7，其与摄像机2及z轴移动台4连接。如图1那样定义摄像机校准装置1的三维的坐标轴。校准数据获取部8具备校准图6、z轴移动台4以及用于固定摄像机2的底座3。校准数据获取部8获取表示后述的摄像元件18的二维的像素坐标(u，v)与世界坐标空间的三维的世界坐标(x，y，z)之间的对应关系的校准数据。
z轴移动台4是被马达4a驱动而使可动部5直线移动的直线驱动机构。在摄像机校准装置1中，将可动部5的移动方向定义为z轴，将与z轴垂直的面内的水平方向和垂直方向定义为x轴和y轴。
在本实施方式中，坐标原点的位置被定义在摄像机镜头9的入射光瞳附近。
摄像机2为了将光轴与z轴平行地设置、且将摄像面的水平方向及垂直方向与x轴及y轴平行地设置、且使坐标原点与摄像机2的规定的位置一致而被安装于底座3。
校准图6是在摄像机校准中广泛利用的图2的棋盘10，以与固定于底座3的摄像机2正对的方式设置、即以配置在垂直于z轴的面内的状态固定于可动部5。校准图6只要是具备多个特征点的图表即可，可以是任意的图表。
校准图6能够利用z轴移动台4而移动到z轴方向上的任意的位置。z轴移动台4的可动部5的移动范围包括摄像机校准所需的物体距离(＝摄像机2与摄像对象之间的距离)的范围。
计算机7通过以下方式发挥功能：通过对摄像机2的摄像进行控制，来将拍摄得到的图像作为规定格式的图像文件读入。计算机7通过以下方式发挥功能：通过控制z轴移动台4，来使校准图6移动到z轴方向上的规定的位置。并且，计算机7还作为用于对所获取到的校准数据应用摄像机模型来计算摄像机参数的参数计算部发挥功能。
在此，参照图2对被用作校准图6的棋盘10进行说明。
棋盘10是具有在平面上黑正方形和白正方形以形成正方格子的方式排列而成的方格模样图案的平板状构件，将相当于各正方形的顶点的交点用作摄像机校准的特征点(以下，将这些特征点称为格子点11)。
作为棋盘10，在摄像机校准中使用足够数量的格子点11进入摄像机2的摄像范围内的棋盘。所拍摄的棋盘10的范围根据物体距离而发生变化，但优选在各物体距离时能够拍摄到至少10个×10个左右的格子点11。另外，为了取得所拍摄到的格子点11的像素坐标与校准图6上的格子点11的世界坐标之间的对应关系，在校准图6的中央附近设置有一个基准位置标记12。
将棋盘10以如下方式设置于摄像机校准装置1：该基准位置标记12的右下方的最靠近该基准位置标记12的格子点(中央的格子点13)位于z轴上，同时棋盘10的纵向及横向与x轴及y轴平行。由此，根据棋盘10的正方格子的格子间隔和z轴移动台4的移动位置，将各格子点11、13的世界坐标(x，y，z)确定为已知的值。
下面，对使用像这样构成的本实施方式所涉及的摄像机校准装置1进行的摄像机校准方法进行说明。
为了使用本实施方式所涉及的摄像机校准装置1对摄像机2进行校准，操作者首先将作为校准对象的摄像机2按照坐标轴的定义安装于摄像机校准装置1并与计算机7连接。之后，开始计算机7内部的测定程序。
下面，利用测定程序使摄像机2自动拍摄多个物体距离的校准图6的图像，根据拍摄到的图像来获取格子点11的像素坐标。参照图3的流程图来说明测定程序。
当测定开始时，首先使z轴移动台4移动，以使校准图6位于对摄像机2进行校准的物体距离的范围的靠近摄像机2侧的一端(步骤S1)。接着，利用摄像机2来拍摄校准图6，并将拍摄到的图像文件传输到计算机7(步骤S2)。然后，重复这些步骤S1、S2直到进行了规定次数的摄像且获取到规定数量的图像为止(步骤S3)。作为规定次数，例如设定5次以上的次数。
此时，在步骤S1中，每进行1次重复时利用z轴移动台4使可动部5移动，使得从摄像机2到校准图6的物体距离以规定的间隔变大。可动部5的移动量也可以不是等间隔，但优选以对摄像机2进行校准的物体距离的范围内的至少5处左右不同的物体距离来拍摄校准图6。然后，在达到规定的摄像数量后，进入接下来的步骤S4。
通过对在步骤S1至步骤S3中被传输到计算机7的多个图像文件进行图像处理，来求出摄像范围内的各格子点11的像素坐标，并求出各图像文件的基准位置标记12的重心的像素坐标(步骤S4)。此外，利用子像素求出棋盘10的格子点11的像素坐标的方法是公知的，因此省略此处的说明。
接着，将在步骤S4中求出的各格子点11的像素坐标与校准图6上的格子点11的世界坐标对应起来(步骤S5)。如上所述，基准位置标记12的右下方的最靠近该基准位置标记12的中央的格子点13处于世界坐标的z轴上，因此能够以基准位置标记12的右下方的最靠近该基准位置标记12的中央的格子点13为基准将各格子点11、13的像素坐标与世界坐标对应起来。最后，将对应起来的所有的像素坐标和世界坐标写入到测定数据文件中，测定结束。通过上述过程获得摄像机参数的最优化所需要的测定数据。
参照图4A和图4B对本实施方式中使用的摄像机模型进行说明。
图4A是说明与摄像机2的像素坐标对应的物体侧的主光线19的摄像机2的截面图。摄像机2具备摄像光学系统(光学系统)14和摄像元件(图像变换元件)18。
如图4A那样定义摄像机坐标(xc，yc，zc)。摄像机坐标的原点为摄像光学系统14的入射光瞳的中心404，zc轴与光轴403一致。在摄像元件18的摄像面上，与摄像元件18的横向及纵向平行地定义像素坐标的u轴及v轴。像素坐标的u轴及v轴分别与摄像机坐标的xc轴及yc轴平行。在本实施方式中，世界坐标与摄像机坐标大体一致。图4A中描绘出通过摄像光学系统14后入射到摄像元件18的各像素的中央的物体侧的主光线19。
主光线19是指穿过摄像光学系统14的光圈(省略图示)的中心的光线。因此，与主光线19上的物点22对应的摄像元件18上的模糊像以主光线19与摄像元件18的交点(省略图示)为中心扩散，因此，如果取模糊的像点的光强度的重心设为像位置，则像点的位置不变。因而，处于物体侧的主光线19上的全部的物点22在一个像点处成像。换言之，物体侧的主光线19为像点的逆投影直线。
用射影公式来表示主光线19的方向同与其对应的像位置之间的关系。例如，在摄像光学系统14是根据中心射影设计的摄像光学系统的情况下，物体侧的主光线19的视角θ同与其对应的像点的高度y处于y＝ftanθ的关系。其中，f为射影的焦距。作为除此以外的代表性的射影公式，存在等距射影y＝fθ、等立体角射影y＝2fsin(θ/2)、立体射影y＝2ftan(θ/2)、正射影y＝fsinθ等。
能够根据摄像机2的使用目的来选择这些射影公式。例如，等立体角射影是将物体侧的立体角、即外观的大小作为像的面积来保存。因而，适用于如测量全天的云量的比例那样的用途。其它射影公式也各有特长。
另一方面，一般的照片摄影用的摄像光学系统14不一定依据上述的特定的射影公式。将包含上述的特定的射影公式的任意的射影公式表示为y＝fP(θ)。P(θ)为视角θ的函数，例如在等距射影时，P(θ)＝θ，在等立体角射影时，P(θ)＝2sin(θ/2)。一般来说，能够根据数式6的乘方多项式的系数c3、c5、…来指定任意的射影公式。
[数式6]
P(θ)＝θ+c3θ3+c5θ5+…
接着，说明光瞳像差。利用比光圈靠物体侧的光学系统对光圈进行成像的虚拟的开口为入射光瞳。如图4A所示，物体侧的主光线群通过入射光瞳的中心404附近，但不在入射光瞳的中心404这一点处相交，这与光圈的情况不同。
这是由于光圈与入射光瞳的成像关系中存在光学系统的像差。这就是光瞳像差。因而，为了规定与摄像机坐标对应的像素坐标，需要将主光线19的方向和基于光瞳像差的主光线19的移动适当地模型化。
说明为了适合于这样的状况而创建的本发明的摄像机模型。首先，在图4B中说明像素坐标与主光线19的方向之间的关系。此外，此后，以各像素呈正方格子状地排列而成的摄像元件18为例来进行说明，但本实施方式不限定于此。
新导入用球面坐标表示的摄像机坐标该极角θ等于光线19与光轴403所形成的角、即视角。方位角是表示绕光轴403的方向的角度。用数式7表示与正交坐标的摄像机坐标(xc，yc，zc)之间的关系。
[数式7]
在摄像光学系统14是根据射影公式y＝fP(θ)设计的摄像光学系统的情况下，当将与摄像元件18上的各像素对应的主光线19的方向标记于平面411时，排成与像素的排列相似的正方格子412。但是，实际的摄像光学系统14存在制造误差，因此主光线19的方向变化为与正方格子412不同的方向413。
在本发明中，将从按照设计的正方格子412向实际的方向413的变化视为与由畸变像差引起的像位置的失真同样的现象。即，假想用畸变模型来表示与摄像元件18上的像素坐标(u，v)对应的主光线19的方向即使将两者互换，该模型也应成立。因而，在本实施方式中，基于数式5的布朗模型，利用数式8将与主光线19的方向对应的像素坐标(u，v)模型化。
[数式8]
其中，ρ′2＝ξ′2+η′2
从数式5的布朗模型向数式8的像素坐标的模型的变更部分如下。
(1)追加了相当于横向放大率的系数k0的项。
(2)仅考虑了3阶的径向畸变k1和2阶的切向畸变(P1，P2)。
接着，在图4A中，考虑与主光线19平行且穿过入射光瞳的中心404的虚拟的主光线19’。在物体距离r为无穷大的极限的情况下，主光线19上的物点22与虚拟的主光线19’上的物点22’在相同的像点处成像。这是因为，与摄像元件18上的有效的摄像范围对应的物体侧的摄像范围的球面405也扩展为无限大，因此，相比之下能够忽视主光线19与虚拟的主光线19’之间的距离。
当物体距离r有限时，与主光线19上的物点22及虚拟的主光线19’上的物点22’分别对应的像点的位置不再一致。该偏离在像素坐标中近似为与物体距离r成反比。这是因为，主光线19与虚拟的主光线19’之间的距离(等于物点22与物点22’的距离)同物体距离无关而固定。另一方面，物体侧的有效的摄像范围的在球面405上的长度由于近似为与物体距离r成比例，因此增加。
通过以上的考察，将数式8的各系数用物体距离r的倒数的乘方多项式进行置换而获得数式9的本实施方式的摄像机模型。
[数式9]
其中，
物体距离r的倒数的乘方多项式的常数项k00、k10、P10、P20表示在物体距离r为无穷大的极限的情况下主光线19上的物点22与虚拟的19’上的物点22’在同一像点处成像。物体距离r的倒数的系数k01、k11、P11、P21表示两个像点之间的偏离与物体距离r成反比。
为了提高模型的精度，还能够使用物体距离r的倒数的2次方以上的项。相反地，在能够忽视光瞳像差时，能够使用仅剩下常数项k00、k10、P10、P20的数式9的摄像机模型(等于数式8)。
这样，数式9所示的本实施方式的摄像机校准装置1中使用的摄像机模型是将与世界坐标对应的像素坐标直接模型化而得到的。世界坐标以根据数式6的射影公式和数式7的球面坐标进行变换所得的坐标的形式包含在摄像机模型中。
该摄像机模型是基于表示共轭的两个平面之间的成像关系的数式5的线性模型而构建的。该摄像机模型具有以下特征：成为将线性模型的各系数用距离r的倒数的多项式进行置换的形式。
本实施方式的摄像机校准装置1中使用的数式9的摄像机模型的另一个特征是：用由变量形成的线性独立的二维的基函数向量(二维向量函数)的线性和来表示像素坐标向量(u，v)。由于是基函数向量的线性和，因此表示u坐标和v坐标的模型的系数是共同的。因此，能够根据所有的测定数据利用线性最小二乘法来求出各基函数向量的系数。
接着，说明利用本实施方式的摄像机校准装置1对摄像机2进行校准的过程。在图3所示的上述测定程序中，求出表示世界坐标(x，y，z)与像素坐标(u，v)之间的对应关系的测定数据。接着，利用数式7和数式8将世界坐标(x，y，z)变换为(ξ′，η′，r)。
利用线性最小二乘法对所有的格子点11、13的测定数据应用自变量(ξ′，η′，r)和因变量(u，v)的数式9所示的摄像机模型，来求出数式9的摄像机模型的各系数(摄像机参数)。本实施方式的摄像机校准至此结束。
对于设定有在本实施方式中求出的摄像机参数的摄像机模型，能够如下述那样在包括搭载有该摄像机模型的摄像机2的摄影装置中使用。摄影装置还具备根据三维的世界坐标来计算二维的像素坐标的像素坐标计算部(省略图示)以及生成对失真进行校正后的图像的失真校正图像生成部(省略图示)。
第一，在求出与世界坐标(x，y，z)对应的像素坐标(u，v)时，在像素坐标计算部中，利用数式7和数式8将世界坐标(x，y，z)变换为(ξ′，η′，r)，之后，将进行变换所得到的坐标代入数式9所示的摄像机模型，由此能够求出作为目标的像素坐标(u，v)。
第二，能够利用失真校正图像生成部对由被校准后的摄像机2拍摄到的图像的失真进行校正。下面说明其方法。
以世界坐标表示的物体被摄像机2拍摄而成为失真的图像。相反地，如果将所得到的图像逆投影为世界坐标，则能够对失真进行校正。在拍摄到处于已知的物体距离z的平面上的物体时，只要将像素坐标(u，v)逆投影为物体距离z的平面上的世界坐标(x，y)即可。
关于拍摄不处于物体距离z的平面上的物体所得到的图像，通过定义失真校正的基准物体距离，来逆投影成物体距离z的世界坐标(x，y)。如果基于物体距离的畸变像差的变化小，则这样的失真校正就足够了。若逆投影成世界坐标，则导致图像扩大或者缩小。
利用数式9的摄像机模型的横向放大率k0’的倒数、即从像素坐标向世界坐标的横向放大率来使逆投影所得的世界坐标标准化。由此，能够获得与原来的图像大致等倍的失真校正图像。
失真校正图像的生成是将与失真校正后的图像的像素坐标(整数)对应的原来的图像的像素值代入失真校正后的像素坐标的像素值的一系列的步骤。参照图5的流程图来说明其过程。当失真校正开始时，决定最初的失真校正后的像素坐标(uc，vc)(步骤S11)。
接着，对最初的失真校正后的像素坐标(uc，vc)乘以基准物体距离z时的数式9的摄像机模型的横向放大率k0’的倒数，来求出世界坐标(x，y)(步骤S12)。利用数式7和数式8将该世界坐标(x，y，z)变换为(ξ′，η′，r)之后，将进行变换所得到的坐标代入数式9的摄像机模型，由此求出失真校正前的像素坐标(u，v)(步骤S13)。
一般来说，失真校正前的像素坐标(u，v)不是整数。根据近接像素坐标的四个像素的像素值，通过双线性插值来求出像素坐标(u，v)的像素值。将求出的像素值设为失真校正后的像素坐标(uc，vc)的像素值(步骤S14)。
此外，关于像素值的插值，也可以采用双三次插值等其它方法。针对所有的失真校正后的像素坐标(uc，vc)，将上述步骤S11至步骤S14重复进行规定次数(步骤S15)，在重复进行规定次数之后，结束失真校正。
关于上述的失真校正，说明了以物体距离z的平面为基准的一例，但还能够变更为以这以外的世界坐标空间的平面或曲面为基准来实施失真校正的方式。例如，利用意图进行等距射影而设计的摄像机2拍摄所得的图像有时由于摄像机2的制造误差等而不一定成为准确的等距射影的图像。在该情况下，若基于等距射影的射影公式y＝fθ来规定像素坐标与基准半径的球面上的世界坐标之间的对应关系，并基于该对应关系使用与上述过程同样的过程来实施失真校正，则能够以成为所期望的等距射影的图像的方式进行失真校正。关于其它射影方式也是同样的。
在上述的第一摄像机模型和第二摄像机模型的利用例中，每一次都利用数式9的摄像机模型来计算与世界坐标对应的像素坐标。另一方面，通过预先计算与世界坐标对应的像素坐标并保持为数据阵列，还能够实现计算的高速化。
在本实施方式中，利用在平面的棋盘10上呈正方格子状地排列的格子点11、13的测定数据来实施摄像机校准。校准图6上的特征点也可以是格子点11、13以外的图案。
例如，也可以是通过拍摄在平面上分布的点标记来将其重心位置设为像素坐标那样的测定数据的生成方法。本发明的摄像机校准中使用的特征点无需在世界坐标空间中规则地排列。即使特征点的配置是随机的，只要能够通过测定或者模拟等获知世界坐标与像素坐标之间的对应关系，就能够对世界坐标和像素坐标应用本发明的摄像机模型。
这样，本实施方式的摄像机校准的测定数据所要求的条件仅是世界坐标与像素坐标之间的对应关系变得明确。例如还能够利用以下的方法来获取这样的测定数据。首先，针对世界坐标侧准备能够沿x、y、z轴方向移动的点光源。使用使所准备的点光源的像位于由摄像机2拍摄点光源而得到的图像的关注的像素坐标的方式，来使点光源沿x，y，z轴方向移动。通过重复这样的测定，也能够求出世界坐标与像素坐标之间的对应关系。
或者，在由于摄像机2的视角大而无法在一张校准图6中包含全视角时，也可以通过针对多个视角设置校准图6来包含摄像机2的全视角。此时也是，只要校准图6上的特征点的世界坐标与像素坐标之间的对应关系明确，则能够应用本实施方式的摄像机校准方法。
在本实施方式中，采用仅考虑了3阶的径向畸变和2阶的切向畸变的摄像机模型。在对畸变像差更大的摄像机2进行校准时，能够采用追加了更高阶的畸变像差或者非旋转对称的畸变的项的摄像机模型。
还能够从摄像机模型中省略不需要的项。例如，在对非旋转对称的畸变分量小至通常能够忽视的程度的摄像机2进行校准时，最好省略摄像机模型的切向畸变的项。由此，能够防止由于格子点11的测定误差而引起摄像机模型无意义地变形从而变得不准确。关于其它的项也相同。
这样，根据本实施方式所涉及的摄像机校准装置1和摄像机校准方法，能够利用本实施方式的摄像机模型将摄像光学系统14的光瞳像差可靠地模型化。
能够将非旋转对称的畸变像差和光瞳像差也模型化。由此，能够准确地表现与世界坐标对应的像素坐标，从而能够提高摄像机模型的精度。
在本实施方式的摄像机校准装置1和摄像机校准方法中，使用基于作为校准对象的摄像机2的射影公式得到的摄像机模型，因此能够抑制模型所需的最高阶数。同时，与以往例不同的是，还能够对半视角为90°以上的摄像机2进行校准。
在本实施方式的摄像机校准装置1和摄像机校准方法中，使用线性的摄像机模型，因此能够利用线性最小二乘法对测定数据应用该线性的摄像机模型。因而，与以往例不同，最优化不会失败，并且能够大幅度地缩短计算时间。
本实施方式的摄像机校准装置1和摄像机校准方法中使用的特征点无需规则地排列。因而，只要能够明确世界坐标与像素坐标之间的对应关系即可，能够选择基于适于要校准的摄像机2的任意的测定或者计算的获取方法。
接着，下面对本发明的第二实施方式所涉及的摄像机校准方法进行说明。
在本实施方式所涉及的摄像机校准方法中，作为摄像机校准装置1，使用具备世界坐标旋转部(省略图示)和世界坐标平移部(省略图示)的摄像机校准装置，其中，该世界坐标旋转部用于利用旋转角将世界坐标变换为旋转后的世界坐标，该世界坐标平移部用于利用平移分量将世界坐标变换为平移后的世界坐标。
在第一实施方式中说明了如图1那样被校准的摄像机2的入射光瞳与世界坐标的原点大体一致且光轴与摄像机校准装置1的z轴平行、摄像面的水平方向及垂直方向与x轴及y轴平行时的摄像机校准的方法。在本实施方式中，说明不满足条件时、即世界坐标与摄像机坐标不一致时的摄像机校准的方法。
第一实施方式中使用的摄像机模型是通过以作为校准对象的摄像机2的摄像光学系统14的入射光瞳的中心404为原点的摄像机坐标而构建的。因而，当将图1的摄像机校准装置1中的校准图6上的格子点11的世界坐标变换为摄像机坐标时，应用上述的摄像机模型。利用数式2的3轴的旋转矩阵R和平移向量T，通过数式10来表示从世界坐标(x，y，z)向摄像机坐标(xc，yc，zc)的变换。
[数式10]
因此，在第二实施方式中，在数式10中仅将表示所测定出的多个格子点11的世界坐标(x，y，z)与像素坐标(u，v)之间的对应关系的测定数据中的世界坐标变换为摄像机坐标(xc，yc，zc)，之后应用第一实施方式的摄像机模型。
然后，使旋转矩阵R的3轴的旋转角θx、θy、θz以及平移向量T的三个分量(tx、ty、tz)最优化，以使残差最小。一般来说，在数式10中进行变换所得到的世界坐标与摄像机坐标一致时，摄像机模型的残差最小。
接着，参照图6来说明使用第二实施方式所涉及的摄像机校准方法对摄像机2进行校准的过程。与第一实施方式同样地获取表示世界坐标(x，y，z)与像素坐标(u，v)之间的对应关系的测定数据(步骤S22)。
接着，将数式10中包含的旋转角θx、θy、θz以及平移分量tx、ty、tz初始化(步骤S23)。旋转角θx、θy、θz以及平移分量tx、ty、tz的初始值为零即可。或者，在能够利用某种方法来估计出摄像机2的旋转角和平移分量时，也可以将估计结果设为初始值。
接着，利用数式10将测定数据的世界坐标(x，y，z)变换为摄像机坐标(xc，yc，zc)(步骤S24)。利用数式7和数式8将进行变换所得到的摄像机坐标(xc，yc，zc)变换为(ξ′，η′，r)(步骤S25)。利用线性最小二乘法对测定数据的所有像素坐标(u，v)和进行变换所得到的坐标(ξ′，η′，r)应用数式9的摄像机模型(步骤S26)。在此时的残差的标准偏差小于规定的值时，结束(步骤S27)。在残差的标准偏差为规定的值以上时，在更新旋转角θx、θy、θz以及平移分量tx、ty、tz(步骤S28)之后返回步骤S24(步骤S27)。
能够利用下降单纯形法等一般的最优化算法来执行该重复最优化。作为评价函数的残差收敛于最小值时的旋转角θx、θy、θz以及平移分量tx、ty、tz为最优的旋转角和平移分量。在如以上那样获取到旋转角和平移分量为最优的旋转角θx、θy、θz、平移分量tx、ty、tz时的摄像机模型的各系数之后，结束摄像机校准。
对于设定有使用本实施方式所涉及的摄像机校准方法求出的摄像机参数的摄像机模型，能够与第一实施方式同样地在包括搭载有摄像机模型的摄像机2的摄影装置中利用。在该情况下，在利用数式10将世界坐标变换为摄像机坐标之后，将进行变换所得到的摄像机坐标代入数式9的摄像机模型，来求出像素坐标。
在本实施方式中，使三个旋转角θx、θy、θz以及三个平移分量tx、ty、tz最优化。在最优化的旋转角θx、θy、θz以及平移分量tx、ty、tz中的几个旋转角和平移分量已知时，也可以将它们固定为已知的值而从最优化参数中排除。此时，只要使其余的未知的一个或者多个参数最优化即可。这样一来，最优化参数的数量减少，因此能够缩短计算时间。
此外，三维坐标的三个旋转角的定义存在任意性。在本实施方式中，采用绕x、y、z轴的旋转角这样的定义进行了说明。即使是除此以外的定义也能够应用本发明，这是不言而喻的。
这样，根据本实施方式所涉及的摄像机校准方法，即使在世界坐标与摄像机坐标不一致的情况下，也能够获取高精度的摄像机模型。即使在需要畸变像差等很多的摄像机参数的情况下，重复最优化的参数数量也被限定为旋转角和平移分量这六个以下的参数，因此摄像机模型的最优化不会失败，并且能够大幅度地缩短计算时间。
接着，下面参照附图对本发明的第三实施方式所涉及的摄像机校准装置32和摄像机校准方法进行说明。本实施方式所涉及的摄像机校准装置32应用于对多视点摄像机的校准。下面，例示对三台多视点摄像机33、34、35的校准来进行说明，但还能够应用于对除此以外的数量的摄像机的校准。
如图7所示，在本实施方式所涉及的摄像机校准装置32中，作为校准对象的三个摄像机(光学装置)33、34、35配置于与多视点摄像机的使用条件相同的位置并固定于摄像机固定台36。以各个摄像机33、34、35能够拍摄校准图6的方式将摄像机固定台36安装于摄像机校准装置32。校准图6、z轴移动台4、计算机7等上述以外的结构与图1的结构相同，省略说明。
下面，对像这样构成的本实施方式所涉及的摄像机校准装置32的作用进行说明。本实施方式所涉及的摄像机校准装置32的动作与第一实施方式所涉及的摄像机校准装置1的动作相同。通过图3的流程图的测定程序，使摄像机33、34、35自动地拍摄多个物体距离的校准图6的图像，从拍摄所得的图像中获取校准图6的格子点11的像素坐标。其中，对三个摄像机33、34、35分别执行图3的流程图的步骤S2、S4、S5。
接下来，根据各摄像机33、34、35的上述的测定数据来求出各摄像机33、34、35的摄像机模型。该过程与第一实施方式或者第二实施方式的过程相同。
对于设定有由本实施方式所涉及的摄像机校准装置32求出的摄像机参数的各摄像机模型，能够与第一实施方式和第二实施方式同样地在包括搭载有该摄像机模型的各摄像机33、34、35的摄影装置中利用。
此外，不一定需要同时测定多视点的各摄像机33、34、35的测定数据。例如，也可以对各摄像机33、34、35单独地依次执行图3的流程图的测定程序。也可以是，在测定各摄像机33、34、35的测定数据时，在摄像机校准装置32上变更z轴移动台4的设置位置，以使得校准图6正对作为测定对象的各摄像机33、34、35。
需要通过掌握z轴移动台4的设置位置的变更量来生成将所掌握的变更量反映到校准图6的格子点11的世界坐标中而得到的测定数据。在这样的摄像机校准方法中，将多视点摄像机33、34、35以包围观察区域的方式进行配置，因此对存在不能拍摄沿着一个方向固定的校准图6的摄像机的情况是有效的。
这样，根据本实施方式所涉及的摄像机校准装置32和摄像机校准方法，能够将多视点摄像机33、34、35配置于与使用条件相同的位置来进行摄像机校准。能够求出与一个共同的世界坐标对应的各摄像机33、34、35的像素坐标。
接着，下面参照图8对本发明的第四实施方式所涉及的校准装置进行说明。本实施方式所涉及的校准装置是投影仪校准装置37，在投影仪校准装置37的内部具备液晶元件等图像形成元件(图像变换元件：省略图示)和投影光学系统(光学系统：省略图示)，是用于对将图像向外部投影的投影仪(投影装置)38进行校准的装置。在本实施方式中，作为光学装置的一例，使用投影仪38。
投影仪校准装置37具备：底座39，其用于固定作为校准对象的投影仪38；z轴移动台4，其设置于该底座39；校准图6，其固定于该z轴移动台4的可动部5；以及摄像机2，其配置于与投影仪38邻接的位置，用于拍摄校准图6的像。摄像机2和投影仪38通过将摄像机2及投影仪38的光轴与投影仪校准装置37的z轴平行地设置、且使投影仪38的规定位置与坐标原点一致地设置的而安装于投影仪校准装置37。
此外，优选的是，摄像机2的摄像范围包括投影仪38的图像投影范围。校准图6、z轴移动台4、计算机7等上述以外的结构与图1中的结构相同。作为在本实施方式中使用的校准图6，能够将图2的棋盘10与素色屏幕进行更换。计算机7兼具控制投影仪38来使投影仪38投影规定的图像的功能。
为了使用像这样构成的本实施方式所涉及的投影仪校准装置37对投影仪38进行校准，首先在将图2的棋盘10设置为校准图6的状态下对摄像机2进行校准。该过程与第一实施方式或者第二实施方式相同。
接下来，将校准图6更换为素色屏幕。然后，将图2的棋盘10的图案从投影仪38通过投影光学系统而投影到校准图6。此时，在投影仪38内部的图像形成元件(省略图示)上定义的像素坐标中，棋盘10的各格子点11、13的像素坐标是已知的。
在该状态下，与第一实施方式同样地，通过图3的流程图的测定程序使摄像机2以多个物体距离自动拍摄投影有棋盘10的图案的校准图6的图像，并从拍摄所得的图像中获取棋盘10的图案的格子点11的像素坐标。
之后，根据所获取到的像素坐标(u，v)和校准图6的物体距离z，利用通过上述的过程校准后的摄像机2的摄像机模型，来求出被投影到校准图6上的棋盘10的图案的格子点11的世界坐标(x，y)。此外，基于本发明的第一实施方式或者第二实施方式的摄像机2的摄像机模型是根据世界坐标(x，y，z)求出像素坐标(u，v)的形式。因而，为了根据所获取到的像素坐标(u，v)和物体距离z来求出世界坐标(x，y)而需要进行重复最优化。该方法是公知的，因此省略此处的说明。
通过以上的过程，得到表示投影仪38的像素坐标(u，v)与世界坐标(x，y，z)之间的对应关系的测定数据。根据所得到的测定数据来求出投影仪38的摄像机参数的方法与第一实施方式或者第二实施方式相同。
对于设定有通过这样求出的投影仪38的摄像机参数的摄像机模型，能够与第一实施方式和第二实施方式同样地在搭载有摄像机模型的投影仪38中利用。
特别是在想要投影无失真的图像时，对由投影仪38的图像形成元件形成的图像预先施加与由于投影而发生的失真相抵消那样的图像失真即可。求出失真校正图像的像素坐标的过程与图5所示的第一实施方式的流程图相同。
此外，由投影仪38投影的图案不限于棋盘10。还能够应用能够根据由摄像机2拍摄到的图像来计算特征点的像素坐标的点标记等图案。或者，也可以是将投影仪38的离散的各像素点亮的方法。
另外，在本实施方式中，利用预先被校准后的摄像机2来测定由投影仪38投影的特征点的世界坐标(x，y)。测定结果是，设置摄像元件18来代替校准图6。而且，还能够利用直接拍摄所投影的图案这样的方法来实现。只要能够明确世界坐标与像素坐标之间的对应关系，则还能够选择上述以外的获取方法。
这样，根据本实施方式所涉及的投影仪校准装置37，能够利用摄像机模型对投影仪38进行校准。
在本发明的第一实施方式至第四实施方式中，摄像机2、33、34、35或投影仪38不限定于折射光学系统。即使是折反射光学系统，只要考虑伴随反射的坐标系的反转等变换，则也能够应用本发明，这是显而易见的。
也可以实施与摄像机2、33、34、35或投影仪38的聚焦、变焦、孔径等的设定变更分别对应的多个摄像机校准。也可以通过对摄像机模型进行插值来求出与任意的设定对应的摄像机模型。
也可以在光源的多个波长下实施摄像机校准。也可以在拍摄按波长区分的图像的摄像机中使用按波长区分的摄像机模型。
在本发明的第一实施方式至第四实施方式所记载的光学装置2、33、34、35、38中，作为图像变换元件的一例，使用了摄像元件18、图像形成元件，但不限定于此，只要是将图像与影像信号相互转换的结构即可。
附图标记说明
1、32：摄像机校准装置(校准装置)；2、33、34、35：摄像机(摄影装置、光学装置)；7：计算机(参数计算部)；8：校准数据获取部；14：摄像光学系统(光学系统)；18：摄像元件(图像变换元件)；37：投影仪校准装置(校准装置)；38：投影仪(投影装置、光学装置)。

Claims (26)

1.一种光学装置的校准装置，该光学装置具备：二维的图像变换元件，其具有多个像素；以及光学系统，其用于在该图像变换元件与三维的世界坐标空间之间形成成像关系，所述校准装置具备：
校准数据获取部，其获取校准数据，该校准数据表示所述图像变换元件的二维的像素坐标与所述世界坐标空间的三维的世界坐标之间的对应关系；以及
参数计算部，其对由该校准数据获取部获取到的所述校准数据应用将所述二维的像素坐标的两个坐标值以所述三维的世界坐标的三个坐标值的函数表示的摄像机模型，来计算该摄像机模型的参数，
其中，在使用射影的焦距f大致通过射影公式y＝fP(θ)来表示所述光学系统的视角θ与像高y之间的射影关系时，
所述参数计算部将由所述校准数据获取部获取到的所述校准数据的三维的世界坐标(x，y，z)利用与该世界坐标相等的三维的球面坐标变换为二维的坐标
之后，所述参数计算部应用将所述二维的像素坐标的两个坐标值以所述二维的坐标的两个坐标值的函数表示的摄像机模型，来计算该摄像机模型的所述参数。
2.根据权利要求1所述的校准装置，其特征在于，
所述摄像机模型利用以所述二维的坐标的两个坐标值的函数为要素的多个二维向量函数的线性和，来表示所述二维的像素坐标的两个坐标值。
3.根据权利要求2所述的校准装置，其特征在于，
所述二维的坐标的函数是与表示二维的平面之间的成像关系的函数相同形式的函数。
4.根据权利要求2所述的校准装置，其特征在于，
所述摄像机模型由将所述多个二维向量函数的线性和的各系数用所述三维的球面坐标的r的倒数的乘方多项式进行置换所得到的数式来表现。
5.根据权利要求1至4中的任一项所述的校准装置，其特征在于，
所述参数计算部利用线性最小二乘法对所述校准数据应用所述摄像机模型。
6.根据权利要求1所述的校准装置，其特征在于，
所述参数计算部对由所述校准数据获取部获取到的所述校准数据中的、将所述三维的世界坐标变换为使其以表示该世界坐标的旋转的三个旋转角中的一个以上的旋转角进行旋转后的世界坐标所得到的校准数据应用所述摄像机模型，来求出使该摄像机模型的残差最小的一个以上的旋转角。
7.根据权利要求1所述的校准装置，其特征在于，
所述参数计算部对由所述校准数据获取部获取到的所述校准数据中的、将所述三维的世界坐标变换为使其以表示该世界坐标的平移的三个平移分量中的一个以上的分量进行平移后的世界坐标所得到的校准数据应用所述摄像机模型，来求出使该摄像机模型的残差最小的一个以上的平移分量。
8.根据权利要求1至7中的任一项所述的校准装置，其特征在于，
所述光学装置具备光学系统和多个所述图像变换元件，该光学系统用于在该图像变换元件与所述三维的世界坐标空间之间形成成像关系，
所述校准数据获取部获取各所述图像变换元件及所述光学系统的校准数据，
所述参数计算部对各所述图像变换元件及所述光学系统的所述校准数据应用各所述摄像机模型。
9.根据权利要求1至8中的任一项所述的校准装置，其特征在于，
所述光学装置为摄影装置，
所述图像变换元件为摄像元件，
所述光学系统为摄像光学系统。
10.根据权利要求1至8中的任一项所述的校准装置，其特征在于，
所述光学装置为投影装置，
所述图像变换元件为图像形成元件，
所述光学系统为投影光学系统。
11.一种校准方法，包括以下步骤：
获取校准数据，该校准数据表示光学装置的二维的图像变换元件的二维的像素坐标与三维的世界坐标空间的三维的世界坐标之间的对应关系，其中，所述光学装置具备：所述二维的图像变换元件，其具有多个像素；以及光学系统，其用于在该图像变换元件与所述三维的世界坐标空间之间变换成像关系；以及
对获取到的所述校准数据应用将所述二维的像素坐标的两个坐标值以所述三维的世界坐标的三个坐标值的函数表示的摄像机模型，来计算该摄像机模型的参数，
其中，在使用射影的焦距f大致通过射影公式y＝fP(θ)来表示所述光学系统的视角θ与像高y之间的射影关系时，
在计算参数的所述步骤中，将通过获取校准数据的所述步骤获取到的所述校准数据的三维的世界坐标(x，y，z)利用与该世界坐标相等的三维的球面坐标变换为二维的坐标之后，应用将所述二维的像素坐标的两个坐标值以所述二维的坐标的两个坐标值的函数表示的摄像机模型，来计算该摄像机模型的所述参数。
12.根据权利要求11所述的校准方法，其特征在于，
所述摄像机模型利用以所述二维的坐标的两个坐标值的函数为要素的多个二维向量函数的线性和，来表示所述二维的像素坐标的两个坐标值。
13.根据权利要求12所述的校准方法，其特征在于，
所述二维的坐标的函数为与表示二维的平面之间的成像关系的函数相同形式的函数。
14.根据权利要求12所述的校准方法，其特征在于，
所述摄像机模型由将所述多个二维向量函数的线性和的各系数用所述三维的球面坐标的r的倒数的乘方多项式进行置换所得到的数式来表现。
15.根据权利要求11至14中的任一项所述的校准方法，其特征在于，
在计算参数的所述步骤中，利用线性最小二乘法对所述校准数据应用所述摄像机模型。
16.根据权利要求11所述的校准方法，其特征在于，
在计算参数的所述步骤中，对通过获取校准数据的所述步骤获取到的所述校准数据中的、将所述三维的世界坐标变换为使其以表示该世界坐标的旋转的三个旋转角中的一个以上的旋转角进行旋转后的世界坐标所得到的校准数据应用所述摄像机模型，来求出使该摄像机模型的残差最小的一个以上的旋转角。
17.根据权利要求11或16所述的校准方法，其特征在于，
在计算参数的所述步骤中，对通过获取校准数据的所述步骤获取到的所述校准数据中的、将所述三维的世界坐标变换为使其以表示该世界坐标的平移的三个平移分量中的一个以上的分量进行平移后的世界坐标所得到的校准数据应用所述摄像机模型，来求出使该摄像机模型的残差最小的一个以上的平移分量。
18.一种光学装置，搭载有摄像机模型，该摄像机模型中设定了由根据权利要求1～10中的任一项所述的校准装置计算出的所述参数。
19.根据权利要求18所述的光学装置，其特征在于，
具备像素坐标计算部，该像素坐标计算部利用所述摄像机模型，根据所述三维的世界坐标的三个坐标值来求出所述像素坐标的两个坐标值。
20.根据权利要求18所述的光学装置，其特征在于，
具备失真校正图像生成部，该失真校正图像生成部利用所述摄像机模型，来求出与所述世界坐标对应的、由所述图像变换元件获取到或者形成的图像的像素坐标，生成对失真进行校正后的图像。
21.一种光学装置，搭载有摄像机模型，在该摄像机模型中，由根据权利要求6所述的校准装置获取到的所述旋转角被设定为参数。
22.根据权利要求21所述的光学装置，其特征在于，
具备世界坐标旋转部，该世界坐标旋转部利用所述旋转角将所述世界坐标变换为旋转后的世界坐标。
23.一种光学装置，搭载有摄像机模型，在该摄像机模型中，由根据权利要求7所述的校准装置获取到的所述平移分量被设定为参数。
24.根据权利要求23所述的光学装置，其特征在于，
具备世界坐标平移部，该世界坐标平移部利用所述平移分量将所述世界坐标变换为平移后的世界坐标。
25.一种摄影装置，包括根据权利要求18至24中的任一项所述的光学装置。
26.一种投影装置，包括根据权利要求18至24中的任一项所述的光学装置。
CN201880019080.1A 2017-03-21 2018-02-14 校准装置、校准方法、光学装置、摄影装置以及投影装置 Active CN110447220B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017054559 2017-03-21
JP2017-054559 2017-03-21
PCT/JP2018/005008 WO2018173551A1 (ja) 2017-03-21 2018-02-14 較正装置、較正方法、光学装置、撮影装置および投影装置

Publications (2)

Publication Number Publication Date
CN110447220A true CN110447220A (zh) 2019-11-12
CN110447220B CN110447220B (zh) 2021-03-09

Family

ID=63586047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880019080.1A Active CN110447220B (zh) 2017-03-21 2018-02-14 校准装置、校准方法、光学装置、摄影装置以及投影装置

Country Status (3)

Country Link
US (1) US10798353B2 (zh)
CN (1) CN110447220B (zh)
WO (1) WO2018173551A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145265A (zh) * 2019-12-16 2020-05-12 深圳奥比中光科技有限公司 一种确定相机虚拟光轴的方法及系统
CN112837377A (zh) * 2021-01-13 2021-05-25 上海力信测量系统有限公司 一种相机内外参联合标定系统
CN113592956A (zh) * 2021-07-30 2021-11-02 武汉精测电子集团股份有限公司 一种基于显微检测机台的多镜头联合标定方法和装置
CN113916906A (zh) * 2021-09-03 2022-01-11 江苏理工学院 视觉检测系统led光源照度优化方法及所用实验设备
CN114095657A (zh) * 2021-11-22 2022-02-25 成都天翼空间科技有限公司 一种基于新增摄像头的自动校准的方法与系统
CN114782549A (zh) * 2022-04-22 2022-07-22 南京新远见智能科技有限公司 基于定点标识的相机标定方法及系统
CN115412719A (zh) * 2021-05-26 2022-11-29 致伸科技股份有限公司 相机镜头与光源的对位方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018167999A1 (ja) * 2017-03-17 2018-09-20 パナソニックＩｐマネジメント株式会社 プロジェクタ及びプロジェクタシステム
SG11201907126SA (en) * 2017-08-25 2019-09-27 Maker Trading Pte Ltd A general monocular machine vision system and method for identifying locations of target elements
US10609360B2 (en) * 2018-06-28 2020-03-31 Black Sesame International Holding Limited Dual camera calibration
CN109816733B (zh) * 2019-01-14 2023-08-18 京东方科技集团股份有限公司 相机参数初始化方法及装置、相机参数标定方法及设备、图像采集系统
JP2020150303A (ja) * 2019-03-11 2020-09-17 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
TWI720447B (zh) * 2019-03-28 2021-03-01 財團法人工業技術研究院 影像定位方法及其系統
CN111935465B (zh) * 2019-05-13 2022-06-17 中强光电股份有限公司 投影系统、投影装置以及其显示影像的校正方法
CN111028296B (zh) * 2019-11-07 2023-05-12 浙江大华技术股份有限公司 球机焦距值估算方法、装置、设备及存储装置
CN111612852B (zh) * 2020-05-20 2023-06-09 阿波罗智联(北京)科技有限公司 用于验证相机参数的方法和装置
CN111862221B (zh) * 2020-07-31 2022-10-11 广东利元亨智能装备股份有限公司 Uvw平台标定方法、设备、纠偏方法、装置及对位系统
CN112199815B (zh) * 2020-08-29 2024-03-12 长春工业大学 一种降低温度对相机内参数影响的方法
CN112149675B (zh) * 2020-09-04 2024-01-12 雅客智慧（北京）科技有限公司 获取图表信息数据的方法、电子设备及可读存储介质
CN112346258B (zh) * 2020-11-06 2022-09-13 上海易维视科技有限公司 基于方波拟合的光栅可视区定标方法及系统
US11172193B1 (en) * 2020-12-04 2021-11-09 Argo AI, LLC Method and system to calibrate camera devices of a vehicle vision system using a programmable calibration target device
CN112798811B (zh) * 2020-12-30 2023-07-28 杭州海康威视数字技术股份有限公司 速度测量方法、装置和设备
CN113454684A (zh) * 2021-05-24 2021-09-28 华为技术有限公司 一种关键点标定方法和装置
CN113298883B (zh) * 2021-06-08 2024-11-26 清德智体（北京）科技有限公司 用于对多个相机进行标定的方法、电子设备和存储介质
CN113379835B (zh) * 2021-06-29 2024-06-04 深圳中科飞测科技股份有限公司 检测设备的校准方法、装置、设备及可读存储介质
CN114529616B (zh) * 2022-04-22 2022-07-26 武汉精视遥测科技有限公司 基于内壁刻度的广角镜头参数标定方法、系统及计算机
CN115063290B (zh) * 2022-08-17 2022-11-22 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、系统及存储介质
CN115619981B (zh) * 2022-12-20 2023-04-11 北京百度网讯科技有限公司 三维发型生成方法和模型的训练方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002202122A (ja) * 2001-01-05 2002-07-19 Olympus Optical Co Ltd ２次元距離画像センサのキャリブレーション方法
CN102496160A (zh) * 2011-12-09 2012-06-13 河海大学常州校区 集控式足球机器人视觉系统标定方法
CN102831626A (zh) * 2012-06-18 2012-12-19 清华大学 极地投影模式下多变量时空数据的可视化方法
CN103021013A (zh) * 2012-11-28 2013-04-03 无锡羿飞科技有限公司 投影机球形显示及旋转输出图像的高效处理方法
JP2016105577A (ja) * 2014-11-25 2016-06-09 日本放送協会 カメラモデルパラメータ推定装置及びそのプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3949333B2 (ja) * 1999-04-12 2007-07-25 富士通株式会社 画像計測方法、画像計測装置、および画像計測プログラム記憶媒体
JP4147059B2 (ja) * 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
JP3735344B2 (ja) 2002-12-27 2006-01-18 オリンパス株式会社 キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
JP2005260753A (ja) * 2004-03-12 2005-09-22 Ntt Docomo Inc カメラ選択装置、及びカメラ選択方法
JP4681856B2 (ja) * 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置
EP1662440A1 (en) * 2004-11-30 2006-05-31 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Method for determining the position of an object from a digital image
JP4418841B2 (ja) * 2008-01-24 2010-02-24 キヤノン株式会社 作業装置及びその校正方法
JP4440341B2 (ja) * 2008-05-19 2010-03-24 パナソニック株式会社 キャリブレーション方法、キャリブレーション装置及びその装置を備えるキャリブレーションシステム
JP2010025759A (ja) * 2008-07-18 2010-02-04 Fuji Xerox Co Ltd 位置計測システム
US8872920B2 (en) * 2009-03-26 2014-10-28 Aisin Seiki Kabushiki Kaisha Camera calibration apparatus
US8872897B2 (en) * 2011-05-11 2014-10-28 Intel Corporation Camera calibration using an easily produced 3D calibration pattern
US8743214B2 (en) * 2011-05-11 2014-06-03 Intel Corporation Display screen for camera calibration
JP5832278B2 (ja) * 2011-12-26 2015-12-16 三菱重工業株式会社 カメラ計測システムのキャリブレーション方法
US20140085409A1 (en) * 2012-09-25 2014-03-27 GM Global Technology Operations LLC Wide fov camera image calibration and de-warping
US10237528B2 (en) * 2013-03-14 2019-03-19 Qualcomm Incorporated System and method for real time 2D to 3D conversion of a video in a digital camera
JP2015128242A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 画像投影装置及びそのキャリブレーション方法
US9912884B2 (en) * 2014-03-03 2018-03-06 Photoneo, s.r.o. Methods and apparatus for superpixel modulation
WO2016070318A1 (en) * 2014-11-04 2016-05-12 SZ DJI Technology Co., Ltd. Camera calibration
WO2016076400A1 (ja) * 2014-11-13 2016-05-19 オリンパス株式会社 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法
EP3144890A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for calibrating an optical acquisition system
US10142544B1 (en) * 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
US9965870B2 (en) * 2016-03-29 2018-05-08 Institut National D'optique Camera calibration method using a calibration target
WO2017195801A1 (ja) * 2016-05-13 2017-11-16 オリンパス株式会社 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法
JP6664000B2 (ja) * 2016-08-12 2020-03-13 オリンパス株式会社 較正装置、較正方法、光学装置、撮影装置、および投影装置
US10733697B2 (en) * 2016-12-27 2020-08-04 Intel IP Corporation Convolutional neural network for wide-angle camera images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002202122A (ja) * 2001-01-05 2002-07-19 Olympus Optical Co Ltd ２次元距離画像センサのキャリブレーション方法
CN102496160A (zh) * 2011-12-09 2012-06-13 河海大学常州校区 集控式足球机器人视觉系统标定方法
CN102831626A (zh) * 2012-06-18 2012-12-19 清华大学 极地投影模式下多变量时空数据的可视化方法
CN103021013A (zh) * 2012-11-28 2013-04-03 无锡羿飞科技有限公司 投影机球形显示及旋转输出图像的高效处理方法
JP2016105577A (ja) * 2014-11-25 2016-06-09 日本放送協会 カメラモデルパラメータ推定装置及びそのプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨博文;张丽艳;叶南;冯新星;李铁林;: "面向大视场视觉测量的摄像机标定技术", 《光学学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145265A (zh) * 2019-12-16 2020-05-12 深圳奥比中光科技有限公司 一种确定相机虚拟光轴的方法及系统
CN111145265B (zh) * 2019-12-16 2024-02-06 奥比中光科技集团股份有限公司 一种确定相机虚拟光轴的方法及系统
CN112837377A (zh) * 2021-01-13 2021-05-25 上海力信测量系统有限公司 一种相机内外参联合标定系统
CN112837377B (zh) * 2021-01-13 2024-07-05 上海力信测量系统有限公司 一种相机内外参联合标定系统
CN115412719B (zh) * 2021-05-26 2024-03-01 致伸科技股份有限公司 相机镜头与光源的对位方法
CN115412719A (zh) * 2021-05-26 2022-11-29 致伸科技股份有限公司 相机镜头与光源的对位方法
CN113592956B (zh) * 2021-07-30 2023-12-19 武汉精测电子集团股份有限公司 一种基于显微检测机台的多镜头联合标定方法和装置
CN113592956A (zh) * 2021-07-30 2021-11-02 武汉精测电子集团股份有限公司 一种基于显微检测机台的多镜头联合标定方法和装置
CN113916906A (zh) * 2021-09-03 2022-01-11 江苏理工学院 视觉检测系统led光源照度优化方法及所用实验设备
CN113916906B (zh) * 2021-09-03 2024-01-09 江苏理工学院 视觉检测系统led光源照度优化方法及所用实验设备
CN114095657B (zh) * 2021-11-22 2024-02-27 成都天翼空间科技有限公司 一种基于新增摄像头的自动校准的方法与系统
CN114095657A (zh) * 2021-11-22 2022-02-25 成都天翼空间科技有限公司 一种基于新增摄像头的自动校准的方法与系统
CN114782549B (zh) * 2022-04-22 2023-11-24 南京新远见智能科技有限公司 基于定点标识的相机标定方法及系统
CN114782549A (zh) * 2022-04-22 2022-07-22 南京新远见智能科技有限公司 基于定点标识的相机标定方法及系统

Also Published As

Publication number Publication date
WO2018173551A1 (ja) 2018-09-27
CN110447220B (zh) 2021-03-09
US20200007836A1 (en) 2020-01-02
US10798353B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
CN110447220B (zh) 校准装置、校准方法、光学装置、摄影装置以及投影装置
US10699440B2 (en) Calibration device, calibration method, optical device, photographing device, projecting device, measurement system, and measurement method
JP6664000B2 (ja) 較正装置、較正方法、光学装置、撮影装置、および投影装置
JP6576945B2 (ja) 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法
CN107248178B (zh) 一种基于畸变参数的鱼眼相机标定方法
TWI480832B (zh) 用於三維感測的參考圖像技術
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
JP5070435B1 (ja) ３次元相対座標計測装置およびその方法
CN106408556A (zh) 一种基于一般成像模型的微小物体测量系统标定方法
KR20090004428A (ko) 광학 설계 방법 및 시스템과 광학 수차를 갖는 광학 요소를이용한 촬상 소자
CN106643563B (zh) 一种桌面式大视场三维扫描装置及方法
CN110612428B (zh) 使用特征量的三维测量方法及其装置
JP2017098859A (ja) 画像のキャリブレーション装置及びキャリブレーション方法
Chai et al. Epipolar constraint of single-camera mirror binocular stereo vision systems
JP6989276B2 (ja) 位置計測装置
CN115375775A (zh) 基于前向投影折射模型的水下相机标定方法及装置
JP6560159B2 (ja) 位置計測装置
JP4196784B2 (ja) カメラ位置測定装置および方法並びにカメラ位置制御方法
RU2806729C1 (ru) Система и способ реконструкции свойств поверхности и определения положения оцифрованных 3d объектов
KR102591844B1 (ko) 미러를 이용한 카메라 캘리브레이션 장치
JP4775541B2 (ja) 撮影画像における歪曲収差補正方法
KR100483345B1 (ko) 이중파장 영사식 모아레 기반 형상측정장치 및 레지스트레이션을 이용한 멀티헤드 시스템용 자동 캘리브레이션 방법
JP5629874B2 (ja) 三次元座標計測装置及び三次元座標計測方法
Feng Theory and Development of a Camera-Based Noncontact Vibration Measurement System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230116

Address after: Nagano

Patentee after: Yijingtong Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: OLYMPUS Corp.

TR01 Transfer of patent right