Nothing Special   »   [go: up one dir, main page]

CN105981074B - 用于标定成像装置的系统、方法和装置 - Google Patents

用于标定成像装置的系统、方法和装置 Download PDF

Info

Publication number
CN105981074B
CN105981074B CN201480075081.XA CN201480075081A CN105981074B CN 105981074 B CN105981074 B CN 105981074B CN 201480075081 A CN201480075081 A CN 201480075081A CN 105981074 B CN105981074 B CN 105981074B
Authority
CN
China
Prior art keywords
images
calibration
imaging devices
image
reference marks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480075081.XA
Other languages
English (en)
Other versions
CN105981074A (zh
Inventor
沈宇
刘昂
周谷越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN105981074A publication Critical patent/CN105981074A/zh
Application granted granted Critical
Publication of CN105981074B publication Critical patent/CN105981074B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了用于标定一个或多个成像装置的系统、方法和装置。在一个方面，一种方法包括：从所述一个或多个成像装置中的每个成像装置接收标定目标的多个图像，所述标定目标包括多个特征以及一个或多个参考标记；确定在所述多个图像的每个图像中的所述一个或多个参考标记与所述标定目标上的所述一个或多个参考标记之间的空间关系；基于所述空间关系，制定在所述多个图像的每个图像中的特征的图像坐标与所述标定目标上的对应特征的全局坐标之间的对应关系；以及基于所述对应关系，确定所述一个或多个成像装置的标定参数。

Description

用于标定成像装置的系统、方法和装置
背景技术
诸如无人飞行器(UAV)等无人载运工具可以用于执行多种军事和民用应用中的监视、侦察和勘探任务。在一些情况下，UAV可以搭载相机，用于生成环境中的物体的图像数据。基于特定应用，可以执行相机标定过程以便确定所述相机的一个或多个参数。
用于相机标定的现有方法在一些情况下可能不是最优的。例如，一些相机标定方法对于标定具有多个相机的成像系统可能不是最优的。
发明内容
本发明公开提供用于相机和其他类型的成像装置的改进的标定系统、方法和装置。在一些实施方式中，本文所描述的标定技术利用由一个或多个成像装置获取的标定目标的图像，所述标定目标包括多个特征以及一个或多个可唯一识别的参考标记。所述参考标记可以用于促进确定在所述图像中的特征的图像坐标与所述标定目标上的对应特征的全局坐标之间的对应关系。基于确定的对应关系，可以计算所述成像装置的一个或多个标定参数(例如，外部参数和/或固有参数)。本发明公开的一些方面允许使用描绘少于整个所述标定目标(例如，少于所述标定目标上的所有特征)的图像来确定标定参数。有利地，这样的方法为标定过程——特别是关于多个成像装置的标定——提供了更高的准确性和灵活性。
因此，在一个方面，提供了一种标定一个或多个成像装置的方法。所述方法包括：从所述一个或多个成像装置中的每个成像装置接收标定目标的多个图像，所述标定目标包括布置成重复图案的多个特征以及一个或多个参考标记，其中所述一个或多个参考标记各自在所述多个图像的每个图像中是可唯一识别的，并且其中所述多个图像包括捕捉少于所有的所述多个特征的至少一个图像；借助于一个或多个处理器，确定在所述多个图像的每个图像中的所述一个或多个参考标记与所述标定目标上的所述一个或多个参考标记之间的空间关系；基于所述空间关系并借助于一个或多个处理器，制定在所述多个图像的每个图像中的特征的图像坐标与所述标定目标上的对应特征的全局坐标之间的对应关系；以及基于所述对应关系并借助于所述一个或多个处理器，确定所述一个或多个成像装置的标定参数。
在一些实施方式中，所述一个或多个成像装置由无人飞行器搭载。
在一些实施方式中，所述多个图像的所述每个图像捕捉所述标定目标上的所述一个或多个参考标记以及所述多个特征的至少一个子集。可以在相对于所述标定目标的不同位置和方向(orientation)上获取来自所述一个或多个成像装置中的每个成像装置的所述多个图像。
在一些实施方式中，所述标定目标是包括多个方格的棋盘，并且所述多个特征包括所述多个方格的角点。所述一个或多个参考标记可以各自定位于所述多个方格中的一个方格内。所述多个特征可以包括所述棋盘的四个外角，并且所述至少一个图像可以遗漏所述四个外角中的至少一个。
在一些实施方式中，所述一个或多个参考标记包括至少三个参考标记。所述一个或多个参考标记可以包括圆点、三角形或四边形。所述一个或多个参考标记可以覆盖至所述重复图案上。所述一个或多个参考标记可以形成所述标定目标上的不规则多边形的顶点。所述一个或多个参考标记可以包括形成等腰三角形或不等边三角形的顶点的三个参考标记。
在一些实施方式中，所述一个或多个参考标记形成所述多个图像中的不规则多边形的顶点，并且确定所述空间关系的步骤包括识别在所述多个图像中的所述不规则多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系。所述多个特征可以在平面上布置成所述重复图案，并且所述一个或多个参考标记可以在所述平面内形成非旋转对称的形状。
在一些实施方式中，所述一个或多个成像装置包括基本上同时捕捉图像的第一相机和第二相机。所述制定步骤可以包括识别存在于由所述第一相机获取的图像和由所述第二相机获取的对应图像中的特征。所述标定参数可以包括所述一个或多个成像装置中的每个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。所述标定参数可以包括所述一个或多个成像装置中的每个成像装置相对于所述标定目标的位置和方向。
在另一方面，提供了一种标定一个或多个成像装置的系统。所述系统包括：一个或多个成像装置，其各自被用于捕捉标定目标的多个图像，所述标定目标包括布置成重复图案的多个特征以及一个或多个参考标记，其中所述一个或多个参考标记各自在所述多个图像的每个图像中是可唯一识别的，并且其中所述多个图像包括捕捉少于所有的所述多个特征的至少一个图像；以及一个或多个处理器，其共同地或单个地被用于：从所述一个或多个成像装置中的每个成像装置接收所述多个图像；确定在所述多个图像的每个图像中的所述一个或多个参考标记与所述标定目标上的所述一个或多个参考标记之间的空间关系；基于所述一个或多个参考标记的预定全局坐标，制定在所述多个图像的每个图像中的特征的图像坐标与所述标定目标上的对应特征的全局坐标之间的对应关系；以及基于所述对应关系，确定所述一个或多个成像装置的标定参数。
在一些实施方式中，所述一个或多个成像装置由无人飞行器搭载。
在一些实施方式中，所述多个图像的所述每个图像捕捉所述标定目标上的所述一个或多个参考标记以及所述多个特征的至少一个子集。可以在相对于所述标定目标的不同位置和方向上获取来自所述一个或多个成像装置中的每个成像装置的所述多个图像。
在一些实施方式中，所述标定目标是包括多个方格的棋盘，并且所述多个特征包括所述多个方格的角点。所述一个或多个参考标记可以各自定位于所述多个方格中的一个方格内。所述多个特征可以包括所述棋盘的四个外角，并且所述至少一个图像可以遗漏所述四个外角中的至少一个。
在一些实施方式中，所述一个或多个参考标记包括至少三个参考标记。所述一个或多个参考标记可以包括圆点、三角形或四边形。所述一个或多个参考标记可以覆盖至所述重复图案上。所述一个或多个参考标记可以形成所述标定目标上的不规则多边形的顶点。所述一个或多个参考标记可以包括形成等腰三角形或不等边三角形的顶点的三个参考标记。
在一些实施方式中，所述一个或多个参考标记形成所述多个图像中的不规则多边形的顶点，并且确定所述空间关系的步骤包括识别在所述多个图像中的所述不规则多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系。所述多个特征可以在平面上布置成所述重复图案，并且所述一个或多个参考标记可以在所述平面内形成非旋转对称的形状。
在一些实施方式中，所述一个或多个成像装置包括基本上同时捕捉图像的第一相机和第二相机。所述制定步骤可以包括识别存在于由所述第一相机获取的图像和由所述第二相机获取的对应图像中的特征。所述标定参数可以包括所述一个或多个成像装置中的每个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。所述标定参数可以包括所述一个或多个成像装置中的每个成像装置相对于所述标定目标的位置和方向。
在另一方面，提供了一种使用一个或多个成像装置来生成深度图的方法。所述方法包括：从所述一个或多个成像装置中的每个成像装置获取一个或多个图像；以及借助于一个或多个处理器，基于所述一个或多个成像装置的标定参数，处理来自所述一个或多个成像装置中的每个成像装置的所述一个或多个图像，以便生成三维深度图，其中使用来自所述一个或多个成像装置中的每个成像装置的标定目标的多个标定图像来确定所述标定参数，所述标定目标包括布置成重复图案的多个特征以及一个或多个参考标记，其中所述一个或多个参考标记各自在所述多个标定图像中的每个标定图像内是可唯一识别的，并且其中所述多个标定图像包括捕捉少于所有的所述多个特征的至少一个标定图像。
在一些实施方式中，所述一个或多个成像装置由无人飞行器搭载。所述深度图可以包括指示一个或多个物体距所述无人飞行器的距离的信息。
在一些实施方式中，所述多个标定图像中的所述每个标定图像捕捉所述标定目标上的所述一个或多个参考标记以及所述多个特征的至少一个子集。可以在相对于所述标定目标的不同位置和方向上获取来自所述成像装置中的每个成像装置的所述多个标定图像。
在一些实施方式中，所述标定目标是包括多个方格的棋盘，并且所述多个特征包括所述多个方格的角点。所述一个或多个参考标记可以各自定位于所述多个方格中的一个方格内。所述多个特征可以包括所述棋盘的四个外角，并且所述至少一个标定图像可以遗漏所述四个外角中的至少一个。
在一些实施方式中，所述一个或多个参考标记包括至少三个参考标记。所述一个或多个参考标记可以包括圆点、三角形或四边形。所述一个或多个参考标记可以覆盖至所述重复图案上。所述一个或多个参考标记可以形成所述标定目标上的不规则多边形的顶点。所述一个或多个参考标记可以包括形成等腰三角形或不等边三角形的顶点的三个参考标记。
在一些实施方式中，所述一个或多个参考标记形成所述多个图像中的不规则多边形的顶点，并且通过至少识别在所述多个标定图像中的所述不规则多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系来确定所述标定参数。所述多个特征可以在平面上布置成所述重复图案，并且所述一个或多个参考标记在所述平面内可以形成非旋转对称的形状。
在一些实施方式中，所述一个或多个参考标记形成所述多个图像中的不规则多边形的顶点，并且确定所述空间关系的步骤包括识别在所述多个图像中的所述不规则多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系。所述多个特征可以在平面上布置成所述重复图案，并且所述一个或多个参考标记在所述平面内可以形成非旋转对称的形状。
在一些实施方式中，所述一个或多个成像装置包括基本上同时捕捉图像的第一相机和第二相机。处理所述一个或多个图像可以包括识别存在于由所述第一相机获取的图像和由所述第二相机获取的对应图像中的特征。处理所述一个或多个图像可以包括确定由所述第一相机捕捉的图像与由所述第二相机捕捉的对应图像之间的视差。所述标定参数可以包括所述一个或多个成像装置中的每个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。所述标定参数可以包括所述一个或多个成像装置中的每个成像装置相对于所述标定目标的位置和方向。处理所述一个或多个图像可以包括减小所述一个或多个图像的至少一个图像中的光学畸变。
在另一方面，提供了一种使用一个或多个成像装置来生成深度图的系统。所述系统可以包括：一个或多个成像装置，其各自被用于获取图像；以及一个或多个处理器，其共同地或单个地被用于：从所述一个或多个成像装置中的每个成像装置获取一个或多个图像；以及基于所述一个或多个成像装置的标定参数，处理来自所述一个或多个成像装置中的每个成像装置的所述一个或多个图像，以便生成三维深度图，其中使用来自所述一个或多个成像装置中的每个成像装置的标定目标的多个标定图像来确定所述标定参数，所述标定目标包括布置成重复图案的多个特征以及一个或多个参考标记，其中所述一个或多个参考标记各自在所述多个标定图像中的每个标定图像内是可唯一识别的，并且其中所述多个标定图像包括捕捉少于所有的所述多个特征的至少一个标定图像。
在一些实施方式中，所述一个或多个成像装置由无人飞行器搭载。所述深度图可以包括指示一个或多个物体距所述无人飞行器的距离的信息。
在一些实施方式中，所述多个标定图像中的所述每个标定图像捕捉所述标定目标上的所述一个或多个参考标记以及所述多个特征的至少一个子集。可以在相对于所述标定目标的不同位置和方向上获取来自所述成像装置中的每个成像装置的所述多个标定图像。
在一些实施方式中，所述标定目标是包括多个方格的棋盘，并且所述多个特征包括所述多个方格的角点。所述一个或多个参考标记可以各自定位于所述多个方格中的一个方格内。所述多个特征可以包括所述棋盘的四个外角，并且所述至少一个标定图像可以遗漏所述四个外角中的至少一个。
在一些实施方式中，所述一个或多个参考标记包括至少三个参考标记。所述一个或多个参考标记可以包括圆点、三角形或四边形。所述一个或多个参考标记可以覆盖至所述重复图案上。所述一个或多个参考标记可以形成所述标定目标上的不规则多边形的顶点。所述一个或多个参考标记可以包括形成等腰三角形或不等边三角形的顶点的三个参考标记。
在一些实施方式中，所述一个或多个参考标记形成所述多个标定图像中的不规则多边形的顶点，并且通过至少识别在所述多个标定图像中的所述不规则多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系来确定所述标定参数。所述多个特征可以在平面上布置成所述重复图案，并且所述一个或多个参考标记在所述平面内可以形成非旋转对称的形状。
在一些实施方式中，所述一个或多个参考标记形成所述多个图像中的不规则多边形的顶点，并且确定所述空间关系的步骤包括识别在所述多个图像中的所述不规则多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系。所述多个特征可以在平面上布置成所述重复图案，并且所述一个或多个参考标记在所述平面内可以形成非旋转对称的形状。
在一些实施方式中，所述一个或多个成像装置包括基本上同时捕捉图像的第一相机和第二相机。处理所述一个或多个图像可以包括识别存在于由所述第一相机获取的图像和由所述第二相机获取的对应图像中的特征。处理所述一个或多个图像可以包括确定由所述第一相机捕捉的图像与由所述第二相机捕捉的对应图像之间的视差。所述标定参数可以包括所述一个或多个成像装置中的每个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。所述标定参数可以包括所述一个或多个成像装置中的每个成像装置相对于所述标定目标的位置和方向。处理所述一个或多个图像可以包括减小所述一个或多个图像的至少一个图像中的光学畸变。
应当明白，本发明的不同方面可以被单独地、共同地或彼此结合地理解。本文所描述的本发明的各个方面可以适用于下文阐述的任何特定应用或者适用于任何其他类型的可移动物体。本文对飞行器的任何描述均可适用于和用于任何可移动物体，诸如任何载运工具。另外，本文在空中运动(例如，飞行)的情景下公开的系统、装置和方法还可以适用于其他类型运动的情景下，诸如在地面上或在水上的移动、水下运动或者在太空中的运动。此外，本文对旋翼或旋翼组件的任何描述均可适用于和任何用于通过旋转而生成推进力的推进系统、装置或机构(例如，螺旋桨、轮子、轮轴)。
通过考察说明书、权利要求书和附图，本发明的其他目标和特征将会变得显而易见。
通过引用并入
本说明书中所提及的所有公布、专利和专利申请均通过引用并入本文中，其引用程度如同明确且单独地指示将各个单独的公布、专利或专利申请通过引用并入本文中。
附图说明
在所附权利要求书中具体阐述了本发明的新颖特征。通过参考对在其中利用到本发明原理的说明性实施方式加以阐述的以下详细描述和附图，将会更好地理解本发明的特征和优点；在附图中：
图1显示了根据实施方式的单目相机的模型；
图2显示了根据实施方式从世界坐标系到图像坐标系的映射的模型；
图3显示了根据实施方式从世界坐标系到图像坐标系的映射的模型；
图4显示了根据实施方式适合在成像装置标定中使用的标定目标；
图5显示了根据实施方式的棋盘标定目标的图像；
图6和图7显示了根据实施方式基于相对定位是可唯一识别的参考标记；
图8显示了根据实施方式具有参考标记的标定目标；
图9显示了根据实施方式使用具有一个或多个参考标记的标定目标来标定一个或多个成像装置的方法；
图10到图13显示了根据实施方式对图像中的标定目标的特征和参考标记的识别；
图14显示了根据实施方式在双目相机标定中坐标系之间空间关系的模型；
图15显示了根据实施方式在畸变图像坐标与无畸变图像坐标之间映射的模型；
图16和图17显示了根据实施方式用于双目相机系统的图像修正过程；
图18显示了根据实施方式执行图像修正的处理之后的双目相机图像；
图19显示了根据实施方式由图像数据生成深度图的方法；
图20显示了根据实施方式的UAV；
图21显示了根据实施方式包括载具和搭载物的可移动物体；以及
图22显示了根据实施方式用于控制可移动物体的系统。
具体实施方式
本公开提供用于对诸如相机等成像装置进行标定的改进的系统、方法和装置。本文所描述的方法可以涉及使用一个或多个成像装置来获取标定目标的多个图像。标定目标可以包括多个特征以及一个或多个参考标记。所述一个或多个参考标记可以是可唯一识别的，以便促进对图像中的特征的图像坐标与标定目标上的特征的世界坐标之间的对应关系的确定，即使当一些图像并未捕捉标定目标的所有特征时亦如此。这样的方法可有利于在难以使每个成像装置获取整个标定目标的图像数据的情况下(例如，当同时标定多个成像装置时)仍提供准确而可靠的标定。此外，这样的方法允许使用较大的标定目标，这可以提高所得标定参数的准确性。
本文所描述的技术可被实现用于多种涉及成像和成像数据的应用，诸如使用由可移动物体搭载的一个或多个成像装置进行基于视觉的导航。例如，本公开的系统、方法和装置可以用于标定由无人飞行器(UAV)搭载的一个或多个相机。所述一个或多个相机中的每个相机可以用于捕捉棋盘标定目标的多个图像，所述棋盘标定目标具有叠加在棋盘的方格上的至少三个圆形参考标记。所述参考标记在图像中可以是可唯一识别的，以便促进确定与在图像数据中捕捉的角点相对应的棋盘的角点的世界坐标。这样的对应关系信息可以用于确定UAV相机的标定参数。可以基于所述标定参数来处理由相机捕捉的后续图像数据，以便例如生成周围环境和/或所述环境内的物体的三维(3D)深度图。
本文所描述的技术可以用于标定一个或多个成像装置(例如，相机、扫描仪等)。成像装置(在本文中亦可称为“视觉传感器”)可用于检测电磁辐射(例如，可见光、红外光和/或紫外光)并基于检测到的电磁辐射而生成图像数据。例如，成像装置可以包括电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器，所述传感器响应于光的波长而生成电信号。可以处理所得电信号以产生图像数据。由成像装置生成的图像数据可以包括一个或多个图像，所述图像可以是静态图像(例如，照片)、动态图像(例如，视频)或其合适的组合。所述图像数据可以是多色的(例如，RGB、CMYK、HSV)或单色的(例如，灰度、黑白、棕黑)。
本公开的成像装置可以由各种类型的物体搭载，诸如由本文所描述的一个或多个可移动物体搭载。成像装置可以位于所述物体的任何合适的部分，诸如在所述物体的上方、下方、一个或多个侧面上或内部。一些成像装置可以机械地耦合至所述物体，以使得所述物体的空间布局和/或运动对应于成像装置的空间布局和/或运动。成像装置可以经由刚性耦合而耦合至物体，以使得成像装置不会相对于其所附接的物体的部分而移动。或者，成像装置与物体之间的耦合可以允许成像装置相对于物体移动。所述耦合可以是永久耦合或者非永久(例如，可拆卸)耦合。合适的耦合方法可以包括粘合剂、粘结、焊接和/或紧固件(例如，螺钉、钉、销等)。可选地，成像装置可以与物体的一部分一体形成。此外，成像装置可以电耦合至物体的一部分(例如，处理单元、控制系统、数据存储)，以便使得由成像装置收集的数据能够用于所述物体的各种功能(例如，导航、控制、推进、与用户或其他装置通信等)，诸如本文所讨论的实施方式。
在一些实施方式中，成像装置由UAV搭载。例如，UAV可以是小型UAV(例如，不超过10kg重，具有不超过1.5m的最大尺寸)。UAV可以是旋翼飞行器，诸如由多个螺旋桨推进以在空中移动的多旋翼飞行器(例如，四轴飞行器)。本文所描述的UAV可以完全自主地(例如，由诸如机载控制器等合适的计算系统)、半自主地或手动地(例如，由人类用户)操作。UAV可以接收来自合适的实体(例如，人类用户或自主控制系统)的命令，并通过执行一个或多个动作来响应这样的命令。例如，可以控制UAV从地面起飞、在空中移动(例如，以多达三个平移自由度和多达三个旋转自由度移动)、移向目标位置或一系列目标位置、在空中悬停、降落在地面上等。又例如，可以控制UAV以指定的速度和/或加速度(例如，以多达三个平移自由度和多达三个旋转自由度)或沿着指定的移动路径而移动。此外，所述命令可以用于控制一个或多个UAV组件，诸如本文所述的组件(例如，传感器、致动器、推进单元、搭载物等)。
在一些实施方式中，成像装置可以是相机。虽然本文提供的某些实施方式是在相机的情景下描述的，但应当理解的是，本公开可以适用于任何合适的成像装置，并且本文关于相机的任何描述亦可适用于其他类型的成像装置。相机可以用于生成3D场景(例如，环境、一个或多个物体等)的2D图像。由相机生成的图像可以表示3D场景在2D图像平面上的投影。因此，2D图像中的每个点对应于所述场景中的3D空间坐标。
图1显示了根据实施方式的单相机(单目相机)的模型100。模型100包括世界坐标系102、相机坐标系104、图像平面坐标系106和像素坐标系108。世界坐标系102在本文中亦可称为“全局坐标系”，其表示由相机捕捉的场景和/或相机的操作环境的参考系。世界坐标系102具有坐标原点Ow和3D坐标轴Xw、Yw、Zw。如下文进一步详述，在一些实施方式中，可以关于场景中感兴趣的物体(诸如标定目标)来定义世界坐标系102。相机坐标系104表示相机的参考系，并且具有坐标原点Oc和3D坐标轴Xc、Yc、Zc。轴Zc可对应于相机的光轴，其中向外的方向为正方向。
图像平面坐标系106和像素坐标系108(在本文中亦可称为“图像坐标系”)表示由相机生成的图像的参考系。图像平面坐标系具有坐标原点Op和2D坐标轴Xp、Yp。图像内的像素的位置可以用像素坐标系108来表示，所述像素坐标系108具有位于图像的左上角的坐标原点以及2D坐标轴u、v。u轴可以平行于图像的行，其中向右的方向为正方向，而v 轴可以平行于图像的列，其中向下的方向为正方向。在一些实施方式中，相机坐标系104与图像平面坐标系106和像素坐标系108对准。例如，相机坐标系104的Xc轴可以平行于图像的行，并且在与像素坐标系108的u轴相同的方向上对准。类似地，相机坐标系104的Yc轴可以平行于图像的列，并且在与像素坐标系108的v轴相同的方向上对准。
虽然图1描绘了单一成像装置，但应当明白的是，本文所描述的实施方式可以适用于任何合适数目的成像装置，诸如一个、两个、三个、四个、五个或更多个成像装置。成像装置可以全都是相同的类型。或者，至少一些成像装置可以是不同的类型。成像装置可以根据需要而相对于彼此定位和定向。例如，本文提供的各个实施方式利用两个成像装置(双目视觉)，例如，左相机和右相机。成像装置可以处于不同的位置和方向，以使得每个成像装置具有不同的视野。成像装置的视野可以重叠。在一些实施方式中，所述成像装置各自提供来自不同位置和/或方向的同一场景的图像数据。成像装置可用于同时或大致同时捕捉场景的图像。或者，一些成像装置可用于在不同于其他成像装置的时间捕捉图像。
在一些实施方式中，适合使用由一个或多个成像装置收集的场景的2D图像数据获取所述场景的3D信息。例如，各种应用可以涉及基于场景的多个2D图像(例如，获取于多个不同位置和方向的图像)来生成所述场景的3D重建(例如，诸如点云、占据网格、深度图、视差图等3D模型)。如下文更详细地描述，在使用多个成像装置的实施方式中，可以基于由处于不同位置和/或方向的成像装置获取的图像数据之间的视差而生成3D重建。备选地或组合地，还可以从由单一成像装置获取的图像数据恢复3D信息，例如，使用来自运动的结构(structure-from-motion)或其他合适的技术来恢复3D信息。所得3D重建可以用于确定关于场景的各种类型的定量信息，例如，物体的空间位置(例如，距相机、其他物体的距离)、物体尺寸(例如，长度、宽度、高度)。这样的信息可以用于多种应用，例如，计算机视觉、物体识别、跟踪、姿态估计、自我运动确定等。例如，在UAV操作的情景下，场景重建可有助于诸如导航、避障、绘图、目标跟踪等功能。
在一些实施方式中，本文所描述的场景重建技术涉及确定场景的图像中的图像坐标与实际场景的世界坐标(亦称为全局坐标)之间的对应关系。通过确定各种坐标系(例如，世界坐标系、相机坐标系和图像坐标系)之间的转换或映射可以识别这样的对应关系。基于场景、成像装置以及图像平面的模型(例如，针孔相机模型)，可以确定定义这些映射的数学关系。
图2显示了根据实施方式从世界坐标系到图像坐标系的映射的模型200。映射模型200描绘了世界坐标系、相机坐标系和图像坐标系之间的关系。映射模型200可以用于描述成像过程(例如，将场景中物体的世界坐标投影到图像中的图像坐标)和重建过程(例如，使用图像中的图像坐标来恢复场景中物体的世界坐标)。
根据以下方程，可以将世界坐标系与相机坐标系相关联：
其中，R是旋转矩阵而T是平移矢量，其分别指示如何相对于世界坐标系定向和定位相机坐标系。可以缩放相机坐标，以便获取对应的图像平面坐标：
在相机具有光学镜头畸变(例如，径向畸变、偏心畸变、薄棱镜畸变)的实施方式中，可以使用本领域技术人员已知的技术，从图像平面坐标确定具有畸变Xd、Yd的图像平面坐标，诸如从以下畸变方程来确定：
其中，并且k1、k2、k3、p1、p2、s1、s2是畸变参数(k1、k2、k3是径向畸变参数，p1、p2是偏心畸变参数，而s1、s2是薄棱镜畸变参数)。在一些实施方式中，仅计算所述参数中的四个参数(例如，k1、k2、p1、p2)。
像素坐标可以使用以下关系式来获得：
其中，M是相机固有矩阵，u0、v0是主点(光轴与图像平面相交之处，亦称为图像中心)的坐标，并且其中f是相机的焦距，并且ax、ay分别是水平像素尺寸和垂直像素尺寸。
图3显示了根据实施方式从世界坐标系到图像坐标系的映射的模型250。世界坐标系、相机坐标系、无畸变图像平面坐标系、畸变图像平面坐标系以及像素坐标系之间的关系可类似于本文关于图2的映射模型200所描述的关系。类似于映射模型200，映射模型250可以用于描述成像过程(例如，将世界坐标(XW，YW，ZW)投影到像素坐标(u，v))。可以通过将图像消畸变以便获取无畸变的像素坐标(u’，v’)并继而使用所述无畸变的像素坐标重建世界坐标，来从所述像素坐标恢复物体的世界坐标。
确定或估计与本文所描述的映射相关联的成像装置的一个或多个参数可有利于从图像数据准确地执行场景重建。这些参数可以包括外部参数(指示如何相对于标定目标定位和定向每个成像装置的旋转矩阵R和平移矢量T)和固有参数(包括关于焦距、主点位置、像素大小的信息的固有矩阵M；光学畸变参数k1、k2、k3、p1、p2、s1、s2)。如下文进一步详述，在使用多个成像装置的实施方式中，外部参数还可以包括指示成像装置相对于彼此是如何定位和定向的、用于在成像装置的相机坐标系之间进行转换的旋转矩阵和平移矢量。获取一个或多个成像装置的外部参数和/或固有参数的过程在本文中亦可称为“相机标定”。
当由诸如UAV等可移动物体安装或搭载成像装置时，相机标定可以是特别有用的。这样的可移动物体的操作可能导致成像装置的位置和/或方向的改变，例如，由于振动和其他运动而导致所述改变，这可能影响标定参数。可在可移动物体正在操作时(在线标定)和/或可移动物体不在操作时(离线标定)对可移动物体所搭载的成像装置进行标定。例如，可以在UAV关闭和/或不在飞行中时执行对由所述UAV搭载的相机的离线标定，以及可以在所述UAV开启和/或在飞行中时执行在线标定。
相机标定可以按多种方式来执行。在一些实施方式中，标定过程涉及获取具有多个特征的场景的图像，继而识别图像中的特征的图像坐标与场景中的对应特征的世界坐标之间的对应关系。继而可以基于识别出的对应关系以及世界坐标系与图像坐标系之间的映射(例如，基于本文所描述的映射模型而定义的映射)来估计标定参数。例如，单目标定(确定单个相机的参数)可以涉及基于针孔相机模型生成对标定参数(例如，R、T、M)的估计，继而估计畸变的影响(例如，假定畸变参数的初始值为0)，继而执行参数优化(例如，使用Levenberg-Marquardt算法)以便获取最优相机标定参数。
在一些实施方式中，使用标定目标来促进对世界-图像坐标对应关系的确定。标定目标可以是具有明确的特征布置的任何结构。例如，标定目标可以是1D的(例如，直线形状、弯曲形状或曲线形状)、2D的(例如，平面或其他平坦表面)或3D的(例如，立方体、球体、棱柱、两个或更多个相交平面)。所述特征可以设计为能够轻易地从图像数据中识别(例如，使用图像识别算法、特征提取算法或其他计算机视觉技术)，并且可清晰地与非特征(例如，标定目标的其他部分、场景中的其他物体、图像噪声)区分开。在一些实施方式中，所述特征是标定目标上的点(例如，角点、顶点、交点)，在本文中亦称为“特征点”。备选地或组合地，所述特征可以是线(例如，直线、弯曲的或曲线的)、边缘(例如，两个不同颜色的区域之间)、几何形状(例如，圆形、三角形、四边形等)、符号或字符(例如，字母数字字符)或者其合适的组合。此外，每个特征的特性(例如，大小、形状、颜色)可以根据需要而改变。
标定目标可以包括任何合适数目和组合的特征。例如，标定目标可以包括至少10个、20个、30个、40个、50个、60个、70个、80个、90个或100个特征。较多特征的使用可以提高标定过程的准确性。在一些实施方式中，标定目标可以包括仅一种类型的特征，而在其他实施方式中，所述目标可以包括不止一种类型的特征，诸如至少两种、三种、四种、五种或更多种不同类型的特征。所述特征可以处于标定目标上的限定位置处，以使得每个特征相对于所述标定目标的位置和/或方向是已知的。在一些实施方式中，所述特征以具有预定尺寸(例如，长度、宽度、高度、特征之间间距)的重复图案(例如，具有多个行和列的网格)布置在标定目标上。所述特征可以是静态特征，以使得其在所述标定目标上的位置和/或方向不改变。或者，所述特征可以是具有变化的位置和/或方向的动态特征。本文所描述的特征可以与标定目标一体形成(例如，印刷或涂刷到所述目标的一部分上)或者单独提供并耦合至所述目标(例如，附接或固定于所述目标的一部分)。
在一些实施方式中，标定过程涉及使用待标定的每个成像装置捕捉标定目标的一组图像。每组图像数据可以包括标定目标的至少5个、10个、15个、20个、25个、30个、35个、40个、45个、50个或更多个图像。所述图像可以描绘在多个不同位置和/或方向上的标定目标。可以处理每个图像以便识别存在于图像中的特征并确定其图像坐标。可以确定图像数据中的特征的图像坐标与标定目标上的特征的世界坐标之间的对应关系，并于随后将其用于求解标定参数(例如，基于本文所描述的数学关系)。可选地，在使用多个成像装置来获取多组图像数据的实施方式中，还可以确定图像数据组中特征的图像坐标之间的对应关系，并将其用于估计多个成像装置的参数(例如，成像装置相对于彼此的位置和/或方向)。
图4显示了根据实施方式适合在成像装置标定中使用的标定目标300。目标300包括平面棋盘图案，所述平面棋盘图案具有黑色方格302和白色方格304相间的重复图案。方格302、方格304的每个方格可具有相同大小，并且布置在具有多个行和列的网格中。在一些实施方式中，方格的角点(例如，如圆圈305所指示)充当标定目标300的特征点，用于执行成像装置的标定。使用机器视觉方法，可以相对容易地将角点与图像数据的其他部分区别开。备选地或组合地，棋盘的其他部分可以充当用于标定的目标300的特征(例如，黑色方格302、白色方格304等)。可使用各种特征提取技术以及已确定的每个特征的图像坐标，从标定目标300的图像数据中识别目标300的特征。对于标定目标300的几何结构的知识可以促进所述过程。例如，在棋盘方格302、棋盘方格304的角点充当标定目标300的特征点的实施方式中，方格的大小限定相邻特征点之间的间距。因此，可以基于每个角点在棋盘内的行位置和列位置来确定所述角点的图像坐标。
一旦已经确定目标300的图像数据中的特征的图像坐标，可以继而确定目标300上的特征的图像坐标与世界坐标之间的对应关系。可以相对于目标300而定义世界坐标系，以使得每个特征的世界坐标对应于目标300上的特征的位置。例如，世界坐标系的原点Ow可以定位在棋盘的四个外角(306a、306b、306c、306d)中的一个外角处，而棋盘的平面沿着世界坐标系的XwYw平面铺开。因此，在角点充当用于标定的特征的实施方式中，目标300上的每个角点的Zw世界坐标为0，并且每个角点的Xw,Yw世界坐标可以基于其在棋盘上的2D位置(例如，行位置和列位置)而确定。
图5显示了根据实施方式类似于目标300的棋盘标定目标的第一和第二图像350、352。在图5的实施方式中，标定目标是显示在屏幕上的图像。然而，应当理解的是，本文所描述的标定目标还可以按其他的格式提供，诸如打印在材料(例如，一张纸)上。标定目标的第一图像350和第二图像352可以分别由双目或立体视觉成像系统的左相机和右相机来获取，作为用于执行相机标定的一组标定图像数据的一部分。值得注意的是，第一和第二图像350、352两者全都捕捉整个标定目标(例如，棋盘的四个外角、棋盘的四个外缘、所有黑色方格和白色方格)，以使得标定目标的所有特征在图像350、图像352两者内都是可见的。因此，可以识别第一图像350中的特征(例如，角点)的图像坐标、第二图像352中的对应特征的图像坐标以及标定目标中的特征的世界坐标之间的对应关系并使用所述对应关系来确定左相机和右相机的标定参数。
在一些实施方式中，如果由每个相机获取的标定图像数据未捕捉整个标定目标，从而导致并非全部特征都在图像内可见，则可能难以确定或者甚至不能确定特征的图像-世界坐标对应关系，特别是在标定目标是从多个不同的相机位置和/或方向上成像的情况下尤为如此。例如，再次参考图5，如果第一和第二图像350、352中的至少一个图像未能捕捉整个棋盘标定目标(例如，遗漏了四个外角中的至少一个、四个外缘中的至少一个或其部分、黑色方格和白色方格中的至少一个或其部分)而使得仅棋盘角点的子集是可见的，则图像中的角点与目标上的角点之间的对应关系可能由于重复的棋盘图案而不明确。虽然在一些情况下可以通过减小标定目标的大小或者增加相机与标定目标之间的距离以便确保全部特征点都在每个相机的视野内来避免所述问题，但这些方法会降低标定的准确性。
本文所描述的各个实施方式提供了改进的标定目标，即使当图像数据没有捕捉整个标定目标和全部标定目标特征时，所述改进的标定目标仍允许对相机标定参数的确定。在一些实施方式中，这些标定目标包括一个或多个位于限定位置处的参考标记。即使图像数据描绘处于不同位置和/或方向上的标定目标，所述一个或多个参考标记仍可以各自在所述标定目标的图像数据中是可唯一识别的。因此，即使当图像数据中仅特征的子集可见时，仍然可以通过使用参考标记作为用于明确识别每个特征的空间参考，来确定标定目标的特征的图像-世界坐标对应关系。有利地，只要图像捕捉全部参考标记和至少一些标定特征，所述方法就允许所述图像用于相机标定，从而提高标定过程的灵活性和鲁棒性。这特别有益于利用多个相机的装置(例如，实现立体视觉感测系统的UAV)，因为可能相对较难布置相机以使得整个标定目标处于每个相机的视野内。
本文所描述的参考标记的特性可以根据需要而改变，所述特性包括形状、大小和/或颜色。示例性参考标记包括几何形状(例如，点、线、圆形、三角形、四边形)、符号或字符(例如，字母数字字符)或者其合适的组合。本文提供的标定目标可以包括任何合适数目的参考标记，诸如至少一个、两个、三个、四个、五个或更多个参考标记。在一些实施方式中，标定目标仅包括三个参考标记。在一些实施方式中，本文所描述的标定目标仅包括单一类型的参考标记。或者，标定目标可以包括多种不同类型的参考标记，诸如至少两种、三种、四种、五种或更多种不同类型。
可以选择参考标记的特性以有助于例如使用图像识别算法、特征提取算法或其他计算机视觉技术从图像数据识别参考标记。可选地，参考标记可以在视觉上不同于所述特征，以有助于对参考标记和特征的准确识别。例如，参考标记可以具有与特征不同的形状、大小和/或颜色。又例如，特征可以布置成重复图案(例如，在1D线或2D表面上布置)，而参考标记不重复。
参考标记可以各自定位在标定目标上的不同位置。在一些实施方式中，相对于标定目标的特征，参考标记处于限定的布置中，以使得每个特征与至少一个参考标记之间的空间关系(例如，相对位置、方向)是已知的。例如，参考标记可以覆盖或穿插有标定目标的一个或多个特征。又例如，参考标记可以定位在靠近或邻近于一个或多个特征之处。参考标记可以定位在标定目标上，以使得所有参考标记和至少一些特征在标定目标的图像中同时可见。
可以使用各种技术来使每个参考标记在标定目标的图像数据中可唯一识别，即使图像数据表示标定目标的旋转和/或平移后的视图亦如此。例如，每个参考标记可以具有不同的大小、形状和/或颜色，或者可以包括使得其能够在视觉上区别于其他标记的唯一的特性或标记。备选地或组合地，可以按以下方式布置参考标记：使得每个参考标记能够基于其相对定位而被唯一地识别。在这样的实施方式中，参考标记可以是类似的或相同的(例如，关于形状、大小、颜色或其他特性)。例如，可以定位每个参考标记以便形成不规则多边形(例如，等腰三角形、不等边三角形)的顶点。不规则多边形的至少一些角可以具有不同于其他角的大小。类似地，不规则多边形的至少一些边可以具有不同于其他边的长度。可选地，所有的角可以具有不同的大小，并且所有的边可以具有不同的长度。又例如，在于平面中布置标定目标的特征(例如，布置成特征的2D重复图案，诸如网格等)的实施方式中，参考标记可以形成在所述平面内旋转对称的形状。
图6和图7显示了根据实施方式基于相对定位是可唯一识别的参考标记。图6显示了在本文中被描绘成黑色圆形的多个参考标记A、B、C的第一视图400。参考标记A、B、C可以相对于彼此布置，以便形成不等边三角形的顶点。图7显示了第二视图410，其表示第一视图400的旋转和平移。由于三角形的不对称性质，第二视图410中的参考标记A’、B’和C’可各自被唯一识别成分别对应于第一视图400中的参考标记A、B、C。在一些实施方式中，基于参考标记相对于第一和第二视图400、410中的三角形的特征(例如，边、角)的定位，来执行对于对应参考标记的识别。例如，在图6和图7的实施方式中，标记B和标记B’都定位成与三角形的最长边相对，而标记C和标记C’都定位成与三角形的最短边相对。又例如，标记B和标记B’都定位于三角形的最大内角的顶点处，而标记C和C’都定位于三角形的最小内角的顶点处。虽然图6和图7中的参考标记被描绘为形成三角形，但应当理解的是，参考标记可以布置为形成其他不规则多边形(例如，具有三个、四个、五个、六个或更多个顶点的不规则多边形)。此方法可以使得无论从哪个位置和/或方向查看参考标记，每个标记都是可唯一识别的。
图8显示了根据实施方式具有参考标记502a、502b、502c的标定目标500。类似于标定目标300，所述标定目标500包括棋盘，所述棋盘具有交替的黑色方格和白色方格的重复图案。在图8的实施方式中，参考标记502a-502c是相同的黑色圆形，每个黑色圆形定位于棋盘的不同白色方格内。然而，应当理解的是，在备选实施方式中，参考标记502a-502c中的至少一些参考标记可以是定位于黑色方格内的白色圆形。参考标记502a-502c处于标定目标500上相对于棋盘的已知位置处，例如，每个标记的行和列位置是已知的。每个参考标记502a-502c可以位于棋盘的不同部分上(例如，不同的行位置和/或列位置)。在一些实施方式中，参考标记502a-502c布置在目标500上，以便形成不规则三角形的顶点。因此，如果目标500的图像包括所有三个参考标记502a-502c，则即使目标500仅有一些部分是可见的(例如，图像中遗漏了棋盘的四个外角、四个外缘、黑色方格和/或白色方格中的至少一个)，每个参考标记502a-502c仍然是可唯一识别的。一旦已经在图像数据中识别出每个参考标记502a-502c，则可以确定图像中的参考标记与标定目标500上的参考标记之间的空间关系(例如，旋转、变换)。这样的空间关系可以继而用于确定图像数据中所描绘的每个特征(例如，角点)的世界坐标。
图9显示了根据实施方式使用具有一个或多个参考标记的标定目标来标定一个或多个成像装置的方法600。方法600的至少一些步骤可以由合适的计算系统或装置，诸如由一个或多个处理器来实践。在成像装置由可移动物体搭载的实施方式中，可以在可移动物体不操作时执行方法600的一些或所有步骤(离线标定)。或者，可以在可移动物体正在操作时执行一些或所有步骤(在线标定)。
在步骤610中，从一个或多个成像装置(例如，一个或多个相机)中的每个装置接收标定目标的多个图像。如前文所述，标定目标可以包括多个特征以及一个或多个参考标记。所述多个特征可以布置成任何合适的构型，例如，诸如网格等重复图案。如上文所讨论的，所述一个或多个参考标记可以设计成在图像中可唯一识别。由每个成像装置提供的所述多个图像可以包括在相对于所述标定目标的多个不同位置和/或方向上获取的图像。每个图像可以捕捉所有参考标记以及标定目标的多个特征中的至少一些特征。在一些实施方式中，成像装置生成的图像中的至少一个图像捕捉少于标定目标的所有多个特征。
在步骤620中，识别由每个成像装置提供的多个图像的每个图像中的特征以及一个或多个参考标记。例如，可以使用各种计算机视觉算法来处理每个图像，以便识别图像中可见的参考标记和特征。在一些实施方式中，为了促进识别，可以基于关于参考标记和/或特征的已知特性(例如，形状、大小、颜色、相对定位)的信息来执行所述算法。一旦已经识别所述参考标记和/或特征，即可为其分配图像坐标，以表示其在图像内的像素位置。例如，圆形参考标记的图像坐标可以是所述圆的中心的坐标。可选地，为了提高识别准确性，可以在识别过程之前校正和/或预处理图像，例如，通过降噪、丢弃被认为不适于分析的图像等来进行校正和/或预处理。
图10到图13显示了根据实施方式对图像中的标定目标的特征和参考标记的识别。图10显示了捕捉具有三个黑色圆形参考标记的棋盘标定目标的一部分的图像，类似于目标500。值得注意的是，所述图像遗漏了标定目标的某些部分，例如，棋盘的左上角和左下角以及棋盘的左缘，从而只有棋盘的一些角点是可见的。然而，所有三个参考标记和靠近所述参考标记的角点是可见的。由于所述三个参考标记布置于标定目标上以便形成不规则多边形，因此尽管在图像中未捕捉标定目标的一些区域，所述参考标记仍然可各自被唯一地识别。图11显示了在用以识别棋盘方格的角点的处理之后的图10的图像。如前文所述，角点可以充当用于相机标定的特征。在一些实施方式中，如果角点识别算法失败(例如，没有识别出角点)，则所述图像被认为是无效的。图12显示了在用以识别参考标记的处理之后的图10的图像。可以使用诸如霍夫变换(Hough transform)等合适的检测方法来识别圆形参考标记。如果所述算法未能识别出任何参考标记，则所述图像可被认为是无效的。
在一些实施方式中，参考标记检测算法可能产生假阳性，例如，识别并非参考标记的图像区域。例如，图12的图像包括若干个错误结果，其中错误地识别出并非参考标记的图像部分。例如，当检测算法依赖于形状识别(例如，对圆形的识别)来识别参考标记并且相似形状的物体在图像中可见时，可能发生这样的情况。图13显示了对图12的结果进行筛选以减少假阳性的发生率。在参考标记穿插或覆盖有标定目标的特征的实施方式中，可以对图像数据进行筛选以将参考标记识别结果限制于那些在所识别的特征的凸包内的参考标记。在图13中，已经移除了位于被识别的角点的凸包之外的假阳性。基于对参考标记的相对定位的了解，可以从其余结果确定参考标记。在一些实施方式中，可以确定每个结果的位置信息(例如，行和列信息和/或者图像坐标)。继而可以分析所述组位置信息以识别彼此具有正确的空间关系的参考标记。例如，再次参考图13，由于已知位于目标上的参考标记形成三角形的顶点并且三角形的性质(例如，边长、角)是预定的，因此可以搜索结果以便识别将会满足这样的几何约束的组。如果没有找到这样的结果，或者如果找到不止一组结果，则所述图像可被认为是无效的。
在步骤630中，确定在多个图像的每个图像中的一个或多个参考标记与标定目标上的一个或多个参考标记之间的空间关系。如前文所述，由于参考标记被配置成可唯一识别的，因此通过对比图像数据中的参考标记的位置如何不同于实际标定目标上的参考标记的已知位置来确定所述空间关系(例如，平移、旋转、翻转)。这样的差异可能基于成像装置在图像捕捉期间相对于标定目标的位置和/或方向而出现。例如，在一个或多个参考标记在图像数据中形成不规则多边形的顶点的实施方式中，可以通过识别图像数据中的不规则多边形的顶点如何对应于实际目标上的顶点的已知位置来确定空间关系。在使用棋盘标定目标并且参考标记定位于所述棋盘的某些方格中的实施方式中，可以通过识别图像中的每个参考标记的位置信息(例如，行位置和列位置)以及将所述信息与实际棋盘上的已知位置信息(例如，行位置和列位置)相对比来确定空间关系。
在步骤640中，基于在步骤630中确定的空间关系来制定在图像数据中的特征的图像坐标与标定目标上的对应特征的全局坐标(世界坐标)之间的对应关系。例如，可以使用已确定的空间关系来确定实际标定目标上的每个特征点的位置。每个特征可以继而被分配一组世界坐标，所述组世界坐标指示特征点相对于世界坐标系的位置。因此，由于每个特征的图像坐标和世界坐标是已知的，所以可以制定图像坐标与世界坐标之间的对应关系或映射。
在标定多个成像装置的实施方式(其中每个成像装置提供相应的一组图像)中，步骤640可以涉及识别存在于相应的图像组中的每个图像组中的特征，并且继而仅为这些特征确定世界坐标。例如，对于使用棋盘的角点的双目标定，步骤640可以涉及识别在左相机图像和右相机图像中都可见的角点并确定那些公共角点的世界坐标。由于左图像和右图像都描绘了如上文所讨论的标定目标的所有参考标记，因此所述左图像和右图像应当全都至少包括靠近参考标记的特征。在备选实施方式中，通过在确定哪些特征在不同的图像组之间是公共的之前确定在由多个成像装置产生的图像中可见的所有特征的世界坐标，可以反转这个过程。
在步骤650中，基于步骤640中制定的对应关系来确定一个或多个成像装置的标定参数。如前文所述，所述标定参数可以包括与下列各项有关的参数：相机固有矩阵(例如，焦距、主点位置、像素大小)、相机坐标系与世界坐标系之间的旋转矩阵和平移矢量和/或者一个或多个成像装置中的每个成像装置的光学畸变(例如，径向畸变、偏心畸变、薄棱镜畸变)。如上文关于步骤640所述，一旦确定了特征的图像-世界坐标对应关系，即可将这样的对应关系信息用于求解各种标定参数。
可以使用各种方法来求解标定参数。在一些实施方式中，首先获取对标定参数的初始估计。例如，可以使用映射模型(例如，映射模型200或映射模型250)来获取用于单目相机标定的世界坐标系与图像坐标系之间的如下所示的映射方程，其不考虑畸变效应：
其中，R＝[r1 r2 r3](3x3矩阵)，T是3x1矢量，并且λ＝Zc(点从世界坐标系变换至相机坐标系之后的Z-轴分量)。
在标定目标是平面(例如，平面棋盘)的实施方式中，可以假定目标平面位于世界坐标系的XwYw平面上，使得目标上的每个特征的Zw坐标为0。因此，上述方程可以改写为：
继而可以将单应性矩阵H定义为H＝[h1 h2 h3]＝sM[r1 r2 T]，其中s＝1/λ。单应性矩阵方程中的λ可以对应于平均值而不是对应于单一的点。
由于特征的世界坐标已知，例如，如步骤640中所确定的，因此单应性矩阵H可以求解。基于单应性矩阵的定义，可以获得以下方程：
由于r1和r2是旋转矩阵中的矢量，因此可以获得以下方程：
定义可以获得以下方程：
根据方程(8)，可以获得以下方程：
在方程(10)中，V为2x6矩阵，并且是由单应性矩阵H变换而得。为了求解b，使用至少三个不同的H来约束矩阵B。因此，可以用来自不同位置和/或方向上的标定目标的至少三个不同图像的数据来执行参数估计。
如果可以求解矩阵B，则也可以求解矩阵M。随后，可以根据方程(7)来求解R和T。基于矩阵M的不同形式，闭合解可以如下：
如果不考虑“切线效应”，并且如果则
如果不考虑“切线效应”，并且如果则
在获得初始解之后，可以优化标定参数，例如，通过Levenberg-Marquardt算法来进行优化。在一些实施方式中，最优解使以下目标函数最小化：
在标定多个成像装置(例如，两个或更多个相机)的实施方式中，步骤650还可以包括求解每个相机坐标系之间的旋转矩阵R和平移矢量T。这些外部参数可以基于本文所描述的单目标定方法来获得。例如，在双目标定(两个成像装置的标定)中，对于由左相机和右相机观察到的空间点，左相机坐标系中的坐标Pl和右相机坐标系中的坐标Pr可以满足以下关系：
Pl＝RPr+T， (14)
其中，R是从右相机坐标系到左相机坐标系的旋转矩阵，而T是从左相机坐标系原点Ol到右相机坐标系原点Or的平移矢量。
图14显示了根据实施方式在双目相机标定中坐标系之间的空间关系的模型800。世界坐标系(XWYWZW，其中原点为OW)通过旋转矩阵Rl和平移矢量Tl而与左相机坐标系(XlYlZl，其中原点为Ol)相关，并通过旋转矩阵Rr和平移矢量Tr而与右相机坐标系(XrrZr，其中原点为Or)相关。这些旋转矩阵和平移矢量可以使用前文所述的方法来获得。继而可以由以下关系来确定用于在左相机坐标系与右相机坐标系之间进行转换的旋转矩阵R和平移矢量T：
一旦已经根据本文所描述的方法而确定了标定参数，则可以使用所述参数来处理由成像装置获取的图像数据，以便使得所述图像数据适合于各种下游应用，例如，用于生成地图、物体识别、导航等的3D空间信息的恢复。例如，可以基于确定的标定参数来处理图像数据，以便校正与所述一个或多个成像装置相关联的光学畸变的影响，这在本文中亦可称为“消畸变”。又例如，在使用两个或更多个成像装置来捕捉相应的图像数据组的实施方式中，可以使用标定参数来执行修正，例如，使得图像数据组能够用于立体视觉。
图15显示了根据实施方式在畸变图像坐标与无畸变图像坐标之间的映射的模型900。由于镜头的光学性质，在由成像装置捕捉的图像中可能发生畸变。图像消畸变可以用于去除由成像装置捕捉的图像(例如，具有与畸变图像平面坐标(Xd,Yd)相对应的畸变图像或像素坐标(u1，v1)的图像)中畸变的影响，以便根据理想的针孔相机模型来获得无畸变的图像(例如，具有与无畸变图像平面坐标(Xp,Yp)相对应的无畸变图像或像素坐标(u2，v2)的图像)。因此，图像消畸变可以用于将畸变图像变换成无畸变图像。图像消畸变过程可以基于成像装置的先前确定的固有参数(例如，畸变参数、相机固有矩阵M)来执行。这样的参数可以使用本文呈现的方法来确定。
可以使用各种方法来执行图像消畸变。例如，可以根据以下方程，从无畸变像素坐标(u2，v2)确定无畸变图像平面坐标(Xp,Yp)：
基于数学畸变模型(例如，由本文先前呈现的畸变方程(3)所描述的模型)和先前确定的畸变参数值，可以从无畸变图像平面坐标(Xp,Yp)确定畸变图像平面坐标(Xd,Yd)。畸变图像的像素坐标(u1，v1)可以继而通过以下方程获得：
无畸变像素坐标(u2，v2)的灰阶值可以通过内插畸变像素坐标(u1，v1) 而获得。所述内插可以使用任何合适的方法来执行，诸如使用最近邻内插或双线性内插。因此，可以获得无畸变图像。
类似于本文所描述的图像消畸变过程，图像修正(亦称为立体修正)可以涉及图像到图像变换过程。然而，图像修正还涉及相机坐标系水平上的空间变换。图像修正可以用于处理由多个成像装置捕捉的图像数据，以有助于实现立体视觉算法，例如，生成深度图、视差图和场景的其他3D表示。例如，在一些实施方式中，立体视觉算法可以涉及确定由不同相机(例如，左相机和右相机)捕捉的图像之间的点对应。图像修正可以用于将每个相机所获取的图像数据投影到公共平面中，从而简化搜索图像中相匹配的图像点的过程。
图16和图17显示了根据实施方式用于双目相机系统的图像修正过程。图16显示了在用于立体视觉的左相机坐标系(相机1)与右相机坐标系(相机2)之间的映射的模型1000。图像修正过程可以涉及确定旋转矩阵Rl、Rr，以及用于修正左图像数据和右图像数据的Rrect。在一些实施方式中，配置这些矩阵来最大化修正之后的左图像和右图像的重叠部分并且最小化图像变形的量。此外，如果在两个修正图像中都使用同一矩阵M，则修正后的图像可以具有相同的比例，从而有助于计算景深。
图17显示了在未修正的相机坐标系与已修正的相机坐标系之间的映射的模型1050。在一些实施方式中，旋转矩阵Rl和Rr可以满足方程：
其中，R是从右相机坐标系(Xr,Yr,Zr)到左相机坐标系(Xl,Yl,Zl)的旋转矩阵。Rl和Rr分别是从左相机坐标系到第一临时坐标系(Xl_temp,Yl_temp,Zl_temp)的旋转矩阵和从右相机坐标系到第二临时坐标系(Xr_temp,Yr_temp,Zr_temp)的旋转矩阵。在一些实施方式中，可被设定成等于Rr，以使得旋转矩阵R的旋转角度被均分。可以分别根据Rl和Rr来变换左相机坐标系和右相机坐标系，以使得这两个相机坐标系的空间姿态在转换之后是相同的。然而，在通过根据Rl变换左相机坐标系而获得的坐标系中可以存在平移矢量Ttemp＝RlT。
可以通过旋转矩阵Rrect来同时变换所述两个坐标系，以使得这两个坐标系的XOY平面是共面的，并且两者的X-轴均与基线相平行。矩阵Rrect可以是主观确定的。例如，Rrect可以表示为：
其中，e3＝e1×e2，Ttemp＝RlT(3x1矩阵)，Rrect_x定义为Ttemp的第一行的第一列，并且Ttemp_y定义为Ttemp的第二行的第一列。
在一些实施方式中，在相机坐标系旋转之后，仅存在与X-轴相平行并在两个坐标系之间的平移矢量Trect＝RrectRlT。可选地，可以用矩阵M1来取代矩阵M(见图10)。
在确定旋转矩阵Rl、Rr和Rrect以及映射矩阵M之后，可以与上述单一图像消畸变过程类似地执行图像修正过程。图像修正可以单独地在由每一单个成像装置获取的每组图像上执行。例如，再次参考图16，对于点(u3，v3)，可以执行反向映射以获得原始左相机坐标系下的坐标(Xpl,Ypl,Zpl)：
可以对此进行缩放以获得以下关系：
根据先前确定的畸变参数和畸变模型(例如，方程(3))可以获得畸变的坐标。继而可以获得原始左坐标系下的像素坐标(u1，v1)：
经修正的图像坐标(u3，v3)的灰阶值可以使用任何合适的内插算法来确定。这样的修正过程还可以用于获取右相机的经修正图像坐标。
图18显示了根据实施方式执行图像修正的处理之后的双目相机图像。所述图像包括由左相机获取的第一经修正图像1100和由右相机获取的第二经修正图像1102。值得注意的是，如由叠加的水平线1104所指示，第一图像1100中的物体与第二图像1102中的对应物体水平对准。
一旦已经通过如本文所述的消畸变和/或标定处理了从所述一个或多个图像获取的图像数据，则所述图像可以用于各种应用，诸如计算机视觉应用。在一些实施方式中，所述图像可以用于恢复成像场景的空间信息，诸如场景中的物体距成像装置的距离。例如，这样的空间信息可以用于生成环境的3D表示，诸如深度图、视差图、占据网格、点云等。
图19显示了根据实施方式由图像数据生成深度图的方法1200。方法1200的至少一些步骤可以由合适的计算系统或装置，诸如由一个或多个处理器来实践。
在步骤1210中，从一个或多个成像装置中的每个成像装置获取一个或多个图像。所述成像装置可被用于同时或基本上同时捕捉图像，以便生成对应的场景图像。成像装置可以相对于彼此而定位，以便从不同的位置和/或方向产生同一场景的图像。例如，配备有双目视觉系统的UAV可以具有左相机和右相机，所述左相机和右相机在同一时间但从两个不同的位置和/或方向来捕捉UAV周围环境的图像。因此，所述场景中的物体在由不同的成像装置获取的图像中将会具有不同的图像坐标。
在步骤1220中，基于所述一个或多个成像装置的标定参数，处理来自所述一个或多个成像装置中的每个成像装置的所述一个或多个图像，以便生成3D深度图。如前文所述，标定参数可以包括成像装置的固定参数和/或外部参数，并且可以使用本文所描述的任何标定方法(诸如方法600)来预先确定。标定方法可以是在线标定方法或离线标定方法。在一些实施方式中，使用来自所述一个或多个成像装置中的每个成像装置的标定目标的多个标定图像来确定标定参数。标定目标可以是本文所呈现的任何实施方式，例如，棋盘标定目标。例如，标定目标可以包括布置成重复图案的多个特征以及一个或多个参考标记。所述一个或多个参考标记可被设计成各自在由成像装置获取的每个标定图像中是可唯一识别的，例如，如上文关于图6、图7和图8的实施方式所讨论的那样。在一些实施方式中，至少一个标定图像捕捉少于标定目标的所有特征。如前文所讨论，本文所描述的方法可以用于从标定图像确定标定参数，如本文所描述的，即使当一些或所有图像未捕捉标定目标特征的所有特征时亦如此。
可以使用各种方法来处理图像，以便支持从图像生成3D深度图。例如，可以通过本文讨论的图像消畸变和/或修正技术来处理图像。经修正的图像可以继而用作向各种立体视觉算法中的输入以便恢复图像中的物体的深度信息，从而生成成像场景的深度图。例如，可以相互对比由不同成像装置获取的对应图像(例如，同时或基本上同时捕捉的图像)，以便确定图像之间的视差。基于视差信息以及关于成像装置之间的空间关系的信息，可以确定物体与成像装置之间的距离。例如，可以计算在来自不同成像装置的图像中的同一物体的图像坐标之间的视差。从成像装置到物体的距离可以用视差、成像装置的焦距以及成像装置之间的空间关系(例如，成像装置之间的距离)来表示。因此，一旦已经(例如，经由本文所描述的标定方法)确定了焦距和空间关系信息，则可以计算所述距离。
可以重复所述过程以便生成成像场景内的所有点的3D深度图。这样的深度图可以用于多种应用。例如，在成像装置由UAV搭载的实施方式中，基于来自成像装置的图像数据生成的深度图可以用于提供指示各个物体距UAV的距离的信息。所述信息可有助于UAV的各种功能，诸如避障、导航、目标跟踪等。
本文所描述的系统、装置和方法可以适用于多种可移动物体。如前文所述，本文对飞行器的任何描述均可适用于和用于任何可移动物体。本发明的可移动物体可被用于在任何合适的环境内移动，诸如在空中(例如，固定翼飞行器、旋翼飞行器或者既不具有固定翼也不具有旋翼的飞行器)、在水中(例如，船舶或潜艇)、在地面上(例如，机动车，诸如轿车、卡车、公交车、厢式货车、摩托车；可移动构造物或框架，诸如棒状物、钓鱼竿；或者火车)、在地下(例如，地铁)、在太空(例如，航天飞机、卫星或探测器)，或者这些环境的任何组合。可移动物体可以是载运工具，诸如本文其他各处所描述的载运工具。在一些实施方式中，可移动物体可以安装在诸如人类或动物等活体身上。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、豚类、啮齿类或昆虫类。
可移动物体可以能够在所述环境内关于六个自由度(例如，三个平移自由度和三个旋转自由度)而自由移动。或者，可移动物体的移动可能关于一个或多个自由度受到约束，诸如由预定路径、轨迹或朝向所约束。所述移动可以由诸如引擎或马达等任何合适的致动机构所致动。可移动物体的致动机构可以由任何合适的能源提供动力，所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。可移动物体可以如本文其他各处所述，经由推进系统而自推进。所述推进系统可以可选地依靠能源运行，所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。或者，可移动物体可以由生物所搭载。
在一些情况下，所述可移动物体可以是载运工具。合适的载运工具可以包括水上载运工具、飞行器、太空载运工具或地面载运工具。例如，飞行器可以是固定翼飞行器(例如，飞机、滑翔机)、旋翼飞行器(例如，直升机、旋翼机)、同时具有固定翼和旋翼的飞行器或者既无固定翼又无旋翼的飞行器(例如，飞艇、热气球)。载运工具可以是自推进式的，诸如在空中、在水上或水中、在太空中或者在地上或地下自推进。自推进式载运工具可以利用推进系统，诸如包括一个或多个引擎、马达、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或者其任何合适组合的推进系统。在一些情况下，推进系统可以用于使可移动物体能够从表面起飞、降落到表面上、保持其当前位置和/或朝向(例如，悬停)、改变朝向和/或改变位置。
可移动物体可以由用户遥控或者由可移动物体之内或之上的乘员在本地控制。在一些实施方式中，可移动物体是无人的可移动物体，诸如UAV。无人的可移动物体(诸如UAV)可以不具有搭乘所述可移动物体的乘员。可移动物体可以由人类或自主控制系统(例如，计算机控制系统)或者其任何合适的组合来控制。可移动物体可以是自主式或半自主式机器人，诸如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施方式中，可移动物体可以具有能容纳人类乘员身处载运工具之内或之上的大小和/或尺寸。或者，可移动物体可以具有比能够容纳人类乘员身处载运工具之内或之上的大小和/或尺寸更小的大小/或尺寸。可移动物体可以具有适合于由人类搬运或搭载的大小和/或尺寸。或者，可移动物体可以大于适合由人类搬运或搭载的大小和/或尺寸。在一些情况下，可移动物体可以具有的最大尺寸(例如，长度、宽度、高度、直径、对角线)小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。所述最大尺寸可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相对的旋翼的轴之间的距离可以小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。或者，相对的旋翼的轴之间的距离可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中，可移动物体可以具有小于100cm x 100cm x 100cm、小于50cmx 50cm x 30cm或小于5cm x 5cm x 3cm的体积。可移动物体的总体积可以小于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反地，可移动物体的总体积可以大于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。
在一些实施方式中，可移动物体可以具有的占地面积(这可以指由所述可移动物体所包围的横截面面积)小于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。相反地，所述占地面积可以大于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
在一些情况下，可移动物体可以不超过1000kg重。可移动物体的重量可以小于或等于约：1000kg、750kg、500kg、200kg、150kg、 100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地，所述重量可以大于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中，可移动物体相对于所述可移动物体所搭载的负载可以较小。如下文进一步详述，所述负载可以包括搭载物和/或载具。在一些示例中，可移动物体的重量与负载重量之比可以大于、小于或等于约1:1。可选地，载具重量与负载重量之比可以大于、小于或等于约1:1。当需要时，可移动物体的重量与负载重量之比可以小于或等于：1:2、1:3、1:4、1:5、1:10或者甚至更小。相反地，可移动物体的重量与负载重量之比还可以大于或等于：2:1、3:1、4:1、5:1、10:1或者甚至更大。
在一些实施方式中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些情况下，可移动物体的载具可以具有低能耗。例如，所述载具可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地，可移动物体的搭载物可以具有低能耗，诸如小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。
图20显示了根据本发明的实施方式的无人飞行器(UAV)1300。所述UAV可以是本文所述的可移动物体的示例。UAV 1300可以包括具有四个旋翼1302、1304、1306和1308的推进系统。可以提供任何数目的旋翼(例如，一个、两个、三个、四个、五个、六个或更多个)。所述旋翼可以是本文其他各处所述的自紧式旋翼的实施方式。无人飞行器的旋翼、旋翼组件或其他推进系统可使所述无人飞行器能够悬停/保持位置、改变朝向和/或改变位置。相对的旋翼的轴之间的距离可以是任何合适的长度1310。例如，长度1310可以小于或等于2m，或者小于或等于5m。在一些实施方式中，长度1310可以在从40cm到1m、从10cm到2m或者从5cm到5m的范围内。本文对UAV的任何描述均可适用于可移动物体，诸如不同类型的可移动物体，并且反之亦然。
在一些实施方式中，可移动物体可以被用于搭载负载。所述负载可以包括乘客、货物、器材、仪器等之中的一种或多种。所述负载可以提供在外壳内。所述外壳可以与可移动物体的外壳相分离，或者是可移动物体的外壳的一部分。或者，负载可以具备外壳，而可移动物体不具有外壳。或者，负载的一些部分或者整个负载可以在不具有外壳的情况下提供。负载可以相对于所述可移动物体刚性固定。可选地，负载可以是相对于可移动物体可以移动的(例如，可以相对于可移动物体平移或旋转)。
在一些实施方式中，负载包括搭载物。所述搭载物可被不执行任何操作或功能。或者，搭载物可以是被用于执行操作或功能的搭载物，亦称为功能性搭载物。例如，搭载物可以包括一个或多个传感器，用于勘测一个或多个目标。可以向搭载物中合并任何合适的传感器，诸如图像捕捉装置(例如，相机)、音频捕捉装置(例如，抛物面麦克风)、红外成像装置或紫外成像装置。所述传感器可以提供静态感测数据(例如，照片)或动态感测数据(例如，视频)。在一些实施方式中，传感器提供针对搭载物的目标的感测数据。备选地或组合地，搭载物可以包括一个或多个发射体，用于向一个或多个目标提供信号。可以使用任何合适的发射体，诸如照明源或声源。在一些实施方式中，搭载物包括一个或多个收发器，诸如用于与远离可移动物体的模块通信的收发器。可选地，搭载物可被用于与环境或目标交互。例如，搭载物可以包括能够操纵物体的工具、仪器或机构，诸如机械臂。
可选地，负载可以包括载具。可以为搭载物提供载具，并且所述搭载物可经由所述载具直接地(例如，直接接触可移动物体)或间接地(例如，不接触可移动物体)耦合至可移动物体。相反地，搭载物可在无需载具的情况下安装于可移动物体上。搭载物可以与载具一体形成。或者，搭载物可以可拆卸地耦合至载具。在一些实施方式中，搭载物可以包括一个或多个搭载物元件，并且所述搭载物元件中的一个或多个可以如上文所述是相对于可移动物体和/或载具是可移动的。
载具可以与可移动物体一体形成。或者，载具可以可拆卸地耦合至可移动物体。载具可以直接地或间接地耦合至可移动物体。载具可以为搭载物提供支撑(例如，承载所述搭载物的重量的至少一部分)。载具可以包括能够稳定和/或引导搭载物的移动的合适的安装构造物(例如，云台平台)。在一些实施方式中，载具可以适于控制搭载物相对于可移动物体的状态(例如，位置和/或朝向)。例如，载具可被用于相对于可移动物体而移动(例如，关于一个、两个或三个平移自由度和/或者一个、两个或三个旋转自由度)，以使得搭载物与可移动物体的移动无关地保持其相对于合适的参考系的位置和/或朝向。所述参考系可以是固定参考系(例如，周围环境)。或者，所述参考系可以是移动参考系(例如，可移动物体、搭载物目标)。
在一些实施方式中，载具可被用于允许搭载物相对于载具和/或可移动物体的移动。所述移动可以是关于多达三个自由度的平移(例如，沿着一个、两个或三个轴线)或者是关于多达三个自由度的旋转(例如，围绕一个、两个或三个轴线)，或者是其任何合适的组合。
在一些情况下，载具可以包括载具框架组件以及载具致动组件。所述载具框架组件可以向搭载物提供结构性支撑。载具框架组件可以包括单个的载具框架组件，其中一些组件可以是可相对于彼此移动的。所述载具致动组件可以包括一个或多个致动器(例如，马达)，所述致动器致动单个载具框架组件的移动。致动器可以允许多个载具框架组件的同时移动，或者可用于每次允许单一载具框架组件的移动。载具框架组件的移动可以产生搭载物的对应移动。例如，载具致动组件可以致动一个或多个载具框架组件围绕一个或多个旋转轴(例如，滚转轴、俯仰轴或偏航轴)的旋转。所述一个或多个载具框架组件的旋转可以使搭载物相对于可移动物体围绕一个或多个旋转轴旋转。备选地或组合地，载具致动组件可以致动一个或多个载具框架组件沿着一个或多个平移轴的平移，并从而产生搭载物相对于可移动物体沿着一个或多个对应的轴的平移。
在一些实施方式中，可移动物体、载具和搭载物相对于固定参考系(例如，周围环境)和/或相对于彼此的移动可以由终端来控制。所述终端可以是处于远离所述可移动物体、载具和/或搭载物的位置处的遥控装置。终端可以安置于支撑平台上或者固定至支撑平台。或者，终端可以是手持式或可穿戴式装置。例如，终端可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风或者其合适的组合。终端可以包括用户接口，诸如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入均可用于与终端交互，诸如手动输入命令、语音控制、手势控制或位置控制(例如，经由终端的移动、位置或倾斜)。
终端可以用于控制可移动物体、载具和/或搭载物的任何合适的状态。例如，终端可以用于控制可移动物体、载具和/或搭载物相对于固定参考物从和/或相对于彼此的位置和/或朝向。在一些实施方式中，终端可以用于控制可移动物体、载具和/或搭载物的单个元件，诸如载具的致动组件、搭载物的传感器或者搭载物的发射体。终端可以包括适于与可移动物体、载具或搭载物中的一个或多个进行通信的无线通信装置。
终端可以包括用于查看可移动物体、载具和/或搭载物的信息的合适的显示单元。例如，终端可被配置用于显示可移动物体、载具和/或搭载物的信息，所述信息关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合。在一些实施方式中，终端可以显示由搭载物提供的信息，诸如由功能性搭载物提供的数据(例如，由相机或其他图像捕捉装置记录的图像)。
可选地，同一终端可以同时控制可移动物体、载具和/或搭载物或者所述可移动物体、载具和/或搭载物的状态，以及接收和/或显示来自所述可移动物体、载具和/或搭载物的信息。例如，终端可以控制搭载物相对于环境的定位，同时显示由搭载物捕捉的图像数据，或者关于搭载物的位置的信息。或者，不同的终端可以用于不同的功能。例如，第一终端可以控制可移动物体、载具和/或搭载物的移动或状态，而第二终端可以接收和/或显示来自可移动物体、载具和/或搭载物的信息。例如，第一终端可以用于控制搭载物相对于环境的定位，而第二终端显示由所述搭载物捕捉的图像数据。可以在可移动物体与同时控制所述可移动物体并接收数据的集成式终端之间，或者在可移动物体与同时控制所述可移动物体并接收数据的多个终端之间利用各种通信模式。例如，可以在可移动物体与同时控制所述可移动物体并接收来自所述可移动物体的数据的终端之间形成至少两种不同的通信模式。
图21显示了根据实施方式包括载具1402和搭载物1404的可移动物体1400。虽然可移动物体1400被描绘为飞行器，但这样的描绘并不旨在成为限制性的，并且如前文所述可以使用任何合适类型的可移动物体。本领域技术人员应当理解，本文在飞行器系统的情景下描述的任何实施方式均可适用于任何合适的可移动物体(例如，UAV)。在一些情况下，可以在可移动物体1400上提供搭载物1404而无需载具1402。可移动物体1400可以包括推进机构1406、感测系统1408和通信系统1410。
如前文所述，推进机构1406可以包括旋翼、螺旋桨、桨叶、引擎、马达、轮子、轮轴、磁体或喷嘴中的一种或多种。例如，推进机构1406可以如本文其他各处所公开，是自紧式旋翼、旋翼组件或其他旋转推进单元。可移动物体可以具有一个或多个、两个或更多个、三个或更多个或者四个或更多个推进机构。推进机构可以全都是同一类型。或者，一个或多个推进机构可以是不同类型的推进机构。推进机构1406可以使用任何合适的装置而安装在可移动物体1400上，所述装置诸如为本文其他各处所述的支撑元件(例如，驱动轴)。推进机构1406可以安装在可移动物体1400的任何合适的部分上，诸如顶部、底部、前面、后面、侧面或其合适的组合。
在一些实施方式中，推进机构1406可以使得可移动物体1400能够从表面垂直地起飞或者垂直地降落在表面上，而无需可移动物体1400的任何水平移动(例如，无需沿着跑道行进)。可选地，推进机构1406可以可操作地允许可移动物体1400以指定位置和/或朝向悬停于空中。一个或多个推进机构1406可以独立于其他推进机构得到控制。或者，推进机构1406可被成同时受到控制。例如，可移动物体1400可以具有多个水平定向的旋翼，所述旋翼可以向所述可移动物体提供升力和/或推力。可以致动所述多个水平定向的旋翼以向可移动物体1400提供垂直起飞、垂直降落以及悬停能力。在一些实施方式中，所述水平定向的旋翼中的一个或多个可以在顺时针方向上旋转，同时所述水平旋翼中的一个或多个可以在逆时针方向上旋转。例如，顺时针旋翼的数目可以等于逆时针旋翼的数目。每个水平定向的旋翼的旋转速率可独立地改变，以便控制由每个旋翼产生的升力和/或推力，并从而调节可移动物体1400的空间布局、速度和/或加速度(例如，关于多达三个平移自由度和多达三个旋转自由度)。
感测系统1408可以包括一个或多个传感器，所述传感器可以感测可移动物体1400的空间布局、速度和/或加速度(例如，关于多达三个平移自由度和多达三个旋转自由度)。所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、距离传感器或图像传感器。由感测系统1408提供的感测数据可以用于控制可移动物体1400的空间布局、速度和/或朝向(例如，使用合适的处理单元和/或控制模块，如下文所述)。或者，感测系统1408可以用于提供关于可移动物体周围环境的数据，诸如气象条件、距潜在障碍物的距离、地理特征的位置、人造构造物的位置等。
通信系统1410支持经由无线信号1416与具有通信系统1414的终端1412的通信。通信系统1410、通信系统1414可以包括任何数目的适合于无线通信的发射器、接收器和/或收发器。所述通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅涉及可移动物体1400向终端1412传输数据，或者反之亦然。数据可以从通信系统1410的一个或多个发射器传输至通信系统1414的一个或多个接收器，或者反之亦然。或者，所述通信可以是双向通信，使得数据在可移动物体1400与终端1412之间的两个方向上均可传输。双向通信可以涉及从通信系统1410的一个或多个发射器向通信系统1414的一个或多个接收器传输数据，并且反之亦然。
在一些实施方式中，终端1412可以向可移动物体1400、载具1402和搭载物1404中的一个或多个提供控制数据，以及从可移动物体1400、载具1402和搭载物1404中的一个或多个接收信息(例如，可移动物体、载具或搭载物的位置和/或运动信息；由搭载物感测的数据，诸如由搭载物相机捕捉的图像数据)。在一些情况下，来自终端的控制数据可以包括可移动物体、载具和/或搭载物的相对位置、移动、致动或控制的指令。例如，控制数据可以导致可移动物体的位置和/或朝向的修改(例如，经由推进机构1406的控制)，或者搭载物相对于可移动物体的移动(例如，经由载具1402的控制)。来自终端的控制数据可以导致对搭载物的控制，诸如对相机或其他图像捕捉装置的操作的控制(例如，获取静态或移动图片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变聚焦、改变景深、改变曝光时间、改变视角或视野)。在一些情况下，来自可移动物体、载具和/或搭载物的通信可以包括来自一个或多个传感器(例如，感测系统1408的或搭载物1404的传感器)的信息。所述通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器)的感测到的信息。这样的信息可以关于可移动物体、载具和/或搭载物的位置(例如，位置、朝向)、移动或加速度。来自搭载物的这样的信息可以包括由所述搭载物捕捉的数据或所述搭载物的感测到的状态。由终端1412提供并传输的控制数据可被用于控制可移动物体1400、载具1402或搭载物1404中的一个或多个的状态。备选地或组合地，载具1402和搭载物1404还可以各自包括通信模块，所述通信模块被用于与终端1412通信，以使得所述终端可独立地与可移动物体1400、载具1402和搭载物1404中的每一个通信并对其加以控制。
在一些实施方式中，可移动物体1400可被用于与终端1412以外的另一远程装置进行通信，或不与终端1412而与另一远程装置进行通信。终端1412也可被用于与另一远程装置以及可移动物体1400进行通信。例如，可移动物体1400和/或终端1412可以与另一可移动物体或者另一可移动物体的载具或搭载物进行通信。当需要时，所述远程装置可以是第二终端或其他计算装置(例如，计算机、膝上型计算机、平板计算机、智能电话或其他移动装置)。远程装置可被用于向可移动物体1400传输数据、从可移动物体1400接收数据、向终端1412传输数据和/或者从终端1412接收数据。可选地，远程装置可以连接至因特网或其他电信网络，以使得从可移动物体1400和/或终端1412接收的数据可被上传至网站或服务器。
图22是根据实施方式用于控制可移动物体的系统1500的示意性框图。系统1500可以与本文所公开的系统、装置和方法的任何合适的实施方式结合使用。系统1500可以包括感测模块1502、处理单元1504、非暂时性计算机可读介质1506、控制模块1508和通信模块1510。
感测模块1502可以利用以不同方式收集与可移动物体有关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或者来自不同来源的信号。例如，所述传感器可以包括惯性传感器、GPS传感器、距离传感器(例如，激光雷达)或视觉/图像传感器(例如，相机)。感测模块1502可以可操作地耦合至具有多个处理器的处理单元1504。在一些实施方式中，感测模块可以可操作地耦合至传输模块1512(例如，Wi-Fi图像传输模块)，所述传输模块被用于向合适的外部装置或系统直接传输感测数据。例如，传输模块1512可以用于向远程终端传输由感测模块1502的相机捕捉的图像。
处理单元1504可以具有一个或多个处理器，诸如可编程处理器(例如，中央处理器(CPU))。处理单元1504可以可操作地耦合至非暂时性计算机可读介质1506。非暂时性计算机可读介质1506可以储存可由处理单元1504执行的逻辑、代码和/或程序指令，用以执行一个或多个步骤。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或外部存储，诸如SD卡或随机存取存储器(RAM))。在一些实施方式中，来自感测模块1502的数据可直接传送至并储存于非暂时性计算机可读介质1506的存储器单元内。非暂时性计算机可读介质1506的存储器单元可以储存可由处理单元1504执行的逻辑、代码和/或程序指令，用以执行本文所描述的方法的任何合适的实施方式。例如，处理单元1504可被用于执行指令，从而使处理单元1504的一个或多个处理器分析由感测模块产生的感测数据。存储器单元可以储存要由处理单元1504处理的、来自感测模块的感测数据。在一些实施方式中，非暂时性计算机可读介质1506的存储器单元可以用于储存由处理单元1504产生的处理结果。
在一些实施方式中，处理单元1504可以可操作地耦合至控制模块 1508，所述控制模块1508被用于控制可移动物体的状态。例如，控制模块1508可被用于控制可移动物体的推进机构以调节可移动物体关于六个自由度的空间布局、速度和/或加速度。备选地或组合地，控制模块1508可以控制载具、搭载物或感测模块的状态中的一个或多个。
处理单元1504可以可操作地耦合至通信模块1510，所述通信模块1510被用于传输数据和/或接收来自一个或多个外部装置(例如，终端、显示装置或其他遥控器)的数据。可以使用任何合适的通信手段，诸如有线通信或无线通信。例如，通信模块1510可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等之中的一种或多种。可选地，可以使用中继站，诸如塔、卫星或移动台。无线通信可以依赖于距离或独立于距离。在一些实施方式中，通信可能需要或者可能不需要视线。通信模块1510可以传输和/或接收来自感测模块1502的感测数据、由处理单元1504产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等之中的一个或多个。
系统1500的组件可以按任何合适的配置来布置。例如，系统1500的一个或多个组件可以位于可移动物体、载具、搭载物、终端、感测系统或与上述的一个或多个相通信的附加的外部装置上。此外，虽然图22描绘了单一处理单元1504和单一非暂时性计算机可读介质1506，但本领域技术人员将会理解，这并不旨在成为限制性的，并且系统1500可以包括多个处理单元和/或非暂时性计算机可读介质。在一些实施方式中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置，诸如在可移动物体、载具、搭载物、终端、感测模块、与上述的一个或多个相通信的附加的外部装置上或其合适的组合，以使得由系统1500执行的处理和/或存储器功能的任何合适的方面可以发生于一个或多个上述位置处。
本文中使用的A和/或B包含A或B中的一个或多个以及其组合，诸如A和B。
鉴于本文的公开内容，对于本领域技术人员将会显而易见的是，本公开的任何装置、系统及其组件的具体尺寸可以根据预定应用而改变。此外，应当理解，本文所描述的实施方式仅用于示例说明目的，并且根据这些实施方式的各种修 改或改变可以被建议给本领域技术人员并可被包含在本申请的精神和范围内以及所附权利要求的保护范围内。本文所描述的实施方式的许多不同的组合皆有可能，并且这样的组合被认为是本公开的一部分。另外，联系本文任何一个实施方式讨论的所有特征均可容易地适于在本文的其他实施方式中使用。
虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员显而易见的是，这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本发明的情况下想到许多更改、改变和替代。应当理解，在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。以下权利要求旨在限定本发明的范围，并因此覆盖这些权利要求范围内的方法和构造物及其等效项。

Claims (78)

1.一种用于标定一个或多个成像装置的方法，所述方法包括：
从所述一个或多个成像装置中的每个成像装置接受标定目标的多个图像，所述标定目标包括布置成重复图案的多个特征以及一个或多个参考标记，其中所述一个或多个参考标记各自在所述多个图像的每个图像中是可唯一识别的，并且其中所述多个图像包括捕捉少于所有的所述多个特征的至少一个图像；
借助于一个或多个处理器，确定在所述多个图像的每个图像中的所述一个或多个参考标记与所述标定目标上的所述一个或多个参考标记之间的空间关系；
基于所述空间关系并借助于一个或多个处理器，制定在所述多个图像的每个图像中的特征的图像坐标与所述标定目标上的对应特征的全局坐标之间的对应关系；以及
基于所述对应关系并借助于所述一个或多个处理器，确定所述一个或多个成像装置的标定参数。
2.根据权利要求1所述的方法，其中所述一个或多个成像装置由无人飞行器搭载。
3.根据权利要求1所述的方法，其中所述多个图像的所述每个图像捕捉所述标定目标上的所述一个或多个参考标记以及所述多个特征的至少一个子集。
4.根据权利要求1所述的方法，其中所述一个或多个成像装置中的每个成像装置的所述多个图像是相对于所述标定目标的不同位置和方向获取的。
5.根据权利要求1所述的方法，其中所述标定目标是包括多个方格的棋盘，并且所述多个特征包括所述多个方格的角点。
6.根据权利要求5所述的方法，其中所述一个或多个参考标记各自定位于所述多个方格中的一个方格内。
7.根据权利要求5所述的方法，其中所述多个特征包括所述棋盘的四个外角，并且所述至少一个图像遗漏了所述四个外角中的至少一个。
8.根据权利要求1所述的方法，其中所述一个或多个参考标记包括至少三个参考标记。
9.根据权利要求1所述的方法，其中所述一个或多个参考标记包括圆点、三角形或四边形。
10.根据权利要求1所述的方法，其中所述一个或多个参考标记覆盖至所述重复图案上。
11.根据权利要求1所述的方法，其中所述一个或多个参考标记在所述标定目标上形成不规则多边形的顶点。
12.根据权利要求11所述的方法，其中所述一个或多个参考标记包括形成等腰三角形或不等边三角形的顶点的三个参考标记。
13.根据权利要求11所述的方法，其中所述一个或多个参考标记在所述多个图像中形成不规则多边形的顶点，并且其中确定所述空间关系的步骤包括识别在所述多个图像中的所述不规则多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系。
14.根据权利要求1所述的方法，其中所述多个特征在平面上布置成所述重复图案，并且其中所述一个或多个参考标记在所述平面内形成非旋转对称的形状。
15.根据权利要求1所述的方法，其中所述一个或多个成像装置包括基本上同时捕捉图像的第一相机和第二相机。
16.根据权利要求15所述的方法，其中所述制定步骤包括识别存在于由所述第一相机获取的图像和由所述第二相机获取的对应图像中的特征。
17.根据权利要求1所述的方法，其中所述标定参数包括所述一个或多个成像装置中的每个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。
18.根据权利要求1所述的方法，其中所述标定参数包括所述一个或多个成像装置中的每个成像装置相对于所述标定目标的位置和方向。
19.一种用于标定一个或多个成像装置的系统，所述系统包括：
一个或多个成像装置，所述成像装置各自被用于捕捉标定目标的多个图像，所述标定目标包括布置成重复图案的多个特征以及一个或多个参考标记，其中所述一个或多个参考标记各自在所述多个图像的每个图像中是可唯一识别的，并且其中所述多个图像包括捕捉少于所有的所述多个特征的至少一个图像；以及
一个或多个处理器，其共同地或单个地用于：
从所述一个或多个成像装置中的每个成像装置接收所述多个图像；
确定在所述多个图像的每个图像中的所述一个或多个参考标记与所述标定目标上的所述一个或多个参考标记之间的空间关系；
基于所述一个或多个参考标记的预定全局坐标，制定在所述多个图像的每个图像中的特征的图像坐标与所述标定目标上的对应特征的全局坐标之间的对应关系；以及
基于所述对应关系，确定所述一个或多个成像装置的标定参数。
20.根据权利要求19所述的系统，其中所述一个或多个成像装置由无人飞行器搭载。
21.根据权利要求19所述的系统，其中所述多个图像的所述每个图像捕捉所述标定目标上的所述一个或多个参考标记以及所述多个特征的至少一个子集。
22.根据权利要求19所述的系统，其中所述一个或多个成像装置中的每个成像装置的所述多个图像是相对于所述标定目标的不同位置和方向获取的。
23.根据权利要求19所述的系统，其中所述标定目标是包括多个方格的棋盘，并且所述多个特征包括所述多个方格的角点。
24.根据权利要求23所述的系统，其中所述一个或多个参考标记各自定位于所述多个方格中的一个方格内。
25.根据权利要求23所述的系统，其中所述多个特征包括所述棋盘的四个外角，并且所述至少一个图像遗漏了所述四个外角中的至少一个。
26.根据权利要求19所述的系统，其中所述一个或多个参考标记包括至少三个参考标记。
27.根据权利要求19所述的系统，其中所述一个或多个参考标记包括圆点、三角形或四边形。
28.根据权利要求19所述的系统，其中所述一个或多个参考标记覆盖至所述重复图案上。
29.根据权利要求19所述的系统，其中所述一个或多个参考标记在所述标定目标上形成不规则多边形的顶点。
30.根据权利要求29所述的系统，其中所述一个或多个参考标记包括形成等腰三角形或不等边三角形的顶点的三个参考标记。
31.根据权利要求29所述的系统，其中所述一个或多个参考标记在所述多个图像中形成不规则多边形的顶点，并且其中确定所述空间关系的步骤包括识别在所述多个图像中的所述不规则多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系。
32.根据权利要求19所述的系统，其中所述多个特征在平面上布置成所述重复图案，并且其中所述一个或多个参考标记在所述平面内形成非旋转对称的形状。
33.根据权利要求19所述的系统，其中所述一个或多个成像装置包括基本上同时捕捉图像的第一相机和第二相机。
34.根据权利要求33所述的系统，其中所述制定步骤包括识别存在于由所述第一相机获取的所述多个图像和由所述第二相机获取的所述多个图像中的特征。
35.根据权利要求19所述的系统，其中所述标定参数包括所述一个或多个成像装置中的每个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。
36.根据权利要求19所述的系统，其中所述标定参数包括所述一个或多个成像装置中的每个成像装置相对于所述标定目标的位置和方向。
37.一种使用一个或多个成像装置来生成深度图的方法，所述方法包括：
从所述一个或多个成像装置中的每个成像装置获取一个或多个图像；以及
借助于一个或多个处理器，基于所述一个或多个成像装置的标定参数，处理来自所述一个或多个成像装置中的每个成像装置的所述一个或多个图像，以生成三维深度图，
其中使用来自所述一个或多个成像装置中的每个成像装置的标定目标的多个标定图像来确定所述标定参数，所述标定目标包括布置成重复图案的多个特征以及一个或多个参考标记，其中所述一个或多个参考标记各自在所述多个标定图像中的每个标定图像内是可唯一识别的，并且其中所述多个标定图像包括捕捉少于所有的所述多个特征的至少一个标定图像。
38.根据权利要求37所述的方法，其中所述一个或多个成像装置由无人飞行器搭载。
39.根据权利要求38所述的方法，其中所述深度图包括指示一个或多个物体距所述无人飞行器的距离的信息。
40.根据权利要求37所述的方法，其中所述多个标定图像中的所述每个标定图像捕捉所述标定目标上的所述一个或多个参考标记以及所述多个特征的至少一个子集。
41.根据权利要求37所述的方法，其中所述成像装置中的每个成像装置的所述多个标定图像是相对于所述标定目标的不同位置和方向获取的。
42.根据权利要求37所述的方法，其中所述标定目标是包括多个方格的棋盘，并且所述多个特征包括所述多个方格的角点。
43.根据权利要求42所述的方法，其中所述一个或多个参考标记各自定位于所述多个方格中的一个方格内。
44.根据权利要求42所述的方法，其中所述多个特征包括所述棋盘的四个外角，并且所述至少一个标定图像遗漏了所述四个外角中的至少一个。
45.根据权利要求37所述的方法，其中所述一个或多个参考标记包括至少三个参考标记。
46.根据权利要求37所述的方法，其中所述一个或多个参考标记包括圆点、三角形或四边形。
47.根据权利要求37所述的方法，其中所述一个或多个参考标记覆盖至所述重复图案上。
48.根据权利要求37所述的方法，其中所述一个或多个参考标记形成所述标定目标上的不规则多边形的顶点。
49.根据权利要求48所述的方法，其中所述一个或多个参考标记包括形成等腰三角形或不等边三角形的顶点的三个参考标记。
50.根据权利要求48所述的方法，其中所述一个或多个参考标记在所述多个标定图像中形成不规则多边形的顶点，并且其中通过至少识别在所述多个标定图像中的所述不规则多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系来确定所述标定参数。
51.根据权利要求37所述的方法，其中所述多个特征在平面上布置成所述重复图案，并且其中所述一个或多个参考标记在所述平面内形成非旋转对称的形状。
52.根据权利要求37所述的方法，其中所述一个或多个成像装置包括基本上同时捕捉图像的第一相机和第二相机。
53.根据权利要求52所述的方法，其中处理所述一个或多个图像包括识别存在于由所述第一相机捕捉的图像和由所述第二相机捕捉的对应图像中的一个或多个特征。
54.根据权利要求52所述的方法，其中处理所述一个或多个图像包括确定由所述第一相机捕捉的图像与由所述第二相机捕捉的对应图像之间的视差。
55.根据权利要求37所述的方法，其中所述标定参数包括所述一个或多个成像装置中的每个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。
56.根据权利要求37所述的方法，其中所述标定参数包括所述一个或多个成像装置中的每个成像装置相对于所述标定目标的位置和方向。
57.根据权利要求37所述的方法，其中处理所述一个或多个图像包括减小所述一个或多个图像的至少一个图像中的光学畸变。
58.一种使用一个或多个成像装置来生成深度图的系统，所述系统包括：
一个或多个成像装置，所述成像装置各自被用于获取图像；以及
一个或多个处理器，其共同地或单个地被用于；
从所述一个或多个成像装置中的每个成像装置获取一个或多个图像；以及
基于所述一个或多个成像装置的标定参数，处理来自所述一个或多个成像装置中的每个成像装置的所述一个或多个图像，以生成三维深度图，
其中使用来自所述一个或多个成像装置中的每个成像装置的标定目标的多个标定图像来确定所述标定参数，所述标定目标包括布置成重复图案的多个特征以及一个或多个参考标记，其中所述一个或多个参考标记各自在所述多个标定图像中的每个标定图像内是可唯一识别的，并且其中所述多个标定图像包括捕捉少于所有的所述多个特征的至少一个标定图像。
59.根据权利要求58所述的系统，其中所述一个或多个成像装置由无人飞行器搭载。
60.根据权利要求59所述的系统，其中所述深度图包括指示一个或多个物体距所述无人飞行器的距离的信息。
61.根据权利要求58所述的系统，其中所述多个标定图像中的所述每个标定图像捕捉所述标定目标上的所述一个或多个参考标记以及所述多个特征的至少一个子集。
62.根据权利要求58所述的系统，其中所述成像装置中的每个成像装置的所述多个标定图像是相对于所述标定目标的不同位置和方向获取的。
63.根据权利要求58所述的系统，其中所述标定目标是包括多个方格的棋盘，并且所述多个特征包括所述多个方格的角点。
64.根据权利要求63所述的系统，其中所述一个或多个参考标记各自定位于所述多个方格中的一个方格内。
65.根据权利要求63所述的系统，其中所述多个特征包括所述棋盘的四个外角，并且所述至少一个标定图像遗漏了所述四个外角中的至少一个。
66.根据权利要求58所述的系统，其中所述一个或多个参考标记包括至少三个参考标记。
67.根据权利要求58所述的系统，其中所述一个或多个参考标记包括圆点、三角形或四边形。
68.根据权利要求58所述的系统，其中所述一个或多个参考标记覆盖至所述重复图案上。
69.根据权利要求58所述的系统，其中所述一个或多个参考标记形成所述标定目标上的不规则多边形的顶点。
70.根据权利要求69所述的系统，其中所述一个或多个参考标记包括形成等腰三角形或不等边三角形的顶点的三个参考标记。
71.根据权利要求69所述的系统，其中所述一个或多个参考标记形成所述多个标定图像中的不规则多边形的顶点，并且其中通过至少识别在所述多个标定图像中的所述不规则多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系来确定所述标定参数。
72.根据权利要求58所述的系统，其中所述多个特征在平面上布置成所述重复图案，并且其中所述一个或多个参考标记在所述平面内形成非旋转对称的形状。
73.根据权利要求58所述的系统，其中所述一个或多个成像装置包括基本上同时捕捉图像的第一相机和第二相机。
74.根据权利要求73所述的系统，其中处理所述一个或多个图像的步骤包括识别存在于由所述第一相机捕捉的图像和由所述第二相机捕捉的对应图像中的一个或多个特征。
75.根据权利要求73所述的系统，其中处理所述一个或多个图像的步骤包括确定由所述第一相机捕捉的图像与由所述第二相机捕捉的对应图像之间的视差。
76.根据权利要求58所述的系统，其中所述标定参数包括所述一个或多个成像装置中的每个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。
77.根据权利要求58所述的系统，其中所述标定参数包括所述一个或多个成像装置中的每个成像装置相对于所述标定目标的位置和方向。
78.根据权利要求58所述的系统，其中处理所述一个或多个图像的步骤包括减小所述一个或多个图像的至少一个图像中的光学畸变。
CN201480075081.XA 2014-11-04 2014-11-04 用于标定成像装置的系统、方法和装置 Expired - Fee Related CN105981074B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/090217 WO2016070318A1 (en) 2014-11-04 2014-11-04 Camera calibration

Publications (2)

Publication Number Publication Date
CN105981074A CN105981074A (zh) 2016-09-28
CN105981074B true CN105981074B (zh) 2018-02-02

Family

ID=55908342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480075081.XA Expired - Fee Related CN105981074B (zh) 2014-11-04 2014-11-04 用于标定成像装置的系统、方法和装置

Country Status (5)

Country Link
US (2) US10475209B2 (zh)
EP (2) EP3167430A4 (zh)
JP (1) JP6121063B1 (zh)
CN (1) CN105981074B (zh)
WO (1) WO2016070318A1 (zh)

Families Citing this family (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9235763B2 (en) 2012-11-26 2016-01-12 Trimble Navigation Limited Integrated aerial photogrammetry surveys
US11297284B2 (en) 2014-04-08 2022-04-05 Udisense Inc. Monitoring camera and mount
CN106030431B (zh) * 2014-08-15 2017-11-03 深圳市大疆创新科技有限公司 传感器的自动标定系统及方法
JP6576945B2 (ja) * 2014-11-13 2019-09-18 オリンパス株式会社 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10275898B1 (en) * 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
US20170201738A1 (en) * 2015-06-13 2017-07-13 Alberto Daniel Lacaze Senising on uavs for mapping and obstacle avoidance
US10769806B2 (en) * 2015-09-25 2020-09-08 Logical Turn Services, Inc. Dimensional acquisition of packages
IL291685B2 (en) 2015-09-25 2023-09-01 Magic Leap Inc Methods and systems for discovering and integrating structural features in 3D reconstruction
CA2961921C (en) * 2016-03-29 2020-05-12 Institut National D'optique Camera calibration method using a calibration target
WO2017195801A1 (ja) * 2016-05-13 2017-11-16 オリンパス株式会社 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法
CN109478320B (zh) 2016-07-12 2022-03-18 深圳市大疆创新科技有限公司 处理图像以获得环境信息
CN109643129A (zh) * 2016-08-26 2019-04-16 深圳市大疆创新科技有限公司 自主着陆的方法和系统
US10853942B1 (en) 2016-08-29 2020-12-01 Amazon Technologies, Inc. Camera calibration in a mobile environment
CN106485758B (zh) * 2016-10-31 2023-08-22 成都通甲优博科技有限责任公司 一种无人机摄像头标定装置、标定方法及流水线标定实现方法
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
EP3552180B1 (en) 2016-12-07 2022-01-26 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
CN106651961B (zh) * 2016-12-09 2019-10-11 中山大学 一种基于彩色立体标定物的无人机标定方法及系统
WO2018135110A1 (ja) * 2017-01-20 2018-07-26 ソニーネットワークコミュニケーションズ株式会社 情報処理装置、情報処理方法、プログラムおよび対空標識システム
US10554950B1 (en) 2017-03-16 2020-02-04 Amazon Technologies, Inc. Collection of camera calibration data using augmented reality
US10447995B1 (en) * 2017-03-16 2019-10-15 Amazon Technologies, Inc. Validation of camera calibration data using augmented reality
US9986233B1 (en) * 2017-03-16 2018-05-29 Amazon Technologies, Inc. Camera calibration using fixed calibration targets
CN110447220B (zh) * 2017-03-21 2021-03-09 奥林巴斯株式会社 校准装置、校准方法、光学装置、摄影装置以及投影装置
FR3064757A1 (fr) * 2017-03-29 2018-10-05 Thales Dispositif de calibration d'un systeme d'imagerie et procede de calibration associe
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
CN110546951B (zh) * 2017-04-27 2021-10-26 谷歌有限责任公司 合成立体视觉图像内容捕获
WO2018204746A1 (en) * 2017-05-04 2018-11-08 Second Spectrum, Inc. Method and apparatus for automatic intrinsic camera calibration using images of a planar calibration pattern
DE102017207614A1 (de) * 2017-05-05 2018-11-08 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Kalibrierung eines Kamerasystems eines Fahrzeugs
EP3635619A4 (en) * 2017-05-07 2021-01-20 Manam Applications Ltd. SYSTEM AND PROCESS FOR 3D MODELING AND ANALYSIS OF A CONSTRUCTION
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
EP3488603B1 (en) * 2017-05-24 2021-07-28 SZ DJI Technology Co., Ltd. Methods and systems for processing an image
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10643368B2 (en) * 2017-06-27 2020-05-05 The Boeing Company Generative image synthesis for training deep learning machines
JP7003463B2 (ja) * 2017-07-11 2022-01-20 セイコーエプソン株式会社 ロボットの制御装置、ロボットシステム、並びに、カメラの校正方法
CN107481289B (zh) * 2017-07-13 2020-07-03 西安应用光学研究所 大视场相机远场标校的精密靶标系统及方法
JP6886620B2 (ja) * 2017-08-09 2021-06-16 オムロン株式会社 キャリブレーション方法、キャリブレーションシステム及びプログラム
US10586349B2 (en) 2017-08-24 2020-03-10 Trimble Inc. Excavator bucket positioning via mobile device
US10504244B2 (en) * 2017-09-28 2019-12-10 Baidu Usa Llc Systems and methods to improve camera intrinsic parameter calibration
US10432912B2 (en) 2017-09-29 2019-10-01 Waymo Llc Target, method, and system for camera calibration
US10621753B2 (en) * 2017-09-29 2020-04-14 Intel IP Corporation Extrinsic calibration of camera systems
CN111492262B (zh) 2017-10-08 2024-06-28 魔眼公司 使用经向网格图案的距离测量
CN111164650B (zh) * 2017-10-08 2021-10-29 魔眼公司 用于确定传感器位置的系统和方法
CN107886540B (zh) * 2017-10-20 2020-12-29 青岛海尔智能技术研发有限公司 制冷设备内物品识别定位方法和制冷设备
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
CN107808402A (zh) * 2017-10-31 2018-03-16 深圳市瑞立视多媒体科技有限公司 多相机系统的标定方法、多相机系统及终端设备
WO2019104108A1 (en) * 2017-11-22 2019-05-31 Udisense Inc. Respiration monitor
CN107895381B (zh) * 2017-11-29 2020-06-12 杭州电魂网络科技股份有限公司 距离确定方法及装置
US20190180475A1 (en) * 2017-12-08 2019-06-13 Qualcomm Incorporated Dynamic camera calibration
CN107977018A (zh) * 2017-12-12 2018-05-01 吉林大学 基于双目立体视觉和无人机的秸秆焚烧监测方法
CN109961471B (zh) * 2017-12-14 2021-05-28 北京猎户星空科技有限公司 一种图像中物体位置的标注方法、装置及电子设备
WO2019126930A1 (zh) * 2017-12-25 2019-07-04 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
CN107993268B (zh) * 2017-12-26 2021-11-30 广东工业大学 一种相机自标定的方法及系统
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
CN110998241A (zh) * 2018-01-23 2020-04-10 深圳市大疆创新科技有限公司 用于校准可移动对象的光学系统的系统和方法
US11048257B2 (en) * 2018-01-23 2021-06-29 Gopro, Inc. Relative image capture device orientation calibration
BR102018003125B1 (pt) * 2018-02-19 2022-05-10 Petróleo Brasileiro S.A. - Petrobras Método para reconhecimento ótico de marcadores em ambiente externo
CN108648237B (zh) * 2018-03-16 2022-05-03 中国科学院信息工程研究所 一种基于视觉的空间定位方法
US10931883B2 (en) 2018-03-20 2021-02-23 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11062468B2 (en) 2018-03-20 2021-07-13 Magik Eye Inc. Distance measurement using projection patterns of varying densities
JP6784944B2 (ja) * 2018-03-26 2020-11-18 カシオ計算機株式会社 投影制御装置、マーカ検出方法及びプログラム
US10942045B1 (en) * 2018-04-03 2021-03-09 Waymo Llc Portable sensor calibration target for autonomous vehicle
CN109270534B (zh) * 2018-05-07 2020-10-27 西安交通大学 一种智能车激光传感器与相机在线标定方法
CN108830906B (zh) * 2018-05-31 2023-10-24 福州大学 一种基于虚拟双目视觉原理的摄像机参数自动标定方法
WO2019236563A1 (en) 2018-06-06 2019-12-12 Magik Eye Inc. Distance measurement using high density projection patterns
CN110727966B (zh) * 2018-07-16 2021-11-16 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN109141364B (zh) * 2018-08-01 2020-11-03 北京进化者机器人科技有限公司 障碍物检测方法、系统及机器人
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
CN109241966A (zh) * 2018-08-22 2019-01-18 东北农业大学 一种植物叶片无损采集方法
US10769813B2 (en) * 2018-08-28 2020-09-08 Bendix Commercial Vehicle Systems, Llc Apparatus and method for calibrating surround-view camera systems
CN109345471B (zh) * 2018-09-07 2022-06-24 贵州宽凳智云科技有限公司北京分公司 基于高精轨迹数据测量绘制高精地图数据方法
EP3627378A1 (en) * 2018-09-19 2020-03-25 Conti Temic microelectronic GmbH Enhancing the detection of non-structured objects on a driveway
CN109360243B (zh) * 2018-09-28 2022-08-19 安徽爱观视觉科技有限公司 一种多自由度可动视觉系统的标定方法
CN109242914B (zh) * 2018-09-28 2021-01-01 上海爱观视觉科技有限公司 一种可动视觉系统的立体标定方法
DE102018125422B4 (de) * 2018-10-15 2020-12-24 Karl Storz Se & Co. Kg Verfahren zum Prüfen oder Kalibrieren einer Stereo-Bilderfassungsvorrichtung
CN111064864A (zh) * 2018-10-17 2020-04-24 杭州海康慧影科技有限公司 设置畸变校正参数的方法、装置和内窥镜系统
CN109242918B (zh) * 2018-11-15 2022-07-15 中国直升机设计研究所 一种直升机机载双目立体视觉标定方法
WO2020133175A1 (en) * 2018-12-28 2020-07-02 Intel Corporation Tracking objects using sensor rotation
CN113272624A (zh) 2019-01-20 2021-08-17 魔眼公司 包括具有多个通带的带通滤波器的三维传感器
US10979644B2 (en) 2019-02-06 2021-04-13 International Business Machines Corporation 3D surface estimation and prediction to boost fidelity of realtime LiDAR model generation
CN111279692B (zh) * 2019-03-12 2022-03-04 深圳市大疆创新科技有限公司 测试拍摄稳定性的方法、校准装置和校准系统
CN109978956B (zh) * 2019-03-22 2021-07-06 新华三技术有限公司 采集设备的标定方法、装置及标定系统
WO2020197813A1 (en) 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
US10623727B1 (en) 2019-04-16 2020-04-14 Waymo Llc Calibration systems usable for distortion characterization in cameras
JP7534330B2 (ja) 2019-05-12 2024-08-14 マジック アイ インコーポレイテッド ３次元深度マップデータの２次元画像上へのマッピング
EP3742399A1 (en) * 2019-05-21 2020-11-25 Sportlogiq Inc. Systems and methods for image registration and camera calibration using learned error functions
CN110148174A (zh) * 2019-05-23 2019-08-20 北京阿丘机器人科技有限公司 标定板、标定板识别方法及装置
US20200380725A1 (en) * 2019-05-28 2020-12-03 GM Global Technology Operations LLC Calibration for vehicle cameras
CN110176041B (zh) * 2019-05-29 2021-05-11 西南交通大学 一种基于双目视觉算法的新型列车辅助装配方法
CN110232716A (zh) * 2019-05-31 2019-09-13 深圳市道通智能航空技术有限公司 一种相机标定方法、装置和电子设备
KR102260121B1 (ko) * 2019-06-17 2021-06-02 남서울대학교 산학협력단 카메라 캘리브레이션을 위한 체커보드 및 이를 이용한 자동 타겟 인식 방법 및 그 장치
DE102019209000A1 (de) * 2019-06-19 2020-12-24 Friedrich-Alexander-Universität Erlangen-Nürnberg Vorrichtung, Verfahren und Computerprogramm zum zerstörungsfreien Werkstoffprüfen von Solarmodulen
CN110458898B (zh) * 2019-08-15 2022-03-22 北京迈格威科技有限公司 相机标定板、标定数据采集方法、畸变校正方法及装置
US11146783B2 (en) * 2019-08-16 2021-10-12 GM Cruise Holdings, LLC Partial calibration target detection for improved vehicle sensor calibration
US10992921B1 (en) * 2019-08-28 2021-04-27 Amazon Technologies, Inc. Self-calibrating stereo camera pairs provided aboard aerial vehicles
US10943360B1 (en) 2019-10-24 2021-03-09 Trimble Inc. Photogrammetric machine measure up
JP7569376B2 (ja) 2019-12-01 2024-10-17 マジック アイ インコーポレイテッド 飛行時間情報を用いた三角測量ベースの３次元距離測定の向上
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
JP2023510738A (ja) 2020-01-05 2023-03-15 マジック アイ インコーポレイテッド ３次元カメラの座標系を２次元カメラの入射位置に移動させる方法
CN111243032B (zh) * 2020-01-10 2023-05-12 大连理工大学 一种棋盘格角点全自动检测方法
CN113365045B (zh) * 2020-03-04 2022-10-11 余姚舜宇智能光学技术有限公司 摄像模组检测方法、装置及系统
CN113393529B (zh) * 2020-03-12 2024-05-10 浙江宇视科技有限公司 摄像机的标定方法、装置、设备和介质
US11798191B2 (en) * 2020-03-27 2023-10-24 Intel Corporation Sensor calibration and sensor calibration detection
CN111524182B (zh) * 2020-04-29 2023-11-10 杭州电子科技大学 一种基于视觉情报分析的数学建模方法
WO2022040942A1 (zh) * 2020-08-25 2022-03-03 深圳市大疆创新科技有限公司 飞行定位方法、无人飞行器及存储介质
CN112529968A (zh) * 2020-12-22 2021-03-19 上海商汤临港智能科技有限公司 摄像设备标定方法、装置、电子设备及存储介质
CN113012234B (zh) * 2021-03-16 2022-09-02 中国人民解放军火箭军工程大学 基于平面变换的高精度相机标定方法
CN113706609A (zh) * 2021-08-31 2021-11-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及计算机可读存储介质
CN113989361B (zh) * 2021-10-22 2023-04-07 中国平安财产保险股份有限公司 基于人工智能的动物体长测量方法、装置、设备及介质
US20230128689A1 (en) * 2021-10-27 2023-04-27 Objectvideo Labs, Llc Extrinsic camera calibration using calibration object
CN114152202A (zh) * 2021-11-26 2022-03-08 东风设备制造有限公司 一种光学检测沉割槽的装置和沉割槽光学检测系统
CN114581507B (zh) * 2022-04-24 2022-09-20 浙江托普云农科技股份有限公司 基于图像考种的种子尺寸标定方法、系统、装置及存储介质
CN114862717B (zh) * 2022-05-11 2023-06-23 桂林理工大学 主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法
CN114640781B (zh) * 2022-05-19 2022-08-23 山东省科学院海洋仪器仪表研究所 一种水下摄像机图像径向畸变校正装置及方法
TWI818715B (zh) * 2022-09-06 2023-10-11 正崴精密工業股份有限公司 對曲面物件進行視覺檢測的方法
WO2024050795A1 (zh) * 2022-09-09 2024-03-14 宁德时代新能源科技股份有限公司 一种测量尺寸的方法、装置和计算机可读存储介质
WO2024107877A2 (en) * 2022-11-15 2024-05-23 Supernal, Llc Sensor calibration
US12094171B2 (en) * 2022-11-16 2024-09-17 Google Llc Calibrating camera in electronic device
CN115597551B (zh) * 2022-12-14 2023-04-07 成都量芯集成科技有限公司 一种手持激光辅助双目扫描装置及方法
CN117288441B (zh) * 2023-10-16 2024-08-02 中国气象科学研究院 一种Langley定标辅助方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101563709A (zh) * 2006-12-18 2009-10-21 皇家飞利浦电子股份有限公司 校准照相机系统
CN103686143A (zh) * 2012-09-24 2014-03-26 歌乐株式会社 照相机的校准方法以及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
US20040257441A1 (en) 2001-08-29 2004-12-23 Geovantage, Inc. Digital imaging system for airborne applications
JP4446041B2 (ja) 2003-10-02 2010-04-07 株式会社岩根研究所 カメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置
JP4394487B2 (ja) 2004-03-05 2010-01-06 富士重工業株式会社 ステレオ画像処理装置
JP2006173999A (ja) 2004-12-15 2006-06-29 Matsushita Electric Ind Co Ltd カメラ装置および遠隔装置
US7623274B1 (en) * 2004-12-22 2009-11-24 Google Inc. Three-dimensional calibration using orientation and position sensitive calibration pattern
CN1294533C (zh) * 2005-05-19 2007-01-10 上海交通大学 摄像机或照相机几何畸变的标定方法
US8305430B2 (en) 2005-09-16 2012-11-06 Sri International System and method for multi-camera visual odometry
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
US8285475B2 (en) * 2007-03-02 2012-10-09 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Combined beacon and scene navigation system
US8254635B2 (en) * 2007-12-06 2012-08-28 Gideon Stein Bundling of driver assistance systems
JP5299231B2 (ja) * 2009-11-17 2013-09-25 富士通株式会社 キャリブレーション装置
US8963943B2 (en) * 2009-12-18 2015-02-24 Electronics And Telecommunications Research Institute Three-dimensional urban modeling apparatus and method
ES2392229B1 (es) * 2010-08-27 2013-10-16 Telefónica, S.A. Método de generación de un modelo de un objeto plano a partir de vistas del objeto.
US8743214B2 (en) 2011-05-11 2014-06-03 Intel Corporation Display screen for camera calibration
US8866912B2 (en) * 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101563709A (zh) * 2006-12-18 2009-10-21 皇家飞利浦电子股份有限公司 校准照相机系统
CN103686143A (zh) * 2012-09-24 2014-03-26 歌乐株式会社 照相机的校准方法以及装置

Also Published As

Publication number Publication date
JP6121063B1 (ja) 2017-04-26
EP3167430A4 (en) 2017-08-16
EP3167430A1 (en) 2017-05-17
WO2016070318A1 (en) 2016-05-12
EP3859669A1 (en) 2021-08-04
US20200074683A1 (en) 2020-03-05
CN105981074A (zh) 2016-09-28
JP2017513079A (ja) 2017-05-25
US20170221226A1 (en) 2017-08-03
US10475209B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
CN105981074B (zh) 用于标定成像装置的系统、方法和装置
US20210389762A1 (en) Systems and methods for augmented stereoscopic display
CN108351654B (zh) 用于视觉目标跟踪的系统和方法
JP7252943B2 (ja) 航空機のための対象物検出及び回避
US20220206515A1 (en) Uav hardware architecture
US10599149B2 (en) Salient feature based vehicle positioning
CN109219785B (zh) 一种多传感器校准方法与系统
CN111527463B (zh) 用于多目标跟踪的方法和系统
CN110049921B (zh) 用于红外跟踪的方法和系统
US10802509B2 (en) Selective processing of sensor data
CN107850902B (zh) 可移动物体上的相机配置
US11127202B2 (en) Search and rescue unmanned aerial system
CN108292140B (zh) 用于自动返航的系统和方法
CN108351649B (zh) 用于控制可移动物体的方法和设备
CN107168352B (zh) 目标追踪系统及方法
CN107850899B (zh) 使用惯性传感器和图像传感器的传感器融合
CN113093808A (zh) 使用惯性传感器和图像传感器的传感器融合
CN111194433A (zh) 用于构图和捕捉图像的方法和系统
JP6473188B2 (ja) 深度マップを生成するための方法、装置およびプログラム
Gomez-Balderas et al. Vision-based autonomous hovering for a miniature quad-rotor
DE202014011514U1 (de) Kamerakalibrierung

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180202