CN115345942A - 空间标定方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请实施例公开了一种空间标定方法、装置、计算机设备和存储介质，涉及图像处理技术领域。该空间标定方法在获取相机追踪器和标定板追踪器的位姿信息后，通过标定板串联起摄像机局部坐标系和捕捉系统世界坐标系，得到摄像机局部坐标系在世界坐标系下的位姿。解决了现有技术中空间标定精度低的问题，提高了空间标定的精准度。

Description

空间标定方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，具体地，涉及一种空间标定方法、装置、计算机设备和存储介质。

背景技术

随着电视节目制作的技术的快速发展，为了实现更多样的节目制作样式，摄影相机的空间追踪技术越发成熟。现有技术中，可以在相机中安装追踪设备，将主动定位装置固定到摄像机上，依靠定位装置获取自身位置，摄像机与定位装置固连，从而获得摄像机位姿，但是这种方式会需要在场景中安装固定标记点，以确定摄像机位置，但是受限于固定位置，无法计算相机的准确的位置，从而会导致定位精度较差，空间标定精准差。

发明内容

为解决上述技术问题，本申请实施例中提供了一种空间标定的方法、装置、计算机设备和存储介质。

本申请实施例的第一个方面，提供了一种空间标定方法， 该方法包括：

获取待标定对象在目标相机的相机坐标系中的初始位姿；

获取当前标定板中目标特征点在相机坐标系中的目标相机追踪器位姿，和该目标特征点的反光点在标定板坐标系中的标定板追踪器位姿；

根据目标特征点所对应的标定板追踪器位姿和目标相机追踪器位姿，进行相机坐标系和标定板坐标系的转换，确定初始位姿在标定板坐标系中的相对位姿；

根据目标特征点在世界坐标系中的位置信息，确定待标定对象的初始位姿在世界坐标系中的目标位姿。

在本申请一个可选的实施例中，确定初始位姿待标定对象的初始位姿在世界坐标系中的目标位姿，还包括：

获取目标相机的初始外参矩阵和初始相机内参；

根据该初始外参矩阵和该初始相机内参，计算当前标定板中目标特征点的重投影误差；

若该重投影误差大于或者等于预设阈值，则调整目标相机的姿态，并重新计算外参矩阵和相机内参；

根据当前目标相机的外参矩阵和相机内参计算该当前标定板中目标特征点的重投影误差，直至该重投影误差小于预设阈值，则将该当前的外参矩阵确定为目标外参矩阵，将当前的相机内参确定为目标相机内参；

根据该目标外参矩阵和和该目标相机内参，获取目标位姿。

在本申请一个可选的实施例中，获取该目标相机的初始外参矩阵和初始相机内参，包括：

获取当前标定板的标定板图像；

获取该标定板图像中目标特征点的位置信息；

获取该当前标定板的尺寸参数；

根据当前标定板的位置信息和尺寸参数，计算该目标相机的初始相机内参和初始外参矩阵。

在本申请一个可选的实施例中，获取该当前标定板图像中预设特征点的位置信息，包括：

确定当前标定板图像中的目标区域；

在目标区域中计算目标特征点的位置信息；

其中，该目标区域是指标定板图像的多个图像区域中与相邻区域有差异的区域。

在本申请一个可选的实施例中，确定标定板图像中的目标区域，包括：

通过对该标定板图像进行增加对比度处理，获取标定板图像中的每个区域的特征参数，该特征参数包括颜色值和灰度值中的至少一种；

遍历该标定板图像中的每个区域，计算每个区域的特征参数与相邻区域中特征参数的差值；

若当前区域的差值大于预设值，则将当前区域确定为目标区域。

在本申请一个可选的实施例中，获取目标特征点的反光点在标定板坐标系中的标定板追踪器位姿，包括：

获取当前标定板中至少一个特征点所对应的反光点的位置信息；

根据反光点的位置信息在标定板坐标系中的位置信息，生成标定板追踪器位姿。

在本申请一个可选的实施例中，确定初始位姿在标定板坐标系中的相对位姿，包括：

根据目标特征点所对应的标定板追踪器位姿和目标相机追踪器位姿，计算目标相机追踪器位姿在标定板坐标系中的坐标转换参数 ；

根据该坐标转换参数，确定初始位姿在标定板坐标系中的相对位姿。

在本申请一个可选的实施例中，确定该相对位姿在世界坐标系中的目标位姿，包括：

获取标定板中目标特征点在世界坐标系中的初始位姿；

根据相机内参和外参矩阵，计算该目标特征点在标定板坐标系中的目标坐标；

通过初始位姿和目标坐标之间的坐标转换，确定该相对位姿在世界坐标系中的目标位姿。

在本申请一个可选的实施例中，获取预设特征点在相机坐标系中的目标相机追踪器位姿，包括：

根据目标相机追踪器所采集的目标特征点的位置信息；

根据位置信息在相机坐标系中的位姿，生成目标相机追踪器位姿。

本申请实施例的第二个方面，提供了一种空间标定装置，包括：

定位模块，用于获取待标定对象在目标相机的相机坐标系中的初始位姿；

采集模块，用于获取当前标定板中目标特征点在相机坐标系中的目标相机追踪器位姿，和该目标特征点的反光点在标定板坐标系中的标定板追踪器位姿；

参数计算模块，用于根据目标特征点所对应的标定板追踪器位姿和目标相机追踪器位姿，进行相机坐标系和标定板坐标系的转换，确定初始位姿在标定板坐标系中的相对位姿；

标定模块，用于根据目标特征点在世界坐标系中的位置信息，确定待标定对象的初始位姿在世界坐标系中的目标位姿。

本申请实施例的第三个方面，提供了一种计算机设备，包括：包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如上任一项方法的步骤。

本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如上任一项的方法的步骤。

上述空间标定方法通过相机追踪器和标定板追踪器，实现目标定位点的多维度定位，通过多维度定位提高了计算目标相机的相机内参和外参矩阵的精准度，通过相机内参和外参矩阵，能够计算目标物体在摄像机局部坐标系中的初始位姿，转换至在世界坐标系下的位姿，最终提高空间标定的精准度。本申请实施例所提供的空间标定方法标定过程简单，操作便捷，定位精准度高。

本申请实施例通过对目标相机的空间标定，能够获取该目标相机在当前空间内的位姿信息，再通过虚拟渲染引擎处理该位姿信息，能够为引擎中的虚拟相机提供真实相机在三维空间中的位姿信息，以及目标相机的相机内参和外参矩阵等，最终依靠实时渲染和实时抠像与合成技术，实现虚拟摄影机与真实摄影机的运动及构图的同步，使得实拍画面与虚拟元素得以实时合成。本申请实施例能够使得摄像机在大空间自由运动中，时刻得到在世界坐标系下摄像机自身坐标系，方便相机与广播电视制作虚拟场景关联。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一个实施例提供的空间标定方法的应用场景示意图；

图2为本申请一个实施例提供的空间标定方法的流程图一；

图3为本申请一个实施例提供的空间标定方法中的标定板示意图；

图4为本申请一个实施例提供的空间标定方法的流程图二；

图5为本申请一个实施例提供的空间标定方法的流程图三；

图6为本申请一个实施例提供的空间标定方法的流程图四；

图7为本申请一个实施例提供的空间标定方法的流程图五；

图8为本申请一个实施例提供的空间标定方法的流程图六；

图9为本申请一个实施例提供的空间标定方法的流程图七；

图10为本申请一个实施例提供的空间标定方法的流程图八；

图11为本申请一个实施例提供的空间标定方法的流程图九；

图12为本申请一个实施例提供的空间标定装置的结构示意图一；

图13为本申请一个实施例提供的空间标定装置的结构示意图二；

图14为本申请一个实施例提供的计算机设备结构示意图。

具体实施方式

在实现本申请的过程中，发明人发现，目前的在对相机进行空间标定的过程中精度差。针对上述问题，本申请实施例中提供了一种空间标定的方法。

本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

现有技术中，相机的主动式标定方式可以通过如下方式：将主动定位装置固定到摄像机上，依靠定位装置获取自身位置，摄像机与定位装置固连，从而获得摄像机位姿。在计算摄像机位姿时，主动式标定一般需要在场景中安装固定标记点，以确定摄像机位置，但是这种计算方式依赖于固定标记点和固定场所，若是场景中部署的固定标记点数量少或者标记点分散，则会导致在计算摄像机位姿时，初始位置和当前位置的空间距离跨度大，导致定位精度较差。

有鉴于此，为了解决目前空间标定的精度低的技术问题，本申请实施例提供了一种空间标定方法。本申请所提供的空间标定方法，在相机表面部署相机追踪器，捕获相机追踪器的位姿信息和标定板追踪器的位姿信息，通过标定板串联起目标相机中局部坐标系和世界坐标系，最终获取摄像机局部坐标系在世界坐标系下的位姿。

本申请提供的空间标定方法通过被动定位方式的摄像机标定，结合被动标记点捕捉系统以实现相机的快速精确标定。

以下对本申请实施例提供的指令处理方法的应用环境作简要说明：

本申请实施例提供的一种空间标定方法应用于空间标定系统10，该空间标定系统包括硬件系统101、软件系统102和辅助系统103，软件系统102分别与硬件系统101和辅助系统103相连接。硬件系统101根据软件系统102的操控指令控制相机采集标定板中特征点的位置信息和标定板的图像，并将所采集的数据向软件系统101传输。

请参见图1，本申请所提及的硬件系统至少包括相机、相机追踪器、至少一个标定板和控制系统，相机追踪器部署于相机表面，控制系统分别与相机、相机追踪器和标定板相连接。标定板中部署至少有能够反光的特征点，控制系统控制相机采集标定板中的特征点，控制系统采集相机在拍摄标定板中目标特征点时，产生的目标特征点的反光点，并将反光点组成刚体标记为标定板追踪器。

本申请所提供的空间标定系统中的软件系统，用于控制硬件系统采集标定板图像和标定板中特征点的位置信息，并控制辅助系统采集标定版中特征点的位姿数据，根据标定位的位置信息、位姿数据和标定板的图像数据，对目标物体在不同坐标系下位置信息进行转换处理，实现目标物体的空间标定，并优化处理坐标系之间的转化过程，提高空间标定的精确度。

本申请所提供的空间标定系统中的软件系统至少包括采集控制器，图像处理器，摄像机参数计算器，摄像机参数优化器，摄像机局部位姿计算器，摄像机局部位姿优化器等。

其中，采集控制器，用以控制摄像机采集空间中自由运动的标定板图像，及控制捕捉系统实时获取摄像机追踪器位姿和标定板追踪器位姿；图像处理器，用以对相机所采集的标定板图像进行预处理，并提取棋盘格特征点的位置坐标；摄像机参数计算器，用于计算摄像机的相机内参与多个相对标定板外参矩阵；摄像机参数优化器，用于优化摄像机的相机内参的外参矩阵，使重投影误差最小；摄像机局部位姿计算器，用以计算摄像机自身坐标系相对于摄像机追踪器坐标系位姿；摄像机局部位姿优化器，用于对摄像机局部位姿进行优化，得到重投影误差最小的摄像机位姿。

本申请所提供的空间标定系统中的辅助捕获系统用于捕获硬件系统中相机追踪器的位姿和标定板追踪器的位姿，并向软件系统发送相机追踪器的位姿和标定板追踪器的位姿。辅助捕获系统包括辅助硬件系统和辅助软件系统，辅助硬件系统包括红外相机和服务器，辅助软件系统包括被动点捕捉软件；辅助软件系统控制辅助硬件系统采集红外相机在标定板中的反光点。辅助硬件系统中的红外相机可以包括多个近红外相机，多个近红外相机均匀分布在摄像机运动大空间四周，保证相机运动均在其捕捉区域中。近红外多相机在采集标定板时，可以实时获取多个被动反光点坐标，如以120Hz频率获取；并追踪多个反光点组成的刚体位姿。

请参见图2，以下实施例以上述控制系统为执行主体，将本申请实施例提供一种空间标定的方法应用于上述控制系统，此处以对目标相机进行空间标定为例进行具体说明。本申请实施例提供的空间标定方法包括如下步骤201-步骤204：

步骤201、获取待标定对象在目标相机的相机坐标系中的初始位姿。

相机坐标系是指以目标相机的镜头中的光心为坐标系的原点，通过目标相机坐标系能够确定从相机的角度描述物体位置信息。

其中，初始位姿至少包括位置信息和姿态信息，从而能够在三维空间体系下描述物体的位移和扭转。

待标定对象可以是部署于相机表面的追踪器，通过获取相机追踪器的初始位姿，能够计算得到摄像机局部坐标系在世界坐标系下的位姿，从而完成相机的空间标定。

步骤202、获取当前标定板中目标特征点在相机坐标系中的目标相机追踪器位姿，和该目标特征点的反光点在标定板坐标系中的标定板追踪器位姿。

本申请实施例所提及的目标相机追踪器是指部署于目标相机表面的追踪器，该追踪器可以用于定位目标相机。本申请实施例所提及的目标相机追踪器位姿是指相机追踪器在拍摄标定板中目标特征点所生成的位姿。本申请实施例所提及的目标特征点的反光点是指相机在拍摄标定板的特征点时产生的反光点。本申请实施例中指可以将上述反光点组成的刚体位姿标记为标定板追踪器，通过标定板追踪器便于追踪标定板反光点的位姿信息。本申请实施例根据反光点组成的刚体位姿，确定刚体位姿在标定板坐标系中的位姿信息，生成标定板追踪器位姿。

如图3所示，本申请实施例所提及的标定板中包括多个特征点和特征点所对应的反光点，图中的实心黑色圆圈为特征点，图中的空心白色圆圈为特征点所对应的反光点。

本申请实施例可以在同一时刻获取标定板追踪器位姿和目标相机追踪器位姿，保证系统获取的标定板追踪器位姿和目标相机追踪器位姿的时域同步性，从而提高了空间计算的准确率。

本申请实施例可以通过控制辅助追踪系统中的红外相机，实时捕捉能反射红外光的被动式特征点，对特征点的位置进行三角测量来获得目标相机追踪器位姿。

本申请实施例所提及的方法中，通过获取标定板追踪器位姿和目标相机追踪器位姿可以捕获多个目标定位点的位姿信息，捕获的位姿信息越多，能够为计算初始位置在标定板坐标系的相对位姿提供更多参考的数据，最终提高计算空间标定的精准度。

步骤203、根据目标特征点所对应的标定板追踪器位姿和目标相机追踪器位姿，进行相机坐标系和标定板坐标系的转换，确定初始位姿在标定板坐标系中的相对位姿。

本申请实施例通过同一特征点在不同坐标系中的位姿信息，能够明确特征点从相机坐标系到标定板坐标系的转换关系，即如何通过平移和扭转初始的位置信息，得到在标定板坐标系中的相对位姿信息。

步骤204、根据目标特征点在世界坐标系中的位置信息，确定待标定对象的初始位姿在世界坐标系中的目标位姿。

通过标定板串联起摄像机局部坐标系和捕捉系统世界坐标系，得到摄像机局部坐标系在世界坐标系下的位姿。本申请实施例所提供的空间标定方法在目标相机中部署相机追踪器，获取相机追踪器和标定板追踪器的位姿信息，通过标定板串联起摄像机局部坐标系和捕捉系统世界坐标系，得到摄像机局部坐标系在世界坐标系下的位姿。本申请实施例所提供的空间标定方法通过相机追踪器和标定板追踪器，实现目标定位点的多维度定位，通过多维度定位提高了计算目标相机的相机内参和外参矩阵的精准度，通过相机内参和外参矩阵，能够计算目标物体在摄像机局部坐标系中的初始位姿，转换至在世界坐标系下的位姿，最终提高空间标定的精准度。本申请实施例所提供的空间标定方法标定过程简单，操作便捷，定位精准度高。

本申请实施例通过对目标相机的空间标定，能够获取该目标相机在当前空间内的位姿信息，再通过虚拟渲染引擎处理该位姿信息，能够为引擎中的虚拟相机提供真实相机在三维空间中的位姿信息，以及目标相机的相机内参和外参矩阵等，最终依靠实时渲染和实时抠像与合成技术，实现虚拟摄影机与真实摄影机的运动及构图的同步，使得实拍画面与虚拟元素得以实时合成。本申请实施例能够使得摄像机在大空间自由运动中，时刻得到在世界坐标系下摄像机自身坐标系，方便相机与广播电视制作虚拟场景关联。

请参见图4，在本申请的一个可选实施例中，上述步骤202获取目标特征点在相机坐标系中的目标相机追踪器位姿，包括如下步骤401-步骤403：

步骤401、获取目标相机追踪器所采集的目标特征点的位置信息。

本申请实施例所提及的目标特征点可以是在当前标定板中的多个特征点。本申请实施例可以在当前的空间也即大环境中部署多个标定板，通过捕获标定板中的特征点的位置信息，便于计算目标相机相对于标定板的相对位姿。

步骤402、根据位置信息在相机坐标系中的位姿，生成目标相机追踪器位姿。

本申请实施例通过捕获目标相机追踪器的位姿，能够建立相机坐标系与标定板坐标系之间的转换关系，从而能够根据相机坐标系下的初始位姿明确在标定板坐标系中的相对位姿，再通过标定板，确定目标物体在世界坐标系中的目标位姿，最终完成空间标定；通过获取目标相机追踪器的位姿，能够实现多维度的定位，从而提高空间标定的精准度。

请参见图5，在本申请的一个可选实施例中，上述步骤202获取目标特征点的反光点在标定板坐标系中的标定板追踪器位姿，包括如下步骤501-步骤502：

步骤501、获取当前标定板中至少一个特征点所对应的反光点的位置信息。

上述的反光点是指在目标相机捕获当前标定板中目标特征点时，目标特征点产生的反光点。

步骤502、根据反光点的位置信息在标定板坐标系中的位姿，生成标定板追踪器位姿。

在标定板坐标系中确定反光点位置信息的具体参数值，生成标定板追踪器位姿。

本申请实施例通过捕获标定板追踪器的位姿，能够建立相机坐标系与标定板坐标系之间的转换关系，从而能够根据相机坐标系下的初始位姿明确在标定板坐标系中的相对位姿，再通过标定板，确定目标物体在世界坐标系中的目标位姿，最终完成空间标定；通过获取标定板追踪器位姿，能够实现多维度的定位，从而提高空间标定的精准度；并且通过标定板串联起摄像机局部坐标系和捕捉系统世界坐标系，便于计算同一物体在不同坐标系下的位姿，提高了空间标定的效率。

请参见图6，在本申请的一个可选实施例中，上述步骤203中确定初始位姿在标定板坐标系中的相对位姿，包括如下步骤601-步骤602：

步骤601、根据目标特征点所对应的标定板追踪器位姿和目标相机追踪器位姿，计算目标相机追踪器位姿在标定板坐标系中的坐标转换参数。

坐标转换参数至少包括旋转、平移和尺度参数。

通过计算目标特征点从目标相机坐标系进行坐标转换，转换至在标定板坐标系，即三维点投影到二维成像平面变为像点的过程，获取转换过程在的位移矢量和旋转矩阵，计算目标相机追踪器位姿在标定板坐标系中的坐标转换参数。

步骤602、根据坐标转换参数，确定初始位姿在标定板坐标系中的相对位姿。

通过获取坐标转移参数，能够计算初始位姿如何进行旋转和平移处理后，最终获取在标定板坐标系中的相对位姿。

本申请实施例通过同一特征点在标定板中的位姿和相机坐标系中的位姿，建立了不同坐标系之间的转换关系，提高了计算目标物体在摄像机局部坐标系中的初始位姿，转换至在世界坐标系下的位姿的效率。

请参见图7，在本申请的一个可选实施例中，本申请实施例还公开了优化目标位姿的计算精准度，包括如下步骤701-步骤705：

步骤701、获取目标相机的初始外参矩阵和初始相机内参。

相机内参用于指示目标相机成像的物理参数。相机内参至少包括：主点、焦距、径向镜头畸变、偏轴镜头畸变以及其它系统误差参数。

相机外参用于指示坐标系之间的转换关系，相机外参至少包括：旋转矩阵，相对位移。其中，旋转矩阵是摄像机在世界坐标系中的旋转角度，即摄像机经过这个旋转矩阵变换可与世界坐标系平行；相对位移是摄像机在世界坐标系中的位移量，即摄像机经过旋转矩阵后再经过相对平移可得到世界坐标系。

本申请实施例可以通过获取标定板中特征点的在标定板坐标系中的坐标及标定板真实物理尺寸坐标，计算目标相机的初始外参矩阵和初始相机内参。

例如，可以运用张正友平面标定算法实现求解目标相机的初始外参矩阵和初始相机内参，其计算步骤包括：

首先，建立标定板平面与相机成像平面的单应性矩阵H方程；其次，求解单应性矩阵H，H矩阵与比例无关，有8个自由度，故标定板至少需要4点建立方程求解，一般标定板上特征点数远大于4点，建立冗余方程求解；然后根据旋转矩阵各分量的正交性约束得到 ，其中K表示相机内参；最后利用平方根法进行矩阵分解，分解 ,求得内参矩阵，最后得到各标定板图像的旋转矩阵和平移向量。

步骤702、根据该初始外参矩阵和该初始相机内参，计算该当前标定板中目标特征点的重投影误差。

重投影误差是指误差是指的真实三维空间点在标定板图像平面上的投影值和重投影的差值。

目标特征点的重投影误差，可以通过计算标定板在相机坐标系中的坐标点重投影到图像平面与标定板坐标系中图像坐标的残差值获取。

步骤703、若该重投影误差大于或者等于预设阈值，则调整目标相机的姿态，重新计算外参矩阵和相机内参。

调整目标相机的姿态用于使得当前标定板中标定板的投影点尽量重合。

调整目标相机的姿态后，重新获取标定板的位置信息和位姿信息，计算目标外参矩阵和目标相机内参。

本申请实施例可以通过用光束平差非线性优化算法，对目标相机的姿态进行优化得到重投影误差最小的摄像机位姿，例如可以通过LM（Levenberg-Marquardt，列文伯格-马夸尔特法）算法进行优化。

步骤704、根据当前目标相机的外参矩阵和相机内参，计算当前标定板中目标特征点的重投影误差，直至该重投影误差小于预设阈值，则将该当前的外参矩阵确定为目标外参矩阵，将当前的相机内参确定为目标相机内参。

本申请实施例将重投影误差小于预设阈值作为优化目标，即将标定板3D坐标点重投影到图像平面与2D图像坐标的残差值最小为优化目标，从而减小特征点在标定板坐标系转换至世界坐标系的目标位姿时的误差。

步骤705、根据目标外参矩阵和和目标相机内参，获取目标位姿。

本申请实施例所提供的方法将初始位姿作为初值并当作优化参数，棋盘格标定板自身坐标系下3D特征点坐标作为真值，3D特征点坐标距离误差作为目标函数，通过迭代优化，得到最终的摄像机局部位姿。

本申请实施例所提供的优化的过程能够通过调整相机的姿态，优化相机内参和外参矩阵的精准度，并通过优化后的相机内参和外参矩阵，计算目标物体在摄像机局部坐标系中的初始位姿，转换至在世界坐标系下的位姿，使得空间标定的精准度进一步提高。

请参见图8，在本申请的一个可选实施例中，上述步骤701获取该目标相机的初始外参矩阵和初始相机内参，包括如下步骤801-步骤804：

步骤801、获取当前标定板的标定板图像。

在相机可采集范围内，采集当前标定板的标定板图像。

步骤802、获取标定板图像中目标特征点的位置信息。

目标特征点的位置信息是指目标特征点在标定板坐标系中的位置信息。

步骤803、获取该当前标定板的尺寸参数。

该尺寸参数是指当前标定板的真实物理尺寸。

获取当前标定板的尺寸参数可以通过实际的测量获取，也可以通过事先部署预设尺寸的标定板，通过读取预设尺寸获取。

步骤804、根据当前标定板的位置信息和当前标定板的尺寸参数，计算该初始目标相机的相机内参和外参矩阵。

其中，相机内参用于指示相机的成像参数；外参矩阵用于指示如何将目标物在世界坐标系和标定板坐标系中的位置进行转换关系。

具体的计算过程可以如上述步骤701所记载，此处不再赘述。

本申请实施例所提供的方法能够通过相机内参和外参矩阵，计算目标物体在摄像机局部坐标系中的初始位姿，转换至在世界坐标系下的位姿，从而使得空间标定的精准度进一步提高。

请参见图9，在本申请的一个可选实施例中，上述步骤802获取标定板图像中目标特征点的位置信息，包括如下步骤901-步骤902：

步骤901、确定标定板图像中的目标区域。

通过采集空间中运动的标定板，生成标定板图像。

标定板图像可以划分为多个区域，在标定板图像的多个区域中，目标区域是指标定板图像中与相邻区域有着明显区别的区域，如灰度值大于相邻区域。

在计算目标区域时可以通过利用斑点检测算法提取标定板中的目标区域，如椭圆斑点区域。

步骤902、在目标区域中计算目标特征点的位置信息。

例如，可以通过图像矩计算斑点质心坐标；再通过斑点质点坐标获取目标特征点的位置信息。

其中，图像矩可以用于指示标定板图像的全局特征，还可以指示标定板图像的图像信息，图像信息至少包括图像大小、位置、方向和形状等信息。

其中，质心坐标是指图形中的点相对各顶点的位置。

本申请所提供的实施例通过在标定板图像中确定目标区域，能够快速区分与标定板图像其他区域不同的区域，并在目标区域中计算目标特征点的位置信息，从而能够更加准确的识别目标特征点。

请参见图10，在本申请的一个可选实施例中，上述步骤901确定标定板图像中的目标区域，包括如下步骤1001-步骤1003：

步骤1001、通过对该标定板图像进行增加对比度处理，获取标定板图像中的每个区域的特征参数。

增强对比度处理可以是用于提高画面明暗对比度或者提高画面的整体均衡度。

例如，可以通过图像灰度变换，或者直方图映射处理，来增强标定板图像的对比度。

根据预设规则将标定板图像划分为N个区域，并依次计算N个区域中每个区域的特征参数。

该特征参数包括颜色值和灰度值中的至少一种。

步骤1002、遍历标定板图像中的每个区域，计算每个区域的特征参数与相邻区域中特征参数的差值。

在计算特征参数的差值可以通过计算每个区域的灰度值，或者像素值来计算。

遍历标定板图像的路线可以是Z字型进行遍历，也可以是根据预设路线进行遍历。

步骤1003、若当前区域的差值大于预设值，则确定将当前区域确定为目标区域。

预设值可以根据用户设置，或者根据历史比对结果进行设置。

本申请所提供的实施例通过对标定板图像进行增强对比度的处理，能够更加准确的确定标定板图像中的目标区域，突出目标特征点在标定板图像中的对比度，从而以提高在标定板中识别度，更加高效的计算特征点的坐标。

请参见图11，在本申请的一个可选实施例中，确定该相对位姿在世界坐标系中的目标位姿，包括如下步骤1101-步骤1103：

步骤1101、获取标定板中目标特征点在世界坐标系中的初始位姿。

通过红外相机采集目标特征点在世界坐标系中的初始位姿，即在当前空间中的初始位姿。

步骤1102、根据相机内参和外参矩阵，计算该目标特征点在标定板坐标系中的目标坐标。

通过计算目标特征点投影至当前标定板时位置，获取目标特征点在标定板坐标系中的目标坐标。

计算目标相机自身坐标系在捕捉系统坐标系下位姿时，可以通过标定板作为桥梁，将目标相机与捕捉系统位姿相关联，相机坐标与世界坐标相关联。通过实际测量目标特征点投影的位置，能够获取标定板追踪器与标定板自身坐标系相对位姿关系，从而建立起完整关系，得到目标相机自身坐标系相对于相机追踪器坐标系相对位姿，即，摄像机局部位姿，以及目标相机自身坐标系在当前空间中世界坐标系下位姿。

步骤1103、通过初始位姿和目标坐标之间的坐标转换，确定该相对位姿在世界坐标系中的目标位姿。

坐标转换是指从一种坐标系统变换到另一种坐标系统的过程，通过转换过程，确定如何将标定板坐标系中的经过旋转、平移转换至世界坐标系下的位置，从而确定相对位姿在世界坐标系中的目标位姿。

本申请所提供的实施例通过获取标定板追踪器位姿，能够实现多维度的定位，从而提高空间标定的精准度；并且通过标定板串联起摄像机局部坐标系和捕捉系统世界坐标系，便于计算同一物体在不同坐标系下的位姿，提高了空间标定的效率。

本申请所提供的实施例中还可以优化摄像机局部位姿的精准度，如将摄像机局部位姿作为初值并当作优化参数，棋盘格自身坐标系下3D特征点坐标作为真值，3D特征点坐标距离误差作为目标函数，利用标定板坐标系到摄像机坐标系到摄像机追踪器坐标系到捕捉系统坐标系到标定板追踪器坐标系到标定板坐标系计算变换矩阵，并将3D特征点坐标变换到该坐标系下，得到观测值；通过迭代优化，得到最终的摄像机局部位姿。

应该理解的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

请参见图12，本申请一个实施例提供了一种空间标定装置120，包括：

定位模块1201，用于获取待标定对象在目标相机的相机坐标系中的初始位姿；

采集模块1202，用于获取当前标定板中目标特征点在相机坐标系中的目标相机追踪器位姿，和该目标特征点的反光点在标定板坐标系中的标定板追踪器位姿；

参数计算模块1203，用于根据目标特征点所对应的标定板追踪器位姿和目标相机追踪器位姿，进行相机坐标系和标定板坐标系的转换，确定初始位姿在标定板坐标系中的相对位姿；

标定模块1204，用于根据目标特征点在世界坐标系中的位置信息，确定待标定对象的初始位姿在世界坐标系中的目标位姿。

请参见图13，在本申请的一个可选实施例中，空间标定装置120还包括优化模块1205，该优化模块1205用于：

获取该目标相机的初始外参矩阵和初始相机内参；

根据该初始外参矩阵和该初始相机内参，计算该当前标定板中目标特征点的重投影误差；

若该重投影误差大于或者等于预设阈值，则调整目标相机的姿态，并重新计算外参矩阵和相机内参；

根据当前目标相机的外参矩阵和相机内参计算该当前标定板中目标特征点的重投影误差，直至该重投影误差小于预设阈值，则将当前目标相机外参矩阵确定为目标外矩阵，将当前内参确定为目标内参；

根据该目标外参矩阵和和该目标相机内参，获取目标位姿。

在本申请的一个可选实施例中，空间标定装置120中的优化模块1205还用于：

获取当前标定板的标定板图像；

获取标定板图像中目标特征点的位置信息；

获取当前标定板的尺寸参数；

根据当前标定板的位置信息和尺寸参数，计算该目标相机的相机内参和外参矩阵。

在本申请的一个可选实施例中，空间标定装置120中的优化模块1205，还用于：

确定当前标定板图像中的目标区域；

在目标区域中计算目标特征点的位置信息；

其中，该目标区域是指标定板图像的多个图像区域中与相邻区域有差异的区域。

在本申请的一个可选实施例中，空间标定装置120中的优化模块1205，还用于：

通过对该标定板图像进行增加对比度处理，获取标定板图像中的每个区域的特征参数，该特征参数包括颜色值和灰度值中的至少一种；

遍历标定板图像中的每个区域，计算每个区域的特征参数与相邻区域中特征参数的差值；

若当前区域的差值大于预设值，则将当前区域确定为目标区域。

在本申请的一个可选实施例中，空间标定装置120中的采集模块1202，还用于：

获取该当前标定板中至少一个特征点所对应的反光点的位置信息；

根据反光点的位置信息在标定板坐标系中的位置信息，生成标定板追踪器位姿。

在本申请的一个可选实施例中，空间标定装置120中的采集模块1202，还用于：

根据目标相机追踪器所采集的目标特征点的位置信息；

根据位置信息在相机坐标系中的位姿，生成目标相机追踪器位姿。

在本申请的一个可选实施例中，空间标定装置120中的参数计算模块1203，还用于：

根据目标特征点所对应的标定板追踪器位姿和目标相机追踪器位姿，计算目标相机追踪器位姿在标定板坐标系中的坐标转换参数 ；

根据该坐标转换参数，确定初始位姿在标定板坐标系中的相对位姿。

在本申请的一个可选实施例中，空间标定装置120中的标定模块1204，还用于：

获取标定板中目标特征点在世界坐标系中的初始位姿；

根据相机内参和外参矩阵，计算该目标特征点在标定板坐标系中的目标坐标；

根据初始位姿和目标坐标之间的坐标转换，确定该相对位姿在世界坐标系中的目标位姿。

通过本申请提供的空间定位装置，能够通过相机追踪器和标定板追踪器，实现目标定位点的多维度定位，通过多维度定位提高了计算目标相机的相机内参和外参矩阵的精准度，通过相机内参和外参矩阵，能够计算目标物体在摄像机局部坐标系中的初始位姿，转换至在世界坐标系下的位姿，最终提高空间标定的精准度。本申请所提供的空间标定方法标定过程简单，操作便捷，定位精准度高。

关于上述空间标定装置的具体限定可以参见上文中对于空间标定方法的限定，在此不再赘述。上述空间标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备的内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现如上的一种空间标定方法。包括：包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如上空间标定方法中的任一步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可以实现如上空间标定方法中的任一步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程空间标定设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种空间标定方法，其特征在于，包括：

获取待标定对象在目标相机的相机坐标系中的初始位姿；

获取当前标定板中目标特征点在相机坐标系中的目标相机追踪器位姿，和所述目标特征点的反光点在标定板坐标系中的标定板追踪器位姿；

根据目标特征点所对应的标定板追踪器位姿和目标相机追踪器位姿，进行相机坐标系和标定板坐标系的转换，确定初始位姿在标定板坐标系中的相对位姿；

根据目标特征点在世界坐标系中的位置信息，确定所述待标定对象的初始位姿在世界坐标系中的目标位姿。

2.根据权利要求1所述的空间标定方法，其特征在于，所述确定初始位姿在世界坐标系中的目标位姿，还包括：

获取所述目标相机的初始外参矩阵和初始相机内参；

根据所述初始外参矩阵和所述初始相机内参，计算所述当前标定板中目标特征点的重投影误差；

若所述重投影误差大于或者等于预设阈值，则调整目标相机的姿态，并重新计算外参矩阵和相机内参；

根据当前目标相机的外参矩阵和相机内参计算所述当前标定板中目标特征点的重投影误差，直至所述重投影误差小于预设阈值，则将所述当前的外参矩阵确定为目标外参矩阵，将当前的相机内参确定为目标相机内参；

根据所述目标外参矩阵和和所述目标相机内参，获取目标位姿。

3.根据权利要求2所述的空间标定方法，其特征在于，所述获取所述目标相机的初始外参矩阵和初始相机内参，包括：

获取当前标定板的标定板图像；

获取所述标定板图像中目标特征点的位置信息；

获取所述当前标定板的尺寸参数；

根据当前标定板的位置信息和尺寸参数，计算所述目标相机的初始相机内参和初始外参矩阵。

4.根据权利要求3所述的空间标定方法，其特征在于，所述获取标定板图像中目标特征点的位置信息，包括：

确定当前标定板图像中的目标区域；

在目标区域中计算目标特征点的位置信息；

其中，所述目标区域是指标定板图像的多个图像区域中与相邻区域有差异的区域。

5.根据权利要4所述的空间标定方法，其特征在于，所述确定标定板图像中的目标区域，包括：

通过对所述标定板图像进行增加对比度处理，获取标定板图像中的每个区域的特征参数，所述特征参数包括颜色值和灰度值中的至少一种；

遍历所述标定板图像中的每个区域，计算每个区域的特征参数与相邻区域中特征参数的差值；

若当前区域的差值大于预设值，则将当前区域确定为目标区域。

6.根据权利要求1所述的空间标定方法，其特征在于，所述获取目标特征点的反光点在标定板坐标系中的标定板追踪器位姿，包括：

获取所述当前标定板中至少一个特征点所对应的反光点的位置信息；

根据反光点的位置信息在标定板坐标系中的位置信息，生成标定板追踪器位姿。

7.根据权利要求1所述的空间标定方法，其特征在于，所述确定初始位姿在标定板坐标系中的相对位姿，包括：

根据目标特征点所对应的标定板追踪器位姿和目标相机追踪器位姿，计算目标相机追踪器位姿在标定板坐标系中的坐标转换参数；

根据所述坐标转换参数，确定初始位姿在标定板坐标系中的相对位姿。

8.根据权利要求1所述的空间标定方法，其特征在于，所述确定相对位姿在世界坐标系中的目标位姿，包括：

获取标定板中目标特征点在世界坐标系中的初始位姿；

根据相机内参和外参矩阵，计算所述目标特征点在标定板坐标系中的目标坐标；

通过初始位姿和目标坐标之间的坐标转换，确定所述相对位姿在世界坐标系中的目标位姿。

9.根据权利要求1所述的空间标定方法，其特征在于，所述获取目标相机追踪器位姿，包括：

根据目标相机追踪器所采集的目标特征点的位置信息；

根据位置信息在相机坐标系中的位姿，生成目标相机追踪器位姿。

10.一种空间标定装置，其特征在于，包括：

定位模块，用于获取待标定对象在目标相机的相机坐标系中的初始位姿；

采集模块，用于获取当前标定板中目标特征点在相机坐标系中的目标相机追踪器位姿，和所述目标特征点的反光点在标定板坐标系中的标定板追踪器位姿；

参数计算模块，用于根据目标特征点所对应的标定板追踪器位姿和目标相机追踪器位姿，进行相机坐标系和标定板坐标系的转换，确定初始位姿在标定板坐标系中的相对位姿；

标定模块，用于根据目标特征点在世界坐标系中的位置信息，确定所述待标定对象的初始位姿在世界坐标系中的目标位姿。

11.一种计算机设备，包括：包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

Images