CN113658270A - 基于工件孔心的多目视觉标定的方法、装置、介质及系统 - Google Patents

Abstract

本发明公开了一种基于工件孔心的多目视觉标定的方法、装置、介质及系统，基于工件孔心的多目视觉标定的方法，包括：获取多台相机视角下的标定板的图像数据；根据标定板的图像数据获取相机初始参数，其中，相机初始参数包括相机内参、相机外参以及相机畸变系数；获取多台相机视角下的标定工件的样本图像数据；基于标定工件的样本图像数据，转换相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参；基于标定工件孔心优化相机初始参数。采用该基于工件孔心的多目视觉标定的方法得到的相机初始参数泛化性高，测量工件圆孔精度高，可直接将测量结果表示在工件坐标系上，方便测量。

Description

基于工件孔心的多目视觉标定的方法、装置、介质及系统

技术领域

本发明涉及多目视觉标定技术领域，尤其是涉及一种基于工件孔心的多目视觉标定的方法、装置、介质及系统。

背景技术

在检测测量工业中，基于工业高精度测量要求，通常采用三坐标测量机来测量。但是对于需要测量多特征点的工件，采用三坐标测量机进行测量时，需要控制三坐标测量机走点测量工件的每一个待测点，时间开销巨大，且无法满足快速测量的需求。因此采用多目视觉测量技术可实现对多特征点的工件的快速测量。

在现有技术中，基于多目视觉的工业测量技术通常使用标定板完成多相机标定，但得到的相机初始参数直接用于工业测量不能达到很高的测量精度，因此对工件的测量泛化性不高，且标定得到的相机所在世界坐标系通常为标定板平面坐标系或某一相机的相机坐标系，不方便测量。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的目的之一在于提出一种基于工件孔心的多目视觉标定的方法，该方法可以在快速测量的基础上，提高对标定工件的测量精度，并且可直接将测量结果表示在工件坐标系上，方便测量。

本发明的目的之二在于提出一种基于工件孔心的多目视觉标定的装置。

本发明的目的之三在于提出一种非临时性计算机可读存储介质。

本发明的目的之四在于提出一种基于工件孔心的多目视觉标定的系统。

为了达到上述目的，本发明第一方面实施例提出的基于工件孔心的多目视觉标定的方法，包括：获取多台相机视角下的标定板的图像数据；根据所述标定板的图像数据获取相机初始参数，其中，所述相机初始参数包括相机内参、相机外参以及相机畸变系数；获取所述多台相机视角下的标定工件的样本图像数据；基于所述标定工件的样本图像数据，转换所述相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参；基于标定工件孔心优化所述相机初始参数。

根据本发明实施例的基于工件孔心的多目视觉标定的方法，基于相机初始参数和标定工件的样本图像数据，将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，即可以直接将测量结果表示在工件坐标系上，方便测量。基于标定工件孔心对相机初始参数进行优化处理，提升相机的检测精度，提升标定工件测量的泛化性。

在本发明的一些实施例中，获取多目视觉相机视角下的标定板的图像数据，包括：所述标定板为四方形标定板，每个所述标定板上设置有多个标记物；固定所述多台相机位置并移动所述标定板，控制所述多台相机拍照，以获取多个所述标定板的图像作为所述标定板的图像数据。

在本发明的一些实施例中，所述多台相机中任意一台相机视角下至少包括三幅标定板的图像，以及，所述任意一幅标定板图像中包括若干个所述标记物。

在本发明的一些实施例中，所述获取所述多台相机视角下的标定工件的样本图像数据，包括：获取所述标定工件的实际图像数据；对所述实际图像数据中的零件孔进行ROI(region of interest，感兴趣区域)标注，以获取标注后的图像数据；根据所述相机内参和所述相机畸变系数对所述标注后的图像数据去畸变处理以获得处理后的图像数据；在所述处理后的图像数据内，根据椭圆检测算法拟合椭圆得到椭圆中心作为所述标定工件孔心的2D观测点。

在本发明的一些实施例中，所述转换所述相机初始参数所在的世界坐标系为所述工件坐标系，包括：基于所述相机内参和所述椭圆检测的所述标定工件孔心的2D观测点重建获得所述标定工件的重建点云；确定所述重建点云以及所述标定工件的三坐标测值点云的刚性变换关系，并应用至所述相机外参中。

在本发明的一些实施例中，所述基于标定工件孔心优化所述相机初始参数，包括：根据所述相机内参和所述转换坐标系后的相机外参将所述标定工件的明义值投影至图像平面获得模板图片；将所述标注后的图像数据和所述模板图片进行匹配，获取优化后的标定工件孔心的2D观测点。

在本发明的一些实施例中，所述基于标定工件孔心优化所述相机初始参数，还包括：获取所述标定工件的三坐标测值为3D点；获取所述相机内参和所述转换坐标系后的相机外参作为所述相机的初值；根据所述优化后的标定工件孔心的2D观测点和所述相机的初值固定所述3D点；根据光束法平差对所述相机初始参数进行优化。

为了达到上述目的，本发明第二方面实施例提出的基于工件孔心的多目视觉标定的装置，包括：图像获取模块，用于获取多台相机视角下的标定板的图像数据，以及，用于获取所述多台相机视角下的标定工件的样本图像数据；数据生成模块，用于根据所述标定板的图像数据获取相机初始参数，其中，所述相机初始参数包括相机内参、相机外参以及相机畸变系数；坐标系转换模块，用于基于所述标定工件的样本图像数据，转换所述相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参；参数优化模块，用于基于标定工件孔心优化所述相机初始参数。

根据本发明实施例的基于工件孔心的多目视觉标定的装置，基于图像获取模块、数据生成模块、坐标系转换模块和参数优化模块的架构，坐标系转换模块基于获得的相机初始参数和标定工件的样本图像数据，将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，即可以直接将测量结果表示在工件坐标系上，方便测量。和参数优化模块基于标定工件孔心对相机初始参数进行优化处理，提升相机的检测精度，提升标定工件测量的泛化性。

为了达到上述目的，本发明第三方面实施例提出的非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时可实现上面任一项实施例所述的基于工件孔心的多目视觉标定的方法。

根据本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序运行时，能获取装置中各个结构的运行参数进行分析计算，在对标定工件进行检测的过程中，处理器可控制相机进行拍摄动作，并将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，方便测量，还能基于标定工件孔心对相机初始参数进行优化处理，从而实现上面实施例的基于工件孔心的多目视觉标定的方法，本实施例的存储介质对装置各部分运行状态及参数等具有记忆性，提升相机的检测精度，提升标定工件测量的泛化性。

为了达到上述目的，本发明第四方面实施例提出的基于工件孔心的多目视觉标定的系统，包括：图像采集装置，用于采集标定板的图像数据和标定工件的样本图像数据；上面第三方面实施例所述的基于工件孔心的多目视觉标定的装置，所述基于工件孔心的多目视觉标定的装置与所述图像采集装置连接，用于优化所述相机初始参数。

根据本发明实施例的基于工件孔心的多目视觉标定的系统，通过采用上述实施例提供的基于深度学习的孔心检测装置，可以将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，即可以直接将测量结果表示在工件坐标系上，方便测量。还可以基于标定工件孔心对相机初始参数进行优化处理，提升相机的检测精度，提升标定工件测量的泛化性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的基于工件孔心的多目视觉标定的方法的流程图；

图2是根据本发明另一个实施例的基于工件孔心的多目视觉标定的方法的流程图；

图3是根据本发明又一个实施例的基于工件孔心的多目视觉标定的方法的流程图；

图4是根据本发明又一个实施例的基于工件孔心的多目视觉标定的方法的流程图；

图5是根据本发明一个实施例的模板图片的示意图；

图6是根据本发明一个实施例的基于工件孔心的多目视觉标定的装置的框图；

图7是根据本发明一个实施例的基于工件孔心的多目视觉标定的系统的框图。

附图标记：

基于工件孔心的多目视觉标定的系统100；

基于工件孔心的多目视觉标定的装置10、图像采集装置20；

图像获取模块101、数据生成模块102、坐标系转换模块103、参数优化模块104。

具体实施方式

下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。

为了解决上述问题，本发明第一方面实施例提出一种基于工件孔心的多目视觉标定的方法，下面参考图1-图5描述本发明实施例提出的基于工件孔心的多目视觉标定的方法，如图1所示，为根据本发明一个实施例的基于工件孔心的多目视觉标定的方法的流程图，其中，该方法至少包括步骤S1-步骤S5，具体如下。

S1，获取多台相机视角下的标定板的图像数据。

在实施例中，标定板为四方形标定板，每个标定板上设置有多个标记物。其中，可应用一种开源的标定工具如Kalibr标定工具以获取多台相机视角下的标定板的图像数据，Kalibr标定工具具有多目相机标定功能，四方形标定板可以根据Kalibr标定工具提供的标定板样例进行制作。

固定多台相机位置并移动标定板，控制多台相机拍照，以获取多个标定板的图像作为标定板的图像数据。其中，多台相机可以包括n台相机，n的取值可以根据需要或在实验室条件下进行设定，例如n的取值可以为50、66、80等，且每一台相机的位置均固定。在固定的相机的布局下，多次移动标定板，保证多台相机中任意一台相机视角下至少包括三幅标定板的图像，以及，任意一幅标定板图像中包括若干个标记物。其中，多次移动标定板，且每移动一次标定板，控制所有相机进行一次拍照，尽量控制一台相机视角下的所拍摄的一幅标定板图像中包含有多个标记物，并且多台相机中的全部或者部分相机所拍摄的图像范围重叠，以便于在工件测量时实现场景拼接。

S2，根据标定板的图像数据获取相机初始参数，其中，相机初始参数包括相机内参、相机外参以及相机畸变系数。

在实施例中，输入多台相机拍摄的标定板图像，依据Kal ibr标定工具的多目相机标定功能，对输入的标定板图像进行标定以获得相机的相机内参、相机外参以及相机畸变系数。其中，以66台相机为例，可根据相机的设置位置或其它特点等对66台相机分别进行标号，分别为1号-66号，可以以1号相机的相机坐标系为相机外参。

S3，获取多台相机视角下的标定工件的样本图像数据。

其中，标定工件由支架支撑，66台相机分别设置在标定工件的各个方位，需保证标定工件上每一个孔位至少被两台相机视野覆盖到，标定工件的位置和相机的相对位置也固定。在固定的相机布局下，所有的相机对标定工件进行一次拍照并对获取到的获取待标定工件的图像进行处理，以获取标定工件的样本图像数据。

S4，基于标定工件的样本图像数据，转换相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参。

在实施例中，相机所在的世界坐标系以1号相机所在的相机坐标系，其中，可根据SVD(Singular Value Decomposition，奇异值分解)算法进行矩阵转换以将相机初始参数所在的世界坐标系转换为工件坐标系。

S5，基于标定工件孔心优化相机初始参数。

其中，获取标定工件的三坐标测值作为3D点，以及，基于Kalibr标定的相机内参和转换坐标系后的相机外参固定3D点，并对相机初始参数进行优化，以获得更准确的相机参数。

根据本发明实施例的基于工件孔心的多目视觉标定的方法，基于相机初始参数和标定工件的样本图像数据，将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，即可以直接将测量结果表示在工件坐标系上，方便测量。基于标定工件孔心对相机初始参数进行优化处理，提升相机的检测精度，提升标定工件测量的泛化性。

在本发明的一些实施例中，如图2所示，为根据本发明另一个实施例的基于工件孔心的多目视觉标定的方法的流程图，其中，获取多台相机视角下的标定工件的样本图像数据，即上面步骤S3包括步骤S31-步骤S34，具体如下。

S31，获取标定工件的实际图像数据。

其中，在固定的相机布局下，所有的相机对标定工件进行一次拍照，获取标定工件的图像，即测工件的实际图像数据。

S32，对实际图像数据中的零件孔进行ROI标注，以获取标注后的图像数据。

可以手动在获取的每一张待标定工件的图像上标注ROI，即从图像中选择的一个图像区域，该区域为的图像分析所关注的重点，圈定该区域以便对图像进行进一步处理，可以减少对图像数据的处理时间，增加精度。

具体地，ROI标注可以采用两个点的坐标表示，其中，在进行ROI标注时，可选择待标定工件的图像中一个图像区域，标注该图像区域的左上和右下两个点并表示为一个矩形，这个矩形即为标注ROI，并且每个ROI内部均包含标定工件的一个孔位。其中，对实际图像数据中的零件孔进行ROI标注，只需要在首次设置时进行标注，标注过后的ROI不会发生变化，即可直接沿用至后续的工件的测量中。

S33，根据相机内参和相机畸变系数对标注后的图像数据去畸变处理以获得处理后的图像数据。

其中，相机获取的标定工件的图像实质上已经经历过坐标系的转换。例如空间中的某一点由世界坐标系转换到相机坐标系，然后将其投影到成像平面时再转换为图像物理坐标系，最后将成像平面上的数据转换到图像像素坐标系，标定工件的图像经历过坐标系的转换后可能产生畸变，相机成像畸变后可能会产生一些干扰。在对实际图像数据中的零件孔进行轮廓标注后，根据已获取Kalibr标定的相机内参以及相机畸变系数，对标注后的图像数据去畸变处理后，包括对图像数据中已标注的坐标去畸变处理，可降低图像数据中的干扰，从而获得处理后的图像数据。

S34，在处理后的图像数据内，根据椭圆检测算法拟合椭圆得到椭圆中心作为标定工件孔心的2D观测点。

其中，在实施例中，在处理后的图像数据中，在每一个ROI内采用椭圆检测算法拟合椭圆得到椭圆中心，将该椭圆中心作为标定工件孔心的2D观测点，其中，将标定工件孔心的2D观测点记为X_center。

在本发明的一些实施例中，如图3所示，为根据本发明又一个实施例的基于工件孔心的多目视觉标定的方法的流程图，其中，上面步骤S4中的转换相机初始参数所在的世界坐标系为工件坐标系，包括步骤S41和步骤S42，具体如下。

S41，基于相机内参和椭圆检测的标定工件孔心的2D观测点重建获得标定工件的重建点云。

具体地，如式(1-1)所示，基于三角化重建原理，利用Kalibr标定的相机内参和标定工件孔心的2D观测点X_center重建，以获得标定工件的重建点云并记为X_CCD1。其中，K表示Kalibr标定的相机内参，[R|T]表示Kalibr标定的相机外参。

X_center＝K[R|T]X_CCD1 式(1-1)

S42，确定重建点云以及标定工件的三坐标测值点云的刚性变换关系，并应用至相机外参中。

其中，如式(1-2)所示，可依据SVD算法重建点云和标定工件的三坐标测值点云的刚性变换关系，并将该刚性变换应用到Kalibr标定的相机外参中，从而使得相机所在世界坐标系转换为标定工件坐标系，X_CMM表示重建点云，

表示三坐标测值点云X_CMM和重建点云X_CCD1的刚性变换关系，

转换世界坐标系后的相机外参。

X_center＝K[R|T][R_CMM→CCD1|T_CMM→CCD1]X_CMM 式(1-2)

在本发明的一些实施例中，如图4所示，为根据本发明又一个实施例的基于工件孔心的多目视觉标定的方法的流程图，其中，基于标定工件孔心优化相机初始参数，即上面步骤S5至少包括步骤S51和步骤S52，具体如下。

S51，根据相机内参和转换坐标系后的相机外参将标定工件的明义值投影至图像平面获得模板图片。

具体地，利用Kalibr标定的相机内参和转换坐标系后的相机外参将标定工件明义值投影到图像平面以获得模板图片，如图5所示，为根据本发明一个实施例的模板图片的示意图，其中，该图片中包括一个ROI内的标定工件的一个孔位。

S52，将标注后的图像数据和模板图片进行匹配，获取优化后的标定工件孔心的2D观测点。

在实施例中，以如图5所示的模板图片为例，在ROI内进行模板匹配以获得更准确的标定工件孔心的2D观测点，从而解决标定工件孔心投影到图像平面后与椭圆中心不一致的问题。

在本发明的一些实施例中，如图4所示，上面步骤S5，基于标定工件孔心优化相机初始参数，还包括步骤S53-步骤S56，具体如下。

S53，获取标定工件的三坐标测值为3D点。

其中，将标定工件的三坐标测值作为3D点，将经模板匹配得到的标定工件孔心作为2D观测点。

S54，获取相机内参和转换坐标系后的相机外参作为相机的初值。其中，利用Kalibr标定的相机内参和转换坐标系后的相机外参作为相机的初值。

S55，根据优化后的标定工件孔心的2D观测点和相机的初值固定3D点。

S56，根据光束法平差对相机初始参数进行优化。

具体地，光束法平差公式如式(1-3)所示，其中，j表示空间点的编号，i表示相机的编号，1≤i≤66。w_ij为权重，若第j个空间点在i号相机上没有投影则权重为0，反之为1。f(P_i,X_j)表示第j个空间点在投影在i号相机上的2D点。x_ij表示i号图片上对应的j号空间点的观测点，即通过模板匹配得到的标定工件孔心。固定空间点X＝{X₁,X₂,Λ,X_n}表示标定工件的三坐标测值,从而减小重投影误差，以获得最优的相机初始参数P＝{P₁,P₂,Λ,P_n}。

其中，由于工件圆孔为空心圆，则对于水平面上的圆孔，三坐标测量机难以测孔心Z坐标，以及，对于侧面上的圆孔，三坐标测量机难以测孔心Y坐标，则在测量标定工件的三坐标测值时，这些难以测量的坐标值可以用明义值坐标代替。在标定优化过程中，针对于水平面上的圆孔，要在优化相机内外参的同时，固定X、Y坐标并优化Z坐标。真对于侧面上的圆孔，要在优化相机内外参的同时，固定X、Z坐标并优化Y坐标。

在本发明的一些实施例中，如图6所示，为根据本发明一个实施例的基于工件孔心的多目视觉标定的装置的框图，其中，基于工件孔心的多目视觉标定的装置100包括图像获取模块101、数据生成模块102、坐标系转换模块103和参数优化模块104。

其中，图像获取模块101用于获取多台相机视角下的标定板的图像数据，以及，用于获取多台相机视角下的标定工件的样本图像数据。数据生成模块102用于根据标定板的图像数据获取相机初始参数，其中，相机初始参数包括相机内参、相机外参以及相机畸变系数。

其中，图像获取模块101先获取多台相机视角下的标定板的图像数据，具体地，在固定的相机的布局下，多次移动标定板，且每移动一次标定板，控制所有相机进行一次拍照，尽量控制一台相机视角下的所拍摄的一幅标定板图像中包含有多个标记物。数据生成模块102用于根据标定板的图像数据获取相机初始参数后，图像获取模块101再对标定工件进行一次拍照以获取多台相机视角下的标定工件的样本图像数据，并根据相机内参和相机畸变系数对实际图像数据去畸变处理。

坐标系转换模块103用于基于标定工件的样本图像数据，转换相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参。其中，坐标系转换模块103可根据SVD(Singular Value Decomposition，奇异值分解)算法进行矩阵转换以将相机初始参数所在的世界坐标系转换为工件坐标系。

参数优化模块104用于基于标定工件孔心优化相机初始参数。例如，可获取标定工件的三坐标测值作为3D点，以及，基于Kalibr标定的相机内参和转换坐标系后的相机外参固定3D点，并对相机初始参数进行优化，以获得更准确的相机参数。

需要说明的是，本发明实施例的基于工件孔心的多目视觉标定的装置100的具体实现方式与本发明上述任意实施例的基于工件孔心的多目视觉标定的方法的具体实现方式类似，具体请参见关于该方法部分的描述，为了减少冗余，此处不再赘述。

根据本发明实施例的基于工件孔心的多目视觉标定的装置10，基于图像获取模块101、数据生成模块102、坐标系转换模块103和参数优化模块104的架构，坐标系转换模块103基于获得的相机初始参数和标定工件的样本图像数据，将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，即可以直接将测量结果表示在工件坐标系上，方便测量。和参数优化模块104基于标定工件孔心对相机初始参数进行优化处理，提升相机的检测精度，提升标定工件测量的泛化性。

在本发明的一些实施例中，还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可实现上面任一项实施例的基于工件孔心的多目视觉标定的方法。

根据本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序运行时，能获取装置10中各个结构的运行参数进行分析计算，在对标定工件进行检测的过程中，处理器可控制相机进行拍摄动作，并将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，方便测量，还能基于标定工件孔心对相机初始参数进行优化处理，从而实现上面实施例的基于工件孔心的多目视觉标定的方法，本实施例的存储介质对装置10各部分运行状态及参数等具有记忆性，提升相机的检测精度，提升标定工件测量的泛化性。

在本发明的一些实施例中，如图7所示，为根据本发明一个实施例的基于工件孔心的多目视觉标定的系统的框图，其中，该基于工件孔心的多目视觉标定的系统100包括图像采集装置20和上述实施例提供的基于工件孔心的多目视觉标定的装置10。

其中，图像采集装置20用于采集标定板的图像数据和标定工件的样本图像数据；基于工件孔心的多目视觉标定的装置10与图像采集装置20连接，用于优化相机初始参数。其中，图像采集装置20可以包括n台相机，且每一台相机的位置固定。

需要说明的是，本发明实施例的基于工件孔心的多目视觉标定的系统100的具体实现方式与本发明上述任意实施例的基于工件孔心的多目视觉标定的装置10的具体实现方式类似，具体请参见关于基于工件孔心的多目视觉标定的装置10部分的描述，为了减少冗余，此处不再赘述。

根据本发明实施例的基于工件孔心的多目视觉标定的系统100，通过采用上述实施例提供的基于深度学习的孔心检测装置10，可以将相机所在世界坐标系从某一相机坐标系转换为工件坐标系，即可以直接将测量结果表示在工件坐标系上，方便测量。还可以基于标定工件孔心对相机初始参数进行优化处理，提升相机的检测精度，提升标定工件测量的泛化性。

在本说明书的描述中，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于工件孔心的多目视觉标定的方法，其特征在于，包括：

获取多台相机视角下的标定板的图像数据；

根据所述标定板的图像数据获取相机初始参数，其中，所述相机初始参数包括相机内参、相机外参以及相机畸变系数；

获取所述多台相机视角下的标定工件的样本图像数据；

基于所述标定工件的样本图像数据，转换所述相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参；

基于标定工件孔心优化所述相机初始参数。

2.根据权利要求1所述的基于工件孔心的多目视觉标定的方法，其特征在于，获取多目视觉相机视角下的标定板的图像数据，包括：

所述标定板为四方形标定板，每个所述标定板上设置有多个标记物；

固定所述多台相机位置并移动所述标定板，控制所述多台相机拍照，以获取多个所述标定板的图像作为所述标定板的图像数据。

3.根据权利要求2所述的基于工件孔心的多目视觉标定的方法，其特征在于，所述多台相机中任意一台相机视角下至少包括三幅标定板的图像，以及，所述任意一幅标定板图像中包括若干个所述标记物。

4.根据权利要求1所述的基于工件孔心的多目视觉标定的方法，其特征在于，所述获取所述多台相机视角下的标定工件的样本图像数据，包括：

获取所述标定工件的实际图像数据；

对所述实际图像数据中的零件孔进行ROI标注，以获取标注后的图像数据；

根据所述相机内参和所述相机畸变系数对所述标注后的图像数据去畸变处理，以获得处理后的图像数据；

在所述处理后的图像数据内，根据椭圆检测算法拟合椭圆得到椭圆中心作为所述标定工件孔心的2D观测点。

5.根据权利要求1所述的基于工件孔心的多目视觉标定的方法，其特征在于，所述转换所述相机初始参数所在的世界坐标系为所述工件坐标系，包括：

基于所述相机内参和所述椭圆检测的所述标定工件孔心的2D观测点重建获得所述标定工件的重建点云；

确定所述重建点云以及所述标定工件的三坐标测值点云的刚性变换关系，并应用至所述相机外参中。

6.根据权利要求1所述的基于工件孔心的多目视觉标定的方法，其特征在于，所述基于标定工件孔心优化所述相机初始参数，包括：

根据所述相机内参和所述转换坐标系后的相机外参将所述标定工件的明义值投影至图像平面获得模板图片；

将所述标注后的图像数据和所述模板图片进行匹配，获取优化后的标定工件孔心的2D观测点。

7.根据权利要求6所述的基于工件孔心的多目视觉标定的方法，其特征在于，所述基于标定工件孔心优化所述相机初始参数，还包括：

获取所述标定工件的三坐标测值为3D点；

获取所述相机内参和所述转换坐标系后的相机外参作为所述相机的初值；

根据所述优化后的标定工件孔心的2D观测点和所述相机的初值固定所述3D点；

根据光束法平差对所述相机初始参数进行优化。

8.一种基于工件孔心的多目视觉标定的装置，其特征在于，包括：

图像获取模块，用于获取多台相机视角下的标定板的图像数据，以及，用于获取所述多台相机视角下的标定工件的样本图像数据；

数据生成模块，用于根据所述标定板的图像数据获取相机初始参数，其中，所述相机初始参数包括相机内参、相机外参以及相机畸变系数；

坐标系转换模块，用于基于所述标定工件的样本图像数据，转换所述相机初始参数所在的世界坐标系为工件坐标系，获取转换坐标系后的相机外参；

参数优化模块，用于基于标定工件孔心优化所述相机初始参数。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时可实现权利要求1-7任一项所述的基于工件孔心的多目视觉标定的方法。

10.一种基于工件孔心的多目视觉标定的系统，其特征在于，包括：

图像采集装置，用于采集标定板的图像数据和标定工件的样本图像数据；

权利要求9所述的基于工件孔心的多目视觉标定的装置，所述基于工件孔心的多目视觉标定的装置与所述图像采集装置连接，用于优化所述相机初始参数。

Images