CN112116665A - 一种结构光传感器标定方法 - Google Patents

Abstract

本发明涉及结构光传感器技术领域，特别涉及一种结构光传感器标定方法，其特征在于：包括以下步骤：S1，固定CCD工业相机与激光器位置不动，摆动棋盘格至合适位置，分别采集15‑20幅未开启激光器与开启激光器靶标图像；S2，对S1中采集到的未开启激光器靶标图像进行CCD工业相机标定；S3，利用S2中得到的数据，对S1中采集到的开启激光器靶标图像进行光平面标定；S4，完成结构光传感器的标定。本发明的有益效果为：使用本发明对结构光传感器进行标定，能够得到更加精确的工业相机和结构光参数，进而提高结构光传感器的标定精度。

Description

一种结构光传感器标定方法

技术领域

本发明涉及结构光传感器技术领域，特别涉及一种结构光传感器标定方法。

背景技术

线结构光传感器是一种非接触式测量装置，由CCD工业相机和激光投射器组成，具有成本低，结构简洁，测量速度快和效率高等特点，广泛用于现代工业检测中。激光由激光投射器投射在待测物体表面并在CCD工业相机像面上成像。通过CCD工业相机内、外参数和结构光平面方程，结合三角法测量原理即可求得被测点的空间坐标。工业相机和结构光参数的精确标定是提高检测精度的关键所在。

然而，目前现有的结构光传感器的标定仍存在着精度不高，流程繁琐的缺陷，对此，本发明提供了一种新型的结构光传感器标定方法，可以实现结构光传感器的快速、精确标定。

发明内容

本发明为了弥补现有技术中结构光传感器的标定精度差、效率低的不足，提供了一种结构光传感器标定方法。

本发明是通过如下技术方案实现的：

一种结构光传感器标定方法，其特征在于，包括以下步骤：

S1，固定CCD工业相机与激光器位置不动，摆动棋盘格至合适位置，分别采集15-20幅未开启激光器与开启激光器靶标图像；

S2，对S1中采集到的未开启激光器靶标图像进行CCD工业相机标定；

S3，利用S2中得到的数据，对S1中采集到的开启激光器靶标图像进行光平面标定；

S4，完成结构光传感器的标定。

进一步地，为了更好的实现本发明，所述S1中，摆动棋盘格至合适位置具体位置：棋盘格在CCD工业相机视野占据1/3以上位置；棋盘格平面与镜头平面三轴夹角各不超过30°，以保证CCD工业相机采集的棋盘格图像不会产生较大畸变。

进一步地，为了更好的实现本发明，所述S2具体为：

S21，对未开启激光器靶标图像畸变校正，获得校正系数；

S22，计算CCD工业相机内外参数；

S23，利用LM法对工业相机内外参数进行优化：

S24，进行CCD工业相机内外参数精度评价。

进一步地，为了更好的实现本发明，所述S3具体为：

S31，利用S2中CCD工业相机畸变校正得到的校正系数对开启激光器靶标图像进行图像校正；

S32，提取激光线中心线；

S33，基于共面点原理，利用S2中获得的CCD工业相机内、外参数计算激光线在CCD工业相机坐标系下的三维坐标数据；

S34，使用最小二乘法对激光线三维数据进行平面拟合，得到光平面；

S35，将拟合的光平面进行精度评价，完成结构光传感器的标定。

进一步地，为了更好的实现本发明，提高畸变校正的综合精度和算法效率，所述畸变校正中，在选用畸变模型时仅考虑径向畸变和切向畸变，忽略薄棱镜畸变。

进一步地，为了更好的实现本发明，所述S23具体为：

S231，选取CCD工业相机获取的图像中心点处附近图像区域作为CCD工业相机标定的初始像点，通过CCD工业相机模型计算CCD工业相机的内外参数作为后续优化的初始估值；

S232，基于已求得的CCD工业相机参数和畸变模型，利用最小二乘法，由选定的棋盘格角点的三维坐标和相对应的图像坐标参加运算，得到畸变系数初始估值；

S233，将畸变系数的初始估值设为上述得到的计算结果，结合通过CCD工业相机模型求解得到的CCD工业相机内、外参数一起作为所有标定参数的初始估值进行全局优化。

进一步地，为了更好的实现本发明，所述S24提出了一种工业相机内外参数精度标定的方法，具体为：

将S23获取的CCD工业相机内部参数作为已知量，根据靶标上特征点的世界坐标求取此特征点的图像坐标，计算坐标与检测坐标的偏差来反映标定结果的精度。

本发明的有益效果是：

采集的激光线棋盘格靶标数据带有畸变。若用激光线棋盘格靶标数据进行畸变校正，由于激光线与靶标的白色方格颜色相似，基于畸变校正原理，由于激光线在靶标图像中会破坏棋盘格靶标原有角点，影响棋盘格靶标数据的畸变系数提取，无法准确进行畸变校正，故本发明首先用未开启激光器采集的靶标数据进行畸变校正，然后将得到的畸变参数对带有激光线靶标数据进行畸变校正。本发明对激光线靶标图像畸变校正前后进行了效果对比，提出了一种激光线数据拟合精度评价方法。

因此，使用本发明对结构光传感器进行标定，能够得到更加精确的工业相机和结构光参数，进而提高结构光传感器的标定精度。

附图说明

图1为本发明结构光传感器标定方法的流程图；

图2为本发明结构光传感器标定方法的系统结构模型图；

图3为本发明结构光传感器标定方法的CCD工业相机标定的反投影误差图；

图4为本发明结构光传感器标定方法的畸变校正前后数据局部放大图；

图5为本发明结构光传感器标定方法的畸变校正前后激光图像点到拟合直线距离图；

图6为本发明结构光传感器标定方法的激光线空间点坐标图；

图7为本发明结构光传感器标定方法的点到拟合平面距离误差图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“中”、“上”、“下”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。可以是机械连接，也可以是电性连接。可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1-图7为本发明的一种具体实施例，该实施例为一种结构光传感器标定方法，本实施例的结构光传感器标定主要分为两部分，如图1所示，首先采用CCD工业相机标定得到CCD工业相机的内外参数，然后利用CCD工业相机内外参数进行结构光传感器标定。本实施例采用棋盘格作为标定靶标，通过CCD工业相机采集靶标图像，采用激光器向靶标投射激光线。系统标定工作过程为：固定相机与激光器位置不动，摆动棋盘格至合适位置分别采集15-20幅未开启与开启激光器靶标图像。

其中，棋盘格合适位置要求为：棋盘格在相机视野占据1/3以上位置；棋盘格平面与镜头平面三轴夹角各不能超过30°，以保证工业相机采集的棋盘格图像不会产生较大畸变。

将采集的未开启激光器的靶标图像进行CCD工业相机标定，首先将靶标图像畸变校正，获得校正系数；然后计算工业相机内外参数；继而利用LM法对工业相机内外参数进行优化；最后进行工业相机内外参数精度评价。将采集的开启激光器的靶标图像进行光平面标定。首先利用工业相机畸变校正得到的校正系数对激光线靶标图像进行图像校正；然后提取激光线中心线；再次基于共面点原理，利用CCD工业相机的内外参数计算激光线在CCD工业相机坐标系下的三维坐标数据；继而采用最小二乘法对激光线三维数据进行平面拟合，得到光平面；最后将拟合的光平面进行精度评价，完成结构光传感器的标定。

畸变校正中的畸变模型主要分为三种：径向畸变，偏心畸变和薄棱镜畸变。径向畸变主要由镜头引起的，是关于CCD工业相机镜头的主光轴对称的。偏心畸变主要是由光学系统光心与几何中心不一致造成的，即光学器件的中心不能严格共线。薄棱镜畸变是由于镜片的设计及安装不当所致。这类畸变相当于在光学系统中附加了一个薄棱镜。偏心畸变和薄棱镜畸变既含有径向畸变，又含有切向畸变。

在本实施例中，综合标定精度要求与算法效率要求，本实施例在选用畸变模型时仅考虑径向畸变和切向畸变，忽略薄棱镜畸变。图像点理想图像坐标(X_d,Y_d)与实际图像坐标(X_n,Y_n)之间的关系为：

其中，

表示像点到图像中心的距离。k₁、k₂为径向畸变系数。p₁、p₂为切向畸变系数。

在CCD工业相机标定步骤中，如图2所示，O_c为CCD工业相机光轴中心线O_cZ_c与镜头平面交点。O_cX_cY_cZ_c是以O_c为坐标系原点的CCD工业相机坐标系。结构光投射器投射的线激光在棋盘格靶面上形成一条激光线。激光线与投射点形成的空间平面，即图2中虚线部分形成的平面为结构光光平面。O_iX_iY_i为图像坐标系，O_wX_wY_wZ_w为世界坐标系。

P为空间内任意一点。设其在世界坐标系下坐标为(X_w,Y_w,Z_w)，在图像坐标系下坐标为(u,v)。点P的世界坐标与图像坐标数学关系已由张正友等人采用齐次坐标与矩阵的形式进行了表述，表达式为：

式中，α、β、γ、u₀、v₀为CCD工业相机内部参数。其中，α、β为图像u和v轴尺度因子，γ为两图像坐标轴倾斜程度参数，(u₀,v₀)为CCD工业相机主点坐标。R、t为CCD工业相机外部参数。R为旋转矩阵，表示形式为3×3的正交单位矩阵，设为[r₁ r₂ r₃]，r为3×1向量。T为平移向量，数学表达式为(t_x,t_y,t_z)^T。

设

K即为CCD工业相机内部参数矩阵。设

则m和M分别表示空间点的图像坐标和世界坐标。则公式(2)可化简为：

Z_cm＝K[R|t]M＝K[r₁ r₂ r₃ t]M

CCD工业相机采集数据的过程中，内部参数保持不变，只有外部参数发生变化。在用棋盘格标定的每一个位置，都将棋盘格平面定义为世界坐标系的X_wO_wY_w平面，则棋盘格平面上的点满足Z_w＝0。s为比例因子，可代替Z_c，公式(2)可转化为：

简化记为：sm＝K[r₁ r₂ t]M＝HM。其中H＝K[r₁ r₂ t]，设H＝[h₁ h₂ h₃]，则公式变为[h₁ h₂ h₃]＝λK[r₁ r₂ t]。其中λ为常数因子。因为旋转矩阵R为单位正交矩阵，所以r₁和r₂为单位正交向量，r₁ ^Tr₂＝0并且|r₁|＝|r₂|，故有如下公式：

令

由上式可知，B为对称矩阵。定义一个六维向量b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T。

其中，i,j分别表示矩阵H的i和j列数据

如果有平面模板的n幅图像，则上式可变换为Vb＝0，其中V为2n×6矩阵，当n≥3时,方程的解为V^TV最小特征值对应的特征向量，即可得到b的值，进而得到CCD工业相机全部内参数:

由上述计算的结果可得到CCD工业相机内部参K数，通过公式(4)即可得到CCD工业相机外部参数矩阵。

在本实施例中，对于CCD工业相机内外参数优化步骤，为了提高CCD工业相机标定精度，本实施例对CCD工业相机模型和引入的畸变模型进行优化。考虑到CCD工业相机结构特点，CCD工业相机获取的图像中心附近区域的畸变很小可以忽略，选取中心点处附近图像区域作为CCD工业相机标定的初始像点，通过CCD工业相机模型计算CCD工业相机的内外参数作为后续优化的初始估值。

基于已求得的CCD工业相机参数和公式(1)所确定的畸变模型，利用最小二乘法，由选定的棋盘格角点的三维坐标和相对应的图像坐标参加运算，即可得到畸变系数初始估值。

将畸变系数k₁、k₂、p₁、p₂的初始估值设为上述得到的计算结果，结合通过CCD工业相机模型求解得到的CCD工业相机内、外参数一起作为所有标定参数的初始估值进行全局优化。

对所有标定参数的优化是基于最大似然准则进行的。给定n幅标定模板的图像，每幅图像上m个标定点，建立目标函数F：

其中，p_ij是第i幅图像上第j个标定点的实际像素坐标，M_i,j是在世界坐标系中对应的模型点，P(K,k₁,k₂,p₁,p₂,R_i,T_i,M_i,j)是点M_i,j按式(2)在第i幅图像上的投影，K是CCD工业相机内参数矩阵，k₁,k₂是径向畸变系数，p₁,p₂是切向畸变系数，R_i和T_i是第i幅图像的外参数矩阵。

Levenberg-Marquardt(LM)是使用最广泛的最小二乘算法，具有快速收敛的特点。本实施例采用LM算法求目标函数极小值以估算出更精确的CCD工业相机内外参数。

对于CCD工业相机精度标定评价，CCD工业相机标定利用靶标上特征点的世界坐标与其对应的图像坐标来求取CCD工业相机内部参数。如果将CCD工业相机内部参数作为已知量，根据靶标上特征点的世界坐标求取此特征点的图像坐标过程称为CCD工业相机标定的反投影，计算坐标与检测坐标的偏差可反映标定结果的精度。本实施例中CCD工业相机标定的特征点的计算坐标与检测坐标的反投影误差如图3所示，图3中，横、纵坐标表示特征点x、y坐标偏差，单位为像素。由上图结果分析得知，x、y方向的偏差在±0.6像素内，横纵坐标的偏差很小，CCD工业相机标定良好。

对于本实施例的激光线图像校正，由于CCD工业相机存在畸变，采集的激光线数据会发生弯曲。为了去除CCD工业相机畸变对设备精度的影响，在数据采集方面，将棋盘格摆放至合适位置，固定相机与激光器，首先采集未投射激光线的靶标图像，相同条件下，打开激光器，采集投射激光线的靶标图像；在数据处理方面，首先利用未投射激光线的靶标图像获得棋盘格靶标的畸变参数，然后利用此畸变参数对含有激光线的靶标图像进行畸变校正。校正前与校正后的局部效果图像，如图4所示。计算畸变校正前后激光图像点到拟合直线距离如图5。畸变校正前，距离误差最大为0.7mm；校正后，距离误差为0.14mm，且误差分布更加均匀，提升了结构光传感器的标定精度。

对于本实施例的光平面标定，在标定CCD工业相机的过程中向标定靶标上投射结构光，进而获得结构光平面方程的过程称为结构光平面标定。由于线结构光三维测量装置固定，CCD工业相机位置标定过程中位置不变，以CCD工业相机几何特征点为原点的CCD工业相机坐标系固定不变。棋盘格改变位置，相对于棋盘格，激光线在其上形成不同线段，但激光器位置不变，所有二维图像中的结构光条纹在同一个平面内，即激光线在CCD工业相机坐标系下的光平面方程不变，这个平面称为结构光的光平面。

设结构光平面在CCD工业相机坐标系O_cX_cY_cZ_c中的方程为：Z＝aX+bY+c。标定过程中，采集的关键帧的图像数据中，棋盘格与激光器的距离、角度都有较大变化。导致了采集的到的激光线在棋盘格上的线段宽度往往大于一个像素。为了统一标准，提高系统的测量精度，采用提取结构光的中心线方法。

在标定光平面过程中，在棋盘格旋转、移动的每一个位置，都将棋盘格平面定义为世界坐标系的X_wO_wY_w平面，则棋盘格平面上的点满足Z_w＝0。计算标定模板在i位置时，激光条纹的三维坐标。设结构光棋盘格上激光线上任意一点在图像坐标系下的坐标为(u_i,v_i)，此点在世界坐标系下对应坐标为(X_wi,Y_wi,0)^T。由公式(2)得

任一空间点在CCD工业相机CCD工业相机坐标系与世界坐标系之间的转换关系为：

综合公式(8)、(9)，由CCD工业相机标定结果中得到的CCD工业相机内部参数矩阵K、旋转矩阵R、平移矩阵T，即可得到图像坐标系中激光线段上的点(u_i,v_i)在对应的CCD工业相机坐标系的空间点(X_ci,Y_ci,Z_ci)。标定过程中，由棋盘格激光线图像点，可求得激光线上的空间点如图6所示。

将得到的空间点进行平面拟合，即可得到CCD工业相机坐标系下的光平面方程。平面拟合是指将求得的离散空间点(X_ci,Y_ci,Z_ci)按照某种原则得到的最佳平面。本实施例采用最小二乘法实现光平面的拟合，最佳平面满足空间点(X_ci,Y_ci,Z_ci)到此平面的距离平方和最小。得到的光平面方程为：z＝0.542904*x-0.045560*y+171.432238。

最后，计算点到平面的距离，距离误差如图7所示。图7中横坐标为计算得到的激光线上的点，纵坐标为点到拟合平面的误差，单位为mm。由图7得知，点到平面的最大误差小于7*10-3mm，精度较高。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种结构光传感器标定方法，其特征在于，包括以下步骤：

S1，固定CCD工业相机与激光器位置不动，摆动棋盘格至合适位置，分别采集15-20幅未开启激光器与开启激光器靶标图像；

S2，对S1中采集到的未开启激光器靶标图像进行CCD工业相机标定；

S3，利用S2中得到的数据，对S1中采集到的开启激光器靶标图像进行光平面标定；

S4，完成结构光传感器的标定。

2.根据权利要求1所述的结构光传感器标定方法，其特征在于：

所述S1中，摆动棋盘格至合适位置具体位置：棋盘格在CCD工业相机视野占据1/3以上位置；棋盘格平面与镜头平面三轴夹角各不超过30°，以保证CCD工业相机采集的棋盘格图像不会产生较大畸变。

3.根据权利要求1所述的结构光传感器标定方法，其特征在于：

所述S2具体为：

S21，对未开启激光器靶标图像畸变校正，获得校正系数；

S22，计算CCD工业相机内外参数；

S23，利用LM法对工业相机内外参数进行优化：

S24，进行CCD工业相机内外参数精度评价。

4.根据权利要求1所述的结构光传感器标定方法，其特征在于：

所述S3具体为：

S31，利用S2中CCD工业相机畸变校正得到的校正系数对开启激光器靶标图像进行图像校正；

S32，提取激光线中心线；

S33，基于共面点原理，利用S2中获得的CCD工业相机内、外参数计算激光线在CCD工业相机坐标系下的三维坐标数据；

S34，使用最小二乘法对激光线三维数据进行平面拟合，得到光平面；

S35，将拟合的光平面进行精度评价，完成结构光传感器的标定。

5.根据权利要求3所述的结构光传感器标定方法，其特征在于：

所述畸变校正中，在选用畸变模型时仅考虑径向畸变和切向畸变，忽略薄棱镜畸变。

6.根据权利要求3所述的结构光传感器标定方法，其特征在于：

所述S23具体为：

S231，选取CCD工业相机获取的图像中心点处附近图像区域作为CCD工业相机标定的初始像点，通过CCD工业相机模型计算CCD工业相机的内外参数作为后续优化的初始估值；

S232，基于已求得的CCD工业相机参数和畸变模型，利用最小二乘法，由选定的棋盘格角点的三维坐标和相对应的图像坐标参加运算，得到畸变系数初始估值；

S233，将畸变系数的初始估值设为上述得到的计算结果，结合通过CCD工业相机模型求解得到的CCD工业相机内、外参数一起作为所有标定参数的初始估值进行全局优化。

7.根据权利要求3所述的结构光传感器标定方法，其特征在于：

所述S24提出了一种工业相机内外参数精度标定的方法，具体为：

将S23获取的CCD工业相机内部参数作为已知量，根据靶标上特征点的世界坐标求取此特征点的图像坐标，计算坐标与检测坐标的偏差来反映标定结果的精度。

Images