CN104111036A - 一种基于双目视觉的镜面物体测量装置及方法 - Google Patents

Abstract

本发明涉及一种基于双目视觉的镜面物体测量装置，计算机与液晶显示器、相机连接；液晶显示器置于被测镜面物体上方；其测量方法包括：标定双目相机，得到双目相机的内参矩阵和相机间的旋转平移矩阵，并确定液晶显示器与双目相机的相对位置关系；计算机生成正弦条纹，控制液晶显示器向被测镜面物体投射正弦条纹图像，并将相机拍到的正弦条纹图像在被测物体表面所成的虚像输入计算机；计算机根据标定所得到的相对位置关系和相机内参矩阵，对相机采集到的虚像图像信息进行处理，得到被测物体表面的三维轮廓。本发明系统结构简单，可实现非接触测量，无需传统测量技术中的各类接触式测头，降低了测量成本，提高了测量效率。

Description

一种基于双目视觉的镜面物体测量装置及方法

技术领域

本发明涉及一种轮廓三维重建技术，尤其涉及一种利用双目相机的镜面物体表面三维轮廓测量装置和测量方法。

背景技术

随着测量需求的增加和光电技术的发展，基于视觉的非接触测量技术得到了快速发展。物体的三维形状视觉测量在逆向工程、机器人视觉、质量检测、数字医疗、文物保护、影视广告以及服装制造等诸多领域具有广泛的应用。镜面物体表面三维轮廓测量技术有重要的应用价值。在工程中，存在大量镜面表面需要测量。例如，在机械制造、文物保护和质量控制等领域，光学元件表面、喷涂车身、抛光模具、液体表面、文物陶瓷等镜面高反光表面的精确测量需求日趋强劲。对于这些镜面物体表面的测量十分困难或者无能为力。对于镜面物体表面的测量，目前工业上主要采用两种方法。一种是采用三坐标测量机或三维测量手臂等接触式测量设备，效率很低，而且容易对镜面表面产生破坏性的影响；其二，也是一种的惯用做法是对物体进行喷涂处理，使其表面呈现漫反射光学特性，再利用现有成熟的结构光技术进行表面扫描。但喷涂粉末不但会污染物体表面，还会影响三维测量精度，显然该方法严重削弱了光学方法的非接触优点。其它的非接触测量方法包括被动式和主动式两类。其中被动式方法包括“基于光度学的测量技术”和“从镜面反射成分恢复面型技术”，这些技术的数据处理过程复杂，并且精度较低。主动测量只要是采用结构光测量技术。其中，点结构光技术一般采用激光光源，通过电流计扫描部件精确控制出射光线的方向，对目标物体进行逐点扫描，测量其梯度，测量效率很低。采用光带扫描技术部分提高了测量的效率。面结构光技术，根据面结构光的编码方式的不同又可分为图案编码和相位编码两类方法，后者一般称为条纹投射技术。这种技术采用漫射结构光源，将强度为正弦分布的结构光投射到物体表面，通过条纹相位计算被测表面的梯度。这种方法可直接获得全场信息，无需扫描装置，效率很高。上述三种结构光技术都是只能测得被测面的梯度分布，必须通过数值积分法才能得到被测面对高度信息，计算较为复杂，有较大的累积误差。镜面测量比较困难的原因主要有两个方面：首先是镜面反射成分的检测。如何判断一个图像特征对应着真实的场景点还是另一个场景点的镜面反射？这一模糊性给基于特征检测和匹配的视觉技术提出了一个严峻的问题。其次，镜面反射时，光束的反射方向取决于入射方向和物体表面法线方向，使图像采集系统难以捕捉到反射光线，即使捕捉到反射光线，被测镜面物体的面形数据也严重依赖于物面的法向信息。至于透明体的测量，由于受到镜面反射和内部折射的双重影响，变得尤为困难。

发明内容

本发明的目的，在于提供一种通用的、非接触的镜面物体表面三维轮廓测量装置和测量方法，可实现非接触测量，测量效率和测量精度都有很大程度提高。

为达到上述目的，本发明采用下述技术方案：一种基于双目视觉的镜面物体测量装置，计算机与液晶显示器、相机连接；液晶显示器置于被测镜面物体上方；

液晶显示器用于接收计算机的控制信号生成正弦条纹图案，并将这些条纹图案投射在被测物体的表面上；

计算机用于将相机采集的被测物体表面的条纹图像转换成被测量物体的表面轮廓。

所述液晶显示器的液晶屏水平向下放置。

所述相机为两个工业相机，安装在液晶显示器的一侧且相对于被测物体对称。

一种基于双目视觉的镜面物体测量方法，包括以下步骤：

标定双目相机，得到双目相机的内参矩阵和相机间的旋转平移矩阵，并确定液晶显示器与双目相机的相对位置关系；

计算机生成正弦条纹，控制液晶显示器向被测镜面物体投射正弦条纹图像，并将相机拍到的正弦条纹图像在被测物体表面所成的虚像输入计算机；

计算机根据标定所得到的相对位置关系和相机内参矩阵，对相机采集到的虚像图像信息进行处理，得到被测物体表面的三维轮廓。

所述确定液晶显示器与双目相机的相对位置关系包括以下步骤：

在双目相机的采集区域放置一张粘贴圆形标志点的平面镜，通过双目相机的内参矩阵和旋转平移矩阵得到平面镜上标志点的三维坐标，并拟合成平面镜空间平面方程；

计算机控制显示器向平面镜投射圆形的标志点，通过双目相机的内参矩阵和旋转平移矩阵得到显示器在平面镜中虚像标志点的三维坐标，并拟合成空间平面方程；

根据显示器上标志点的虚像平面空间平面方程确定显示器投射平面与双目相机的相对位置关系。

所述对采集到的虚像图像信息进行处理包括以下步骤：

（1）根据相机A的内参矩阵计算P₁点的三维坐标，通过确定光线P₁C₁空间方程得到一个假设的s点坐标；P₁、P₂分别为显示器的像素投射点Q₁、Q₂投射到被测物体表面上的s点并经s点反射到相机A相平面、相机B相平面上的点，C₁、C₂为相机A、相机B的中心点；

（2）根据假设的s点坐标，计算法向量

（3）根据s点的水平相位和垂直相位值在相机B的相平面中查找相同水平相位和垂直相位的点作为s点在相机B中的投影，确定像素P₂点。

（4）根据像素P₂点确定Q₂点并确定光线Q₂s和P₂C₂，由这两条光线得到新的法向量 $n^{\′}=-\frac{Q_{2}s+s{P}_2}{\left|\right|Q_{2}s+s{P}_2\left|\right|};$

（5）比较新的法向量n′和初始法向量n，当差值大于阈值时，重新设定s点坐标，重复步骤(2)～(5)；否则，s点坐标即为待测点的空间位置；

（6）重复步骤(1)～(5)，得到显示器所有像素投射到被测物体上的待测点。

本发明具有以下有益效果及优点：

1.本发明的整个测量系统主要由LCD液晶显示器、两个工业相机、计算机组成，系统结构简单。可实现非接触测量，无需传统测量技术中的各类接触式测头，降低了测量成本，提高了测量效率。

2.本发明采用水平和垂直条纹投影技术代替原有技术中的固定光源，可获得多组物面相位分布。

3.本发明根据同名点等相位原则可以确定显示器上点和被测物体上点以及相机像平面上点的对应关系。

4.本发明根据双目视觉技术可以直接得到出射和入射光线方程。通过搜索算法可以直接计算镜面物体表面点的空间坐标，避免了原有方法中存在的数值积分过程，同时也避免了累积误差，测量精度高。

5.本发明可以根据测量物体的大小的表面形状调节被测物体承托面与显示器面的距离，使得测量范围和应用范围扩大，使用更便捷。

附图说明

图1是本发明的测量装置结构示意图；

图2是本发明的测量方法原理图；

其中，（a）为双目相机光路关系图；（b）为单目相机光路关系图；

图3是本发明的测量方法原理示意图；

图4是实施例中被测镜面物体的投射条纹图；

图5是实施例中被测镜面物体的相位关系图；

其中，(a)为截断相位图，(b)为连续相位图；

图6是实施例中根据测量结果得到的三维点集图；

其中：1为LCD液晶显示器，2为显示器信号线，3为计算机，4为相机连接线，5为工业相机A，6为工业相机B，7为被测物体表面入射和反射光线，8为被测物体。

具体实施方式

本发明的一个优选实例结合附图详述如下：

如图1所示，一种基于双目视觉的镜面物体测量装置，由一个LCD液晶显示器1、两个工业相机、一台计算机3组成；所述的LCD液晶显示器1被水平安装在本发明测量装置的框架上，并置于被测镜面物体上方200mm处，通过线缆与计算机3连接，受计算机3控制生成正弦条纹图案，将这些条纹图案投射在被测量的物体8的表面上；所述的工业相机采用8mm定焦镜头，按照与水平方向夹角65度的角度安装在LCD液晶显示器的一侧，且相对于被测物体8对称，使其镜头距离被测物体表面300mm距离，并保证双目相机的共同视野能够涵盖整个测量区域。通过视频线将采集到的条纹图像传到计算机3，计算机3将条纹图像进行处理，转换成被测量物体的表面轮廓。

一种基于双目视觉的镜面物体测量方法，通过上述的基于双目视觉的镜面物体测量装置实施，操作步骤如下：

第一步、测量装置系统标定：

调整测量装置，标定双目相机的内部参数并计算两个相机之间的旋转平移矩阵。在双目相机的采集区域放置一张标准平面镜，在平面镜上粘贴圆形标志点，首先利用已标定的双目相机（旋转平移矩阵和内参矩阵）求取平面镜上点的三维坐标，并采用最小二乘法拟合得到平面镜空间平面方程；利用计算机控制显示器在双目相机能观察到的平面镜反射区域投射圆形标志点，利用双目相机（旋转平移矩阵和内参矩阵）重建显示器在平面镜中虚像点的三维坐标，并采用最小二乘法拟合得到空间平面方程；根据显示器上点的虚像平面和显示器平面是关于平面镜平面对称的原理确定显示器投射平面与双目相机的相对位置关系；

第二步、数据采集：

在计算机中设置好正弦条纹的初始相位和周期（可以设定周期为80像素，初始相位为），采用四步相移法投射正弦条纹，先投射垂直正弦条纹图像然后投射水平正弦条纹图像；每投射一张正弦条纹图像用双目相机采集正弦条纹图像被被测表面反射所成的虚像，并输入计算机；

第三步、数据处理：

根据光路反射的几何性质和测量系统中显示器、双目相机的相对位置关系对双目相机采集的相位图像进行处理，计算被测量表面的三维轮廓。

上述基于双目视觉的镜面物体测量方法中，第三步中所述的数据处理方法为：①对LCD显示器投射到镜面物体表面并且被双目相机采集到的条纹图像进行处理，计算条纹图像的截断相位和连续相位分布；②根据左视图相机（即相机A）参数确定被测表面的反射光线在左视图相机坐标系下的光线方程，并设置被测表面点三维坐标的初始值；③根据左视图和LCD显示器相位关系计算左视图像素点在LCD显示器上的对应点，确定入射光线方程；④根据左视图的出射光线和入射光线计算入射光线和出射光线的法向量；⑤根据右视图和LCD显示器的相位关系确定在右视图中点在显示器上的对应点，确定右视图的入射光光线方程，并计算入射光线和出射光线的法向量；⑥根据法向量相同原则搜索最佳匹配点作为待测点的空间位置。

本发明的工作原理如下：

本镜面物体表面三维测量方法的测量原理如图2所示。在镜面反射中，入射光、反射光和镜面法向总是共面的，并且入射光与镜面法向的角度总是等于反射光与镜面法向的角度。

在如图2(a)所示的左右相机系统中，x1为左相机像素点，x2右相机像素点，X1为从物体表面点到像素点x1的光线，X2为从物体表面点到像素点x2的光线，Y1和Y2为显示器上点投射到被测物体上的光线，Y1经被测物体反射沿X1光线到达x1点，Y2经被测物体反射沿X2光线到达x2点。

因为从公共点反射的光来自不同的方向，但是它们所对应的表面法向是一样的。一旦已知光路参数，就可估计出镜面的外形。为了对光路进行定位，本文采用一台LCD显示器，并在LCD上显示二维的相移。通过水平方向和垂直方向的相，识别出显示器上的每个像素点。通过上述测量装置系统标定方法，标定出相机与显示器的几何关系。借助标定结果，就能确定每个图像点在显示器上所对应光源的3D位置参数。来自显示器的光线Y1与来自相机的光线X1在被测物体表面相交于一点，并决定一个平面。假如已知该交点的深度信息，就可以唯一确定该点的表面法向。也就是说，表面法向是深度的函数，如图2(b)所示，其中N为物体表面入射点处的法线方向。由于一个表面点只有一个表面法向，因此，通过搜索两个视图之间的公共表面法向和深度就可实现表面点重构。

基于双目视觉的镜面物体测量方法的测量过程包括：

第一步、标定测量装置：标定双目相机，确定双目相机的内参矩阵和相机间的旋转平移矩阵，并确定LCD液晶显示器与双目相机的相对位置关系。

第二步、测量图像数据采集：①计算机生成竖向正弦条纹图像，控制LCD显示器投射竖向正弦条纹，采用四步相移技术，每投射一张相移图像，计算机控制双目工业相机进行一次图像采集，将相机拍到的正弦条纹图像在被测物体表面所成的虚像输入计算机；②利用计算机生成横向正弦条纹图像，并控制显示器进行投射。计算机控制双目相机进行图像采集，将物体表面形成的横向条纹虚像输入计算机。

第三步、进行数据处理：根据测量系统标定所得到的相对位置关系和相机参数信息，对采集到的图像信息进行处理，由计算机计算被测物体表面的三维轮廓。

首先，利用如下公式对相机采集到的条纹图像数据进行相位解包裹操作，得到横向条纹和竖向条纹的绝对相位分布图；

${\mathrm{\φ}}_w(x,y)=\frac{-\arctan \left[\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{I}_n(x,y)\sin {\mathrm{\δ}}_n\right]}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{I}_n(x,y)\cos {\mathrm{\δ}}_n}$

其中：Φ_abs(x,y)表示展开后的相位即连续相位；φ_w(x,y)表示截断相位；Φ₀表示与(x,y)点相邻的已展开相位；Round[x]表示最接近x的整数；I_n(x,y)为第n幅图像(x,y)处像素值，δ_n为第n幅图像相移值。

如图3所示，以相机1（camera1）即相机A为主摄像机，相机2（camera2）即相机B为参考，s点为被测物体上的点，Q₁和Q₂是显示器上的像素投射点，光线从Q₁点发射到s点，经s点反射到camera1相平面的P₁点，光线从Q₂点发射到s点，经s点反射到camera2相平面的P₂点，设camera1的相机中心点为C₁，设camera2的相机中心点为C₂，计算步骤如下：

1.根据相机1的内参矩阵计算P₁点的三维坐标，确定光线P₁C₁空间方程，已知相机1上像素P₁点拍摄的是Q₁点通过s点所成的像，那么发生反射的s点必定在光线P₁C₁上，因此假设s点三维坐标(x,y,z)的中的任意一维的数值就可以得到一个假设的s点坐标，根据被测物与相机A间的距离设定s点的初始坐标值。

2.根据假设的s点坐标，由相机1采集到的相位图和显示器标准相位图之间的相位关系可以确定Q₁点位置，确定光线Q₁s，由入射光线方向矢量Q₁s和反射光线方向矢量sP₁得到采样点的法向量值：由式 $n=-\frac{Q_{1}s+s{P}_1}{\left|\right|Q_1+s{P}_1\left|\right|}$ 算出法向量。

3.由相机1采集到的横向条纹和竖向条纹的绝对相位分布，可以根据s点的图像坐标得到s点的水平相位和垂直相位值。根据s点的水平相位和垂直相位值在相机2的相平面中查找相同水平相位和垂直相位的点作为s点在相机2中的投影，确定像素P₂点。

4.根据物体表面同一点在左右视图的不同像素点所对应的相位值相同原则，P₂、Q₂和s点具有相同的水平相位和垂直相位。根据此原则可由像素P₂点确定拍摄的Q₂点，确定光线Q₂s和P₂C₂，由这两条光线算出新的法向量 $n^{\′}=-\frac{Q_{2}s+s{P}_2}{\left|\right|Q_{2}s+s{P}_2\left|\right|}.$

5.比较新算的法向量n′和初始算的法向量n，当差异大于某阈值（即误差范围）时，设定一个新的s点坐标，重复(2)～(5)，否则，认定s点坐标即为待测点的空间位置。

本实施例对本发明基于双目视觉的镜面物体表面三维轮廓测量装置和测量方法的测量原理和测量过程作进一步说明：图4是一个直径为100mm的不锈钢凸面镜被测物体，测量物距在300mm左右。投射装置采用19寸LCD显示器（1440×900像素）。图5为根据采集的相移图像计算得到的截断相位图和绝对（连续）相位图。图6是测量得到三维点集的显示效果。

Claims (6)

1.一种基于双目视觉的镜面物体测量装置，其特征在于：计算机（3）与液晶显示器（1）、相机连接；液晶显示器（1）置于被测镜面物体（8）上方；

液晶显示器（1）用于接收计算机（3）的控制信号生成正弦条纹图案，并将这些条纹图案投射在被测物体的表面上；

计算机（3）用于将相机采集的被测物体表面的条纹图像转换成被测量物体的表面轮廓。

2.根据权利要求1所述的一种基于双目视觉的镜面物体测量装置，其特征在于：所述液晶显示器（1）的液晶屏水平向下放置。

3.根据权利要求1所述的一种基于双目视觉的镜面物体测量装置，其特征在于：所述相机为两个工业相机，安装在液晶显示器（1）的一侧且相对于被测物体对称。

4.一种基于双目视觉的镜面物体测量方法，其特征在于包括以下步骤：

标定双目相机，得到双目相机的内参矩阵和相机间的旋转平移矩阵，并确定液晶显示器与双目相机的相对位置关系；

计算机生成正弦条纹，控制液晶显示器向被测镜面物体投射正弦条纹图像，并将相机拍到的正弦条纹图像在被测物体表面所成的虚像输入计算机；

计算机根据标定所得到的相对位置关系和相机内参矩阵，对相机采集到的虚像图像信息进行处理，得到被测物体表面的三维轮廓。

5.根据权利要求4所述的一种基于双目视觉的镜面物体测量方法，其特征在于：所述确定液晶显示器与双目相机的相对位置关系包括以下步骤：

在双目相机的采集区域放置一张粘贴圆形标志点的平面镜，通过双目相机的内参矩阵和旋转平移矩阵得到平面镜上标志点的三维坐标，并拟合成平面镜空间平面方程；

计算机控制显示器向平面镜投射圆形的标志点，通过双目相机的内参矩阵和旋转平移矩阵得到显示器在平面镜中虚像标志点的三维坐标，并拟合成空间平面方程；

根据显示器上标志点的虚像平面空间平面方程确定显示器投射平面与双目相机的相对位置关系。

6.根据权利要求4所述的一种基于双目视觉的镜面物体测量方法，其特征在于：所述对采集到的虚像图像信息进行处理包括以下步骤：

(1)根据相机A的内参矩阵计算P₁点的三维坐标，通过确定光线P₁C₁空间方程得到一个假设的s点坐标；P₁、P₂分别为显示器的像素投射点Q₁、Q₂投射到被测物体表面上的s点并经s点反射到相机A相平面、相机B相平面上的点，C₁、C₂为相机A、相机B的中心点；

(2)根据假设的s点坐标，计算法向量

(3)根据s点的水平相位和垂直相位值在相机B的相平面中查找相同水平相位和垂直相位的点作为s点在相机B中的投影，确定像素P₂点。

(4)根据像素P₂点确定Q₂点并确定光线Q₂s和P₂C₂，由这两条光线得到新的法向量 $n^{\′}=-\frac{Q_{2}s+s{P}_2}{\left|\right|Q_{2}s+s{P}_2\left|\right|};$

(5)比较新的法向量n′和初始法向量n，当差值大于阈值时，重新设定s点坐标，重复步骤(2)～(5)；否则，s点坐标即为待测点的空间位置；

(6)重复步骤(1)～(5)，得到显示器所有像素投射到被测物体上的待测点。