CN108267097B - 基于双目三维扫描系统的三维重构方法和装置 - Google Patents

Abstract

本发明公开了一种基于双目三维扫描系统的三维重构方法和装置。该方法包括：利用投影设备将条纹图像投射到被测物体上，产生调制后的条纹图像；利用第一摄像机采集调制后的条纹图像得到第一图像，利用第二摄像机采集调制后的条纹图像得到第二图像，利用不可见结构光扫描模组采集被测物体的深度图；根据深度图将第一图像中的条纹与第二图像中的条纹进行匹配；查找相匹配的对应条纹中心线段中单个点的对应关系得到对应点对；将对应点对重建为三维点云数据。本发明解决了现有的手持条纹双目三维扫描技术中随着条纹数量的增多导致对应点匹配错误率增大的技术问题。

Description

基于双目三维扫描系统的三维重构方法和装置

技术领域

本发明涉及三维扫描领域，具体而言，涉及一种基于双目三维扫描系统的三维重构方法和装置。

背景技术

三维数字化技术是近年来国际上活跃研究的一个新兴交叉学科领域，被广泛的应用到逆向工程、文物保护、工业检测及虚拟现实等诸多领域。而手持便携式三维扫描仪以其便捷性，灵活性的优点在三维扫描领域被广泛应用。现有手持式三维扫描仪的原理主要是基于结构光的主动立体视觉方式，结构光的模式可以有多种，如红外激光散斑、DLP投影散斑、DLP投影的模拟激光条纹、激光条纹等。这些结构光模式中以DLP投影的模拟激光条纹，激光条纹为结构光的手持三维扫描仪的精度最高、扫描细节最好。以DLP投影的模拟激光条纹，激光条纹为结构光为例的基本工作流程是：

(1)对投射的条纹进行平面拟合；

(2)根据采集到的条纹图进行标志点提取及条纹中心提取；

(3)对条纹中心进行连通域分割，根据平面方程对左右相机图像上的条纹进行对应点匹配；

(4)利用两相机的极线约束关系查找左右相机图像上对应的标志点中心；

(5)根据扫描系统的标定参数，采用三维重建算法对已经匹配好的对应条纹及对应标志点中心进行三维重建。

上述过程中左右相机图像上的对应条纹匹配主要是基于条纹平面方程的指导，在条纹数量大于15的时候左右相机图像上的对应条纹的匹配错误率将显著提高，进而噪声增加降低扫描数据的准确性。当条纹数量小于15时扫描效率得不到有效提高。故而在固有的扫描帧率限制下提高扫描效率的有效方法是增加条纹数量同时提高条纹匹配的准确性。

但是现有的手持多条纹双目三维扫描技术，在扫描过程中，随着条纹数量增多对应点匹配错误率增大，导致扫描数据杂点增多；并且在扫描前，需要标定光平面，对系统的设备安装精度及稳定性的要求更苛刻；另外，随着条纹数量增加左右图像对应条纹的查找复杂度急速增加；以及，条纹数量会受到限制，无法充分利用相机视场的所有范围，使得扫描效率得不到提高。

针对现有的手持条纹双目三维扫描技术中随着条纹数量的增多导致对应点匹配错误率增大的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于双目三维扫描系统的三维重构方法和装置，以至少解决现有的手持条纹双目三维扫描技术中随着条纹数量的增多导致对应点匹配错误率增大的技术问题。

根据本发明实施例的一个方面，提供了一种基于双目三维扫描系统的三维重构方法，所述双目三维扫描系统包括：不可见结构光扫描模组、第一摄像机、第二摄像机、投影设备，其中，所述方法包括：利用所述投影设备将条纹图像投射到被测物体上，产生调制后的条纹图像；利用所述第一摄像机采集所述调制后的条纹图像，得到第一图像，利用所述第二摄像机采集所述调制后的条纹图像，得到第二图像，利用所述不可见结构光扫描模组采集所述被测物体的深度图；根据所述深度图将所述第一图像中的条纹与所述第二图像中的条纹进行匹配；查找相匹配的对应条纹中心线段中单个点的对应关系，得到对应点对；将所述对应点对重建为三维点云数据。

进一步地，根据所述深度图将所述第一图像中的条纹与所述第二图像中的条纹进行匹配包括：将所述深度图换算为所述不可见结构光扫描模组坐标系下的第一三维点云坐标；根据所述不可见结构光扫描模组与所述第一摄像机之间的相对位置关系所对应的旋转平移矩阵将所述第一三维点云坐标转换为所述第一摄像机坐标系下的第二三维点云坐标；将所述第二三维点云坐标分别投影到所述第一图像以及所述第二图像中；根据预定的所述第一图像与所述第二图像中点坐标的对应关系确定与所述第一图像中的条纹相对应的所述第二图像中的条纹。

进一步地，根据预定的所述第一图像与所述第二图像中点坐标的对应关系确定与所述第一图像中的条纹相对应的所述第二图像中的条纹包括：确定所述第一图像中目标条纹中的点对应的目标序号；根据预定序号查找表查找所述第二图像中与所述目标序号相对应的点，其中，所述预定序号查找表用于指示所述第一图像与所述第二图像中点坐标的对应关系；将所述第二图像中与所述目标序号相对应的点所在的条纹确定为与所述目标条纹相匹配的条纹。

进一步地，在利用所述投影设备将条纹图像投射到被测物体上，产生调制后的条纹图像之前，所述方法还包括：对所述双目三维扫描系统进行标定，获取所述双目三维扫描系统的结构参数。

进一步地，对所述双目三维扫描系统进行标定，获取所述双目三维扫描系统的结构参数包括：对所述第一摄像机以及所述第二摄像机进行标定，获取所述第一摄像机以及所述第二摄像机的内外参数；获取所述第一摄像机与所述第二摄像机之间的相对位置关系所对应的旋转平移矩阵；获取所述不可见结构光扫描模组与所述第一摄像机之间的相对位置关系所对应的旋转平移矩阵。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述任一项所述的方法。

根据本发明的又一个实施例，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任一项所述的方法。

根据本发明实施例的另一方面，还提供了一种基于双目三维扫描系统的三维重构装置，所述双目三维扫描系统包括：不可见结构光扫描模组、第一摄像机、第二摄像机、投影设备，其中，所述装置包括：投影单元，用于利用所述投影设备将条纹图像投射到被测物体上，产生调制后的条纹图像；采集单元，用于利用所述第一摄像机采集所述调制后的条纹图像，得到第一图像，利用所述第二摄像机采集所述调制后的条纹图像，得到第二图像，利用所述不可见结构光扫描模组采集所述被测物体的深度图；匹配单元，用于根据所述深度图将所述第一图像中的条纹与所述第二图像中的条纹进行匹配；查找单元，用于查找相匹配的对应条纹中心线段中单个点的对应关系，得到对应点对；重建单元，用于将所述对应点对重建为三维点云数据。

进一步地，所述匹配单元包括：换算模块，用于将所述深度图换算为所述不可见结构光扫描模组坐标系下的第一三维点云坐标；转换模块，用于根据所述不可见结构光扫描模组与所述第一摄像机之间的相对位置关系所对应的旋转平移矩阵将所述第一三维点云坐标转换为所述第一摄像机坐标系下的第二三维点云坐标；投影模块，用于将所述第二三维点云坐标分别投影到所述第一图像以及所述第二图像中；确定模块，用于根据预定的所述第一图像与所述第二图像中点坐标的对应关系确定与所述第一图像中的条纹相对应的所述第二图像中的条纹。

进一步地，所述确定模块包括：第一确定子模块，用于确定所述第一图像中目标条纹中的点对应的目标序号；查找模块，用于根据预定序号查找表查找所述第二图像中与所述目标序号相对应的点，其中，所述预定序号查找表用于指示所述第一图像与所述第二图像中点坐标的对应关系；第二确定子模块，用于将所述第二图像中与所述目标序号相对应的点所在的条纹确定为与所述目标条纹相匹配的条纹。

在本发明实施例中，在双目三维扫描系统中，存在不可见结构光扫描模组、第一摄像机、第二摄像机、投影设备，通过投影设备将条纹图像投射到被测物体上，采集调制后的条纹图像，然后通过第一摄像机采集调制后的条纹图像的第一图像，通过第二摄像机采集调制后的条纹图像的第二图像，并利用不可见结构光扫描模组，采集被测物体的深度图，再利用该深度图将第一图像中的条纹与第二图像中的条纹进行匹配，查找第一图像和第二图像中相匹配的对应条纹中心线段中单个点的对应关系，匹配的对应点对，进而将对应点对重建为三维点云数据，从而利用第一图像和第二图像中的采集的条纹与不可键结构光波组采集的深度图像结合的方式，提高三维扫描系统中第一图像中的条纹与第二图像中的条纹的匹配准确度，进而可以能够在保证对应点匹配的准确度的基础上增加条纹的数量，增加三维扫描系统的扫描效率，解决了现有的手持条纹双目三维扫描技术中随着条纹数量的增多导致对应点匹配错误率增大的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的基于双目三维扫描系统的三维重构方法的流程图；

图2是根据本发明实施例的实际设计的三维手持多条纹双目三维扫描系统的结构的示意图；

图3a是根据本发明上述实施例的一种可选的左相机采集到的条纹的示意图；

图3b是根据本发明上述实施例的一种可选的左相机采集到的条纹的示意图；

图4a是根据本发明上述实施例的一种可选的左相机图像条纹线段分割及红外结构光三维扫描模组反投影的示意图；

图4b是根据本发明上述实施例的一种可选的右相机图像条纹线段分割及红外结构光三维扫描模组反投影的示意图；

图5是根据本发明上述实施例的一种可选的极线几何约束的示意图；

图6是根据本发明实施例的一种可选的基于双目三维扫描系统的三维重构装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种基于双目三维扫描系统的三维重构方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例的基于双目三维扫描系统的三维重构方法中的双目三维扫描系统可以包括：不可见结构光扫描模组、第一摄像机、第二摄像机、投影设备，图1是根据本发明实施例的一种可选的基于双目三维扫描系统的三维重构方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，利用投影设备将光条纹图像投射到被测物体上，产生调制后的条纹图像；

步骤S104，利用第一摄像机采集调制后的条纹图像，得到第一图像，利用第二摄像机采集调制后的条纹图像，得到第二图像，利用不可见结构光扫描模组采集被测物体的深度图；

步骤S106，根据深度图将第一图像中的条纹与第二图像中的条纹进行匹配；

步骤S108，查找相匹配的对应条纹中心线段中单个点的对应关系，得到对应点对；

步骤S110，将对应点对重建为三维点云数据。

通过上述步骤，在双目三维扫描系统中，存在不可见结构光扫描模组、第一摄像机、第二摄像机、投影设备，通过投影设备将条纹图像投射到被测物体上，然后通过第一摄像机采集调制后的条纹图像的第一图像，通过第二摄像机采集调制后的条纹图像的第二图像，并利用不可见结构光扫描模组采集被测物体的深度图，再利用该深度图将第一图像中的条纹与第二图像中的条纹进行匹配，查找第一图像和第二图像中相匹配的对应条纹中心线段中单个点的对应关系，匹配的对应点对，进而将对应点对重建为三维点云数据，从而利用第一图像和第二图像中的采集的条纹与不可键结构光波组采集的深度图像结合的方式，提高三维扫描系统中第一图像中的条纹与第二图像中的条纹的匹配准确度，进而可以能够在保证对应点匹配的准确度的基础上增加条纹的数量，增加三维扫描系统的扫描效率，解决了现有的手持条纹双目三维扫描技术中随着条纹数量的增多导致对应点匹配错误率增大的技术问题。

可选地，不可见结构光扫描模组可以是红外结构光扫描模组。

可选地，第一摄像机可以是左摄像机。

可选地，第二摄像机可以是右摄像机。

可选地，第一图像可以是左摄像机采集的左图像。

可选地，第二图像可以是右摄像机采集的右图像。

可选地，投影设备可以是数字投影仪，相应的投影的条纹图像可以为数字模拟激光条纹图像，其中，该数字模拟激光条纹图像可以由双目三维扫描系统中的计算机生成，并由数字投影仪投射到被测物体上。可选地，投影设备还可以是激光投射装置，相应地投影的条纹图像可以为激光条纹图像，该激光条纹图像可以由激光投射装置直接投射到被测物体上。此处需要说明的是，本发明实施例以投影设备为数字投影仪，投影的条纹图像为数字模拟激光条纹图像为例进行说明，但并不限定投影设备只能为数字投影仪，投影的条纹图像只能为数字模拟激光条纹图像。

作为一种可选的实施例，根据深度图将第一图像中的条纹与第二图像中的条纹进行匹配可以包括：将深度图换算为不可见结构光扫描模组坐标系下的第一三维点云坐标；根据不可见结构光扫描模组与第一摄像机之间的相对位置关系所对应的旋转平移矩阵将第一三维点云坐标转换为第一摄像机坐标系下的第二三维点云坐标；将第二三维点云坐标分别投影到第一图像以及第二图像中；根据预定的第一图像与第二图像中点坐标的对应关系确定与第一图像中的条纹相对应的第二图像中的条纹。

采用本发明上述实施例，通过将深度图换算为不可见结构光扫描模组坐标系下的第一三维点云坐标，并根据不可见结构光扫描模组与第一摄像机之间的相对位置关系确定对应的旋转平移矩阵，通过该旋转平移矩阵将第一三维点云坐标转换为第一摄像机坐标系下的第二三维点云坐标；然后将第二三维点云坐标分别投影到第一图像以及第二图像中，并根据预定的第一图像与第二图像中点坐标的对应关系确定与第一图像中的条纹相对应的第二图像中的条纹，从而可以准确确定第一图像与第二图像中条纹的对应关系。

作为一种可选的实施例，根据预定的第一图像与第二图像中点坐标的对应关系确定与第一图像中的条纹相对应的第二图像中的条纹可以包括：确定第一图像中目标条纹中的点对应的目标序号；根据预定序号查找表查找第二图像中与目标序号相对应的点，其中，预定序号查找表用于指示第一图像与第二图像中点坐标的对应关系；将第二图像中与目标序号相对应的点所在的条纹确定为与目标条纹相匹配的条纹。

采用本发明上述实施例，通过确定第一图像中目标条纹中的点对应的目标序号，并根据用于指示第一图像与第二图像中点坐标对应关系的预定序号查找表，查找第二图像中与目标序号相对应的点，再根据第二图像中与目标序号相对应的点所在的条纹即为与第一图像中的目标条纹相互匹配的条纹，从而准确确定第一图像中每条条纹与第二图像中每条条纹的对应关系。

可选地，第一图像中的目标条纹可以是左图像中的任意一个条纹。

作为一种可选的实施例，在利用投影设备条纹图像投射到被测物体上，产生调制后的条纹图像之前，该实施例还可以包括：对双目三维扫描系统进行标定，获取双目三维扫描系统的结构参数。

采用本发明上述实施例，在将条纹图像投射到被测物体之前，先对双目三维扫描系统进行标定，获取双目三维扫描系统的结构参数，从而可以根据标定后获取的结构参数准确，准确确定第一图像中的条纹与第二图像中的条纹之间的对应关系。

作为一种可选的实施例，对双目三维扫描系统进行标定，获取双目三维扫描系统的结构参数可以包括：对第一摄像机以及第二摄像机进行标定，获取第一摄像机以及第二摄像机的内外参数；获取第一摄像机与第二摄像机之间的相对位置关系所对应的旋转平移矩阵；获取不可见结构光扫描模组与第一摄像机之间的相对位置关系所对应的旋转平移矩阵。

采用本发明上述实施例，通过标定获取的结构参数中，可以通过对第一摄像机以及第二摄像机进行标定，获取第一摄像机以及第二摄像机的内外参数；可以通过对第一摄像机以及第二摄像机之间的相对位置关系进行标定，获取第一摄像机与第二摄像机之间的位置关系对应的旋转平移矩阵；还可以通过标定不可见结构光扫描模组与第一摄像机之间的相对位置关系，获取不可见结构光扫描模组与第一摄像机之间的相对位置关系所对应的旋转平移矩阵，从而可以根据第一摄像机以及第二摄像机的内外参数、第一摄像机与第二摄像机之间的相对位置关系所对应的旋转平移矩阵、以及不可见结构光扫描模组与第一摄像机之间的相对位置关系所对应的旋转平移矩阵，准确确定第一图像中的条纹与第二图像中的条纹之间的对应关系。

本发明还提供了一种优选实施例，该优选实施例提供了一种不可见结构光指导可见结构光多线条纹的三维重构方法。

本发明主要以不可见光波段(红外结构光)与可见光波段结构光(白光多线条纹)结合的多线条纹三维重建所进行的技术改进作为例子。利用红外结构光与白光多线条纹结合的方式实现红外结构光的三维重构数据指导白光多线条纹的准确匹配，提高多条纹的匹配准确性，增加匹配的条纹数量从而提高手持三维扫描系统的扫描效率。针对分辨率130万像素的相机可以达到100根条纹，同样的帧率与相机分辨率下，可以比现有技术上在扫描效率上提高10倍以上。

本发明提供的技术方案包括以下部分：设备构建、系统标定、数字投影与图像采集、左右相机图像中对应条纹的匹配、三维重构。

可选地，设备构建部分，通过构建由红外结构光三维扫描模组和两个摄像机与数字投影仪组成三维数字成像传感器，且设备组件之间的相对位置固定，将传感器的测量范围内放置被测物体，物体需摆放在两个摄像机及低分辨率三维扫描模组均可见的位置。

可选地，系统标定部分，可以对左右相机进行标定从而获取相机的内外参及相机之间的相对位置对应的旋转平移矩阵Mc。同时标定红外结构光三维扫描模组与左相机之间的相对位置关系对应的旋转平移矩阵Ms。

可选地，数字投影与图像采集部分，可以由计算机生成一幅条纹数量大于15的数字模拟激光条纹图案(条纹数量最大可以达到100条或者更高)，用数字投影仪想被测物体投射，数字激光图被物体的高度调制发生变形，产生调制后的数字模拟激光条纹图案，发送外触发信号，两个相机与低分辨率三维扫描模组同步采集。两个相机同步采集调制后数字模拟激光条纹图案，红外结构光三维扫描模组采集被测物体的深度图。

可选地，左右相机图像中对应条纹的匹配部分，可以对左右相机图像上的条纹进行中心线提取，然后对每条中心线连通域的分割形成多条独立线段。将红外结构光三维扫描模组采集到深度图根据对应的标定内参换算为自身坐标系下的三维点云坐标pi(第一三维点云坐标)。根据标定红外结构光三维扫描模组与左相机之间的旋转平移矩阵Ms，将pi转换到左相机坐标系下三维点云qi(第二三维点云坐标)。然后将三维点云qi依次根据左右相机各自的内参反投影到左右图像上，每个对应点均有相应的序号，形成左右图像坐标对应的查找表。遍历左图像上每个条纹线段每个点的所对应的序号，根据查找表可直接查找到右图像相匹配的条纹线段。如此即可实现左右图像线段的准确匹配。

可选地，三维重构部分，通过将左右图像匹配好的对应条纹中心线段，利用左右两个相机的极线几何约束关系，查找对应条纹中心线段中单个点对应关系。然后根据系统的标定参数，将对应点对重建为三维点云数据。

图2是根据本发明实施例的实际设计的三维手持多条纹双目三维扫描系统的结构的示意图，如图2所示，包括：数字投影仪101，红外结构光三维扫描模组102，左摄像机103，右摄像机104，计算机105，被测样品106。

可选地，左摄像机103的内部参数：

可选地，右摄像机104的内部参数：

可选地，摄像机之间的系统结构参数：

T＝[-1.778995e+002,-4.162821e-001,5.074737e+001]。

可选地，红外结构光三维扫描模组的内部参数：

可选地，红外结构光三维扫描模组与左摄像机的之间的系统结构参数：

Ts＝[9.13387457e+001,2.81182536e+001,1.79046857e+000]。

按照上述部分，对样品投射数字模拟激光条纹图，被摄像机与红外结构光三维扫描模组同时采集。根据采集到的条纹图还有红外结构光三维扫描模组(如图3a和图3b所示，其中，图3a是根据本发明上述实施例的一种可选的左相机采集到的条纹的示意图，图3b是根据本发明上述实施例的一种可选的左相机采集到的条纹的示意图)的深度图，利用红外结构光三维扫描模组的内参将深度图转换为三维坐标，同时根据标定参数将该三维坐标依次投影到左右相机的图像上(如图4a和图4b所示，图4a是根据本发明上述实施例的一种可选的左相机图像条纹线段分割及红外结构光三维扫描模组反投影的示意图，图4b是根据本发明上述实施例的一种可选的右相机图像条纹线段分割及红外结构光三维扫描模组反投影的示意图)，左右对应点上赋予序号，形成序号查找表。提取左右相机图像上条纹中心并进行连通域分割，根据序号查找表进行条纹对应线段的匹配。匹配完的线段对根据双相机的极线几何约束关系进行对应点查找(如图5所示，图5是根据本发明上述实施例的一种可选的极线几何约束的示意图)，然后根据标定参数进行三维重构，生成点云数据。

本发明提供的技术方案，利用红外结构光三维扫描模组指导双目三维成像系统中可见光多条纹中心线段的准确匹配。

本发明提供的技术方案，利用两个不同波段互不干涉的结构光相结合的多条纹三维重建技术。

本发明提供的技术方案，利用红外结构光三维扫描模组指导可见光多线条纹双目立体视觉的匹配算法，同时实现不同波段结构光扫描的协同工作。该红外结构光三维扫描模组可以为市面上的Realsense、Kinect、mantis或者其他不可见结构光三维成像模组等。

本发明提供的技术方案，可以简化双目立体匹配的难度，增加匹配的准确性。简化了现有技术需要标定光平面的步骤，同时解除了现有技术上对投射条纹数量的限制，同等条件下扫描速率可以提升十倍以上。

根据本发明的另一方面，本发明实施例还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的基于双目三维扫描系统的三维重构方法。

根据本发明的另一方面，本发明实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的基于双目三维扫描系统的三维重构方法。

根据本发明实施例，还提供了一种基于双目三维扫描系统的三维重构装置实施例，需要说明的是，该基于双目三维扫描系统的三维重构装置可以用于执行本发明实施例中的基于双目三维扫描系统的三维重构方法，本发明实施例中的基于双目三维扫描系统的三维重构方法可以在该基于双目三维扫描系统的三维重构装置中执行。

图6是根据本发明实施例的一种可选的基于双目三维扫描系统的三维重构装置的示意图，如图6所示，双目三维扫描系统包括：不可见结构光扫描模组、第一摄像机、第二摄像机、投影设备，其中，装置可以包括：投影单元61，用于利用投影设备将条纹图像投射到被测物体上，产生调制后的条纹图像；采集单元63，用于利用第一摄像机采集调制后的条纹图像，得到第一图像，利用第二摄像机采集调制后的条纹图像，得到第二图像，利用不可见结构光扫描模组采集被测物体的深度图；匹配单元65，用于根据深度图将第一图像中的条纹与第二图像中的条纹进行匹配；查找单元67，用于查找相匹配的对应条纹中心线段中单个点的对应关系，得到对应点对；重建单元69，用于将对应点对重建为三维点云数据。

需要说明的是，该实施例中的投影单元61可以用于执行本申请实施例中的步骤S102，该实施例中的采集单元63可以用于执行本申请实施例中的步骤S104，该实施例中的匹配单元65可以用于执行本申请实施例中的步骤S106，该实施例中的查找单元67可以用于执行本申请实施例中的步骤S108，该实施例中的重建单元69可以用于执行本申请实施例中的步骤S110。上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。

根据本发明上述实施例，在双目三维扫描系统中，存在不可见结构光扫描模组、第一摄像机、第二摄像机、投影设备，通过投影设备将条纹图像投射到被测物体上，然后通过第一摄像机采集调制后的条纹图像的第一图像，通过第二摄像机采集调制后的条纹图像的第二图像，并利用不可见结构光扫描模组采集被测物体的深度图，再利用该深度图将第一图像中的条纹与第二图像中的条纹进行匹配，查找第一图像和第二图像中相匹配的对应条纹中心线段中单个点的对应关系，匹配的对应点对，进而将对应点对重建为三维点云数据，从而利用第一图像和第二图像中的采集的条纹与不可键结构光波组采集的深度图像结合的方式，提高三维扫描系统中第一图像中的条纹与第二图像中的条纹的匹配准确度，进而可以能够在保证对应点匹配的准确度的基础上增加条纹的数量，增加三维扫描系统的扫描效率，解决了现有的手持条纹双目三维扫描技术中随着条纹数量的增多导致对应点匹配错误率增大的技术问题。

作为一种可选的实施例，匹配单元包括：换算模块，用于将深度图换算为不可见结构光扫描模组坐标系下的第一三维点云坐标；转换模块，用于根据不可见结构光扫描模组与第一摄像机之间的相对位置关系所对应的旋转平移矩阵将第一三维点云坐标转换为第一摄像机坐标系下的第二三维点云坐标；投影模块，用于将第二三维点云坐标分别投影到第一图像以及第二图像中；确定模块，用于根据预定的第一图像与第二图像中点坐标的对应关系确定与第一图像中的条纹相对应的第二图像中的条纹。

作为一种可选的实施例，确定模块包括：第一确定子模块，用于确定第一图像中目标条纹中的点对应的目标序号；查找模块，用于根据预定序号查找表查找第二图像中与目标序号相对应的点，其中，预定序号查找表用于指示第一图像与第二图像中点坐标的对应关系；第二确定子模块，用于将第二图像中与目标序号相对应的点所在的条纹确定为与目标条纹相匹配的条纹。

作为一种可选的实施例，该实施例还可以包括：标定单元，用于在利用投影设备将条纹图像投射到被测物体上，产生调制后的条纹图像之前，对双目三维扫描系统进行标定，获取双目三维扫描系统的结构参数。

作为一种可选的实施例，标定单元包括：标定模块，用于对第一摄像机以及第二摄像机进行标定，获取第一摄像机以及第二摄像机的内外参数；第一获取模块，用于获取第一摄像机与第二摄像机之间的相对位置关系所对应的旋转平移矩阵；第二获取模块，用于获取不可见结构光扫描模组与第一摄像机之间的相对位置关系所对应的旋转平移矩阵。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于双目三维扫描系统的三维重构方法，其特征在于，所述双目三维扫描系统包括：不可见结构光扫描模组、第一摄像机、第二摄像机、投影设备，其中，所述方法包括：

利用所述投影设备将条纹图像投射到被测物体上，产生调制后的条纹图像；

利用所述第一摄像机采集所述调制后的条纹图像，得到第一图像，利用所述第二摄像机采集所述调制后的条纹图像，得到第二图像，利用所述不可见结构光扫描模组采集所述被测物体的深度图；

根据所述深度图将所述第一图像中的条纹与所述第二图像中的条纹进行匹配；

查找相匹配的对应条纹中心线段中单个点的对应关系，得到对应点对；

将所述对应点对重建为三维点云数据；

其中，在利用所述投影设备将条纹图像投射到被测物体上，产生调制后的条纹图像之前，所述方法还包括：

对所述双目三维扫描系统进行标定，获取所述双目三维扫描系统的结构参数；

其中，对所述双目三维扫描系统进行标定，获取所述双目三维扫描系统的结构参数包括：

对所述第一摄像机以及所述第二摄像机进行标定，获取所述第一摄像机以及所述第二摄像机的内外参数；

获取所述第一摄像机与所述第二摄像机之间的相对位置关系所对应的旋转平移矩阵；

获取所述不可见结构光扫描模组与所述第一摄像机之间的相对位置关系所对应的旋转平移矩阵；

其中，根据所述深度图将所述第一图像中的条纹与所述第二图像中的条纹进行匹配包括：

将所述深度图换算为所述不可见结构光扫描模组坐标系下的第一三维点云坐标；

根据所述不可见结构光扫描模组与所述第一摄像机之间的相对位置关系所对应的旋转平移矩阵将所述第一三维点云坐标转换为所述第一摄像机坐标系下的第二三维点云坐标；

将所述第二三维点云坐标分别投影到所述第一图像以及所述第二图像中；

根据预定的所述第一图像与所述第二图像中点坐标的对应关系确定与所述第一图像中的条纹相对应的所述第二图像中的条纹。

2.根据权利要求1所述的方法，其特征在于，根据预定的所述第一图像与所述第二图像中点坐标的对应关系确定与所述第一图像中的条纹相对应的所述第二图像中的条纹包括：

确定所述第一图像中目标条纹中的点对应的目标序号；

根据预定序号查找表查找所述第二图像中与所述目标序号相对应的点，其中，所述预定序号查找表用于指示所述第一图像与所述第二图像中点坐标的对应关系；

将所述第二图像中与所述目标序号相对应的点所在的条纹确定为与所述目标条纹相匹配的条纹。

3.一种基于双目三维扫描系统的三维重构装置，其特征在于，所述双目三维扫描系统包括：不可见结构光扫描模组、第一摄像机、第二摄像机、投影设备，其中，所述装置包括：

投影单元，用于利用所述投影设备将条纹图像投射到被测物体上，产生调制后的条纹图像；

采集单元，用于利用所述第一摄像机采集所述调制后的条纹图像，得到第一图像，利用所述第二摄像机采集所述调制后的条纹图像，得到第二图像，利用所述不可见结构光扫描模组采集所述被测物体的深度图；

匹配单元，用于根据所述深度图将所述第一图像中的条纹与所述第二图像中的条纹进行匹配；

查找单元，用于查找相匹配的对应条纹中心线段中单个点的对应关系，得到对应点对；

重建单元，用于将所述对应点对重建为三维点云数据；

其中，所述装置还包括：

标定单元，用于在利用所述投影设备将条纹图像投射到被测物体上，产生调制后的条纹图像之前，对所述双目三维扫描系统进行标定，获取所述双目三维扫描系统的结构参数；

其中，所述标定单元包括：

标定模块，用于对所述第一摄像机以及所述第二摄像机进行标定，获取所述第一摄像机以及所述第二摄像机的内外参数；

第一获取模块，用于获取所述第一摄像机与所述第二摄像机之间的相对位置关系所对应的旋转平移矩阵；

第二获取模块，用于获取所述不可见结构光扫描模组与所述第一摄像机之间的相对位置关系所对应的旋转平移矩阵；

其中，所述匹配单元包括：

换算模块，用于将所述深度图换算为所述不可见结构光扫描模组坐标系下的第一三维点云坐标；

转换模块，用于根据所述不可见结构光扫描模组与所述第一摄像机之间的相对位置关系所对应的旋转平移矩阵将所述第一三维点云坐标转换为所述第一摄像机坐标系下的第二三维点云坐标；

投影模块，用于将所述第二三维点云坐标分别投影到所述第一图像以及所述第二图像中；

确定模块，用于根据预定的所述第一图像与所述第二图像中点坐标的对应关系确定与所述第一图像中的条纹相对应的所述第二图像中的条纹。

4.根据权利要求3所述的装置，其特征在于，所述确定模块包括：

第一确定子模块，用于确定所述第一图像中目标条纹中的点对应的目标序号；

查找模块，用于根据预定序号查找表查找所述第二图像中与所述目标序号相对应的点，其中，所述预定序号查找表用于指示所述第一图像与所述第二图像中点坐标的对应关系；

第二确定子模块，用于将所述第二图像中与所述目标序号相对应的点所在的条纹确定为与所述目标条纹相匹配的条纹。

5.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1或2所述的方法。

6.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1或2所述的方法。

Images