Nothing Special   »   [go: up one dir, main page]

CN109087382A - 一种三维重构方法及三维成像系统 - Google Patents

一种三维重构方法及三维成像系统 Download PDF

Info

Publication number
CN109087382A
CN109087382A CN201810862898.1A CN201810862898A CN109087382A CN 109087382 A CN109087382 A CN 109087382A CN 201810862898 A CN201810862898 A CN 201810862898A CN 109087382 A CN109087382 A CN 109087382A
Authority
CN
China
Prior art keywords
image
point
description
characteristic point
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810862898.1A
Other languages
English (en)
Inventor
张宝
温志庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Farui Taike Intelligent Technology Co Ltd
Original Assignee
Ningbo Farui Taike Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Farui Taike Intelligent Technology Co Ltd filed Critical Ningbo Farui Taike Intelligent Technology Co Ltd
Priority to CN201810862898.1A priority Critical patent/CN109087382A/zh
Publication of CN109087382A publication Critical patent/CN109087382A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种三维重构方法及三维成像系统。三维重构方法,包括:利用两个相机拍摄同一目标的图像,分别得到第一图像和第二图像;分别从第一图像和第二图像上提取特征点;对特征点进行初始化处理,得到特征点描述子;对第一图像上提取的每个特征点分别进行如下处理:将第一图像上提取的每个特征点的描述子与第二图像上提取的特征点的描述子分别进行运算,得到两个特征点的匹配度,根据匹配度最高的两个特征点的坐标来计算与匹配度最高的两个特征点对应的物点在两个相机的视差,进而得到与匹配度最高的两个特征点对应的物点的深度值和三维坐标。本发明无需预先标定结构光且提供的数据精度较高。

Description

一种三维重构方法及三维成像系统
技术领域
本发明涉及一种三维重构方法及三维成像系统。
背景技术
三维相机主要有两种技术路线:一种是飞行时间相机(Time of Flight),另外一种是立体相机(Stereo Camera)。
飞行时间相机是一种根据已知光速计算距离的距离成像相机。通过测量光信号的飞行时间,场景中任何物体上的一点到相机的距离可以被计算出来。
立体相机是一种双镜头的三维相机,其双镜头被用来模拟人眼的双目视觉。这类相机记录左右镜头的图像,通过特殊的显示从而让用户产生3D印象(类似3D电影)而并不会真正计算深度值,因此不能被用在其它需要三维数据的应用上,比如3D打印等。
当立体相机被用来确定场景中每一点的深度值时,我们需要在两幅不同的图像对上找对应点。如何解决特征点匹配的问题(包括匹配的运算速度)是这条技术路线的核心问题。
目前,一种方案是直接从彩色图像中找对应特征点来计算深度信息。这种方法的优点是不需要额外的光源,在自然光照情况下就可以工作,而且测量距离比较远;缺点是精确度低,特别是当图像的色彩和亮度均一时,这种方法将失效。
另一种方案是利用结构光。其优点是精确度高,可以只用一个镜头;缺点是结构光投影仪必须被预先标定,同时还有仪器间干扰问题。
发明内容
基于以上各项技术中存在的问题,本发明提供一种三维重构方法及三维成像系统,省略对结构光预先标定的步骤,并提高三维数据的精确度。
本申请的第一方面提供了一种三维重构方法,包括:
利用两个相机拍摄同一目标的图像,分别得到第一图像和第二图像;
分别从第一图像和第二图像上提取特征点;
对特征点进行初始化处理,得到特征点描述子;
对第一图像上提取的每个特征点分别进行如下处理:
将第一图像上提取的每个特征点的描述子与第二图像上提取的特征点的描述子分别进行运算,得到两个特征点的匹配度,
根据匹配度最高的两个特征点的坐标来计算与匹配度最高的两个特征点对应的物点在两个相机的视差,进而得到与匹配度最高的两个特征点对应的物点的深度值和三维坐标。
本申请采用双相机结构,通过比较即时采集的两幅图像,对特征点进行数值化处理得到描述子并进行匹配处理,进而取得目标物体的三维坐标来进行重构,无需预先标定结构光,并且匹配速度快,可靠性高。
进一步地,对第一图像上提取的每个特征点分别进行处理时,可以将第一图像上提取的每个特征点的描述子与第二图像上提取的所有特征点的描述子分别进行运算,得到两个特征点的匹配度。
进一步地,对第一图像上提取的每个特征点分别进行处理时,可以将第一图像上提取的每个特征点的描述子与第二图像上提取的对应的极线上的点的描述子分别进行运算,得到两个特征点的匹配度,此处,极线指的是空间中的一点与一个相机中心的连线在另一个相机中的投影。
进一步地,在利用两个相机分别拍摄图像的步骤前,还包括向目标投射散斑结构光的步骤。本发明采用不随时间改变的固定结构光图案,光源不需要和相机同步,提高系统的可靠性。
进一步地,对特征点进行初始化处理的步骤进一步包括:将第一图像和第二图像转换成“点-非点”的二值图像,将亮点所在的像素点的像素值设为1,其余像素点的像素值设为0;描述子被定义为:围绕特征点的多个像素点的像素值构成的矢量;匹配度通过计算两个特征点描述子的矢量点积而得到。
该方案利用散斑结构光来投射目标物体,也能够增加有效图像特征点的数量,因此重构出的三维数据点的精度和密度都会大为提高。同时,由于本申请采用双相机结构,空间上任一点的深度值通过比较该点在左右相机即时采集的两幅图像上的像点获得,因此本发明不需要对结构光进行预先标定,深度计算也不需要通过和预存的散斑图案比对来完成,因此设备间干扰问题得以有效解决。
进一步地,当亮点位于多个像素点之间时,可以将离亮点最近的像素点的像素值设为1。
进一步地,对特征点进行初始化处理的步骤进一步包括:利用点搜寻器将第一图像和第二图像转换成“点-非点”的图像;描述子被定义为:围绕特征点的多个像素点的像素值构成的矢量;像素点的像素值被设为:max(0,L-d),其中L为像素点的宽度,d为亮点到像素点中心的距离;匹配度通过计算两个特征点描述子的矢量点积而得到。通过这种方式可以更为精确地描述亮点的位置,以得到准确的匹配结果。
进一步地,描述子可以被定义为:围绕特征点的多个像素点的亮度值构成的矢量;匹配度通过计算两个特征点描述子的差异平方和(SSD,Sum of Squared Difference)、绝对差异和(SAD,Sum of Absolute Difference)和/或归一化相关系数(NCC,NormalizedCorrelation Coefficient)中的任意一种而得到。利用上述SSD等代价函数进行特征匹配,相比于前述方案来说,可以不局限于散斑结构光,而是采用其它结构光,甚至一般的自然光照射就可以进行三维重构。
进一步地,描述子可以被定义为:围绕特征点的多个像素点的相对亮度值构成的矢量;其中,围绕特征点的像素点的亮度如果大于特征点的亮度,则该像素点的相对亮度值为1,如果小于特征点的亮度,则该像素点的相对亮度值为-1,如果等于特征点的亮度,则该像素点相对亮度值为0;匹配度通过计算两个特征点描述子的矢量点积而得到。利用相对亮度来定义描述子进行三维重构,可以在一定程度上降低亮度误差带来的错误匹配,同时大大简化匹配算法的运算量,提高系统的性能。
进一步地,当相机的镜头或目标为动态时,或者结构光随时间变化时,两个相机同时拍摄同一目标的图像。
进一步地,在提取特征点的步骤前,还包括对第一图像和第二图像进行校正的步骤。
本申请的第二方面提供了一种三维重构装置,包括:
拍摄单元,被配置为利用两个相机分别拍摄同一目标的图像,分别得到第一图像和第二图像;
特征点提取单元,被配置为分别从第一图像和第二图像上提取特征点;
初始化处理单元,被配置为对特征点进行初始化处理,得到特征点描述子;
后处理单元,被配置为对第一图像上提取的每个特征点分别进行如下处理:
将第一图像上提取的每个特征点的描述子与第二图像上提取的特征点描述子分别进行运算,得到两个特征点的匹配度,
根据匹配度最高的两个特征点的坐标来计算与匹配度最高的两个特征点对应的物点在两个相机的视差,进而得到与匹配度最高的两个特征点对应的物点的深度值和三维坐标。
进一步地,后处理单元进一步被配置为:对第一图像上提取的每个特征点分别进行处理时,将第一图像上提取的每个特征点的描述子与第二图像上提取的所有特征点的描述子分别进行运算,得到两个特征点的匹配度。
进一步地,后处理单元进一步被配置为:对第一图像上提取的每个特征点分别进行处理时,将第一图像上提取的每个特征点的描述子与第二图像上提取的对应的极线上的点的描述子分别进行运算,得到两个特征点的匹配度。
进一步地,还包括散斑结构光投射单元,用于向目标投射散斑结构光。
进一步地,初始化处理单元进一步被配置为,将第一图像和第二图像转换成“点-非点”的二值图像,将亮点所在的像素点的像素值设为1,其余像素点的像素值设为0;描述子被定义为:围绕特征点的多个像素点的像素值构成的矢量;
在后处理单元中,匹配度通过计算两个特征点描述子的矢量点积而得到。
进一步地,当亮点位于多个像素点之间时,将离亮点最近的像素点的像素值设为1。
进一步地,对特征点进行初始化处理的步骤进一步包括:将第一图像和第二图像转换成“点-非点”的图像;描述子被定义为:围绕特征点的多个像素点的像素值构成的矢量;像素点的像素值被设为:max(0,L-d),其中L为像素点的宽度,d为亮点到像素点中心的距离;匹配度通过计算两个特征点描述子的矢量点积而得到。
进一步地,在初始化处理单元中,描述子被定义为:围绕特征点的多个像素点的亮度值构成的矢量;在后处理单元中,匹配度通过计算两个特征点描述子的差异平方和、绝对差异和和/或归一化相关系数中的任意一种而得到。
进一步地,在初始化处理单元中,描述子被定义为:围绕特征点的多个像素点的相对亮度值构成的矢量;其中,围绕特征点的像素点的亮度如果大于特征点的亮度,则该像素点的相对亮度值为1,如果小于特征点的亮度,则该像素点的相对亮度值为-1,如果等于特征点的亮度,则该像素点相对亮度值为0;在后处理单元中,匹配度通过计算两个特征点描述子的矢量点积而得到。
进一步地,拍摄单元进一步被配置为,当相机的镜头或目标为动态时,或者结构光随时间变化时,两个相机同时拍摄同一目标的图像。
进一步地,前述的三维重构装置还包括:校正单元,被配置为第一图像和第二图像进行校正。
本申请的第三方面提供了一种三维成像系统,包括光源和两个相机,还包括前述第二方面或第二方面的任一实现方式提供的三维重构装置。
进一步地,该三维成像系统还包括:
相机标定模块,用于标定相机的内外参数;
设备控制模块,用于控制相机进行图像采集和图像存储,以及控制光源投射光;
输出模块,用于输出3D信息,3D信息包括:目标的形状、空间位置、色彩分布和/或点云数据中的任意一项或多项。
进一步地,前述输出模块中还包括显示单元,用于显示点云图像或重构后的2D/3D模型。
本申请的第四方面提供了一种计算设备,该设备包括处理器、存储器,处理器与存储器建立通信连接;
处理器,用于读取存储器中的程序,以执行前述第一方面或第一方面的任一实现方式提供的方法。
本申请的第五方面提供了一种非易失性存储介质,该非易失性存储介质中存储了程序,该程序被计算设备运行时,计算设备执行前述第一方面或第一方面的任一实现方式提供的方法。
本申请第六方面提供了一种三维成像设备,包括前述第三方面或第三方面的任一实现方式提供的系统。
本发明采用双相机结构,通过比较物点在左右相机即时采集的两幅图像上的像点来获得该点深度值,本申请优化了匹配机制,通过对特征点进行数值化处理得到描述子并进行匹配处理,进而三维重构,相对于现有技术,匹配速度快,整体可靠性高,且不需要对结构光进行预先标定,也有效解决了设备间干扰问题。
附图说明
图1是根据本发明的实施例的三维重构方法的流程图。
图2是双目三维成像原理示意图。
图3是根据本发明的实施例的三维成像系统的结构示意图。
图4是根据本发明的实施例的三维重构装置的结构示意图。
图5是根据本发明的实施例的散斑结构光图案。
图6是根据本发明的实施例的二值图像对应的特征点描述子示意图。
图7是根据本发明的实施例的根据相对亮度值定义的特征点描述子示意图。
具体实施方式
下面结合具体实施例和附图对本发明做进一步说明。可以理解的是,此处描述的具体实施例仅仅是为了解释本发明,而非对本发明的限定。此外,为了便于描述,附图中仅示出了与本发明相关的部分而非全部的结构或过程。
另外,在以下的说明中所使用的“上”、“下”、“左”、“右”等,仅仅是为了方便解释本发明的结构,不应理解为对本发明的限制。
根据本发明的一个实施例,提供一种基于双目相机的三维成像系统。双目三维成像原理如图2所示,左相机Ol与右相机Or之间的距离(即基线长度)为b,对于场景中的任意一点P(x,y,z),如果它在左右相机的视差d=xL-xR,根据相似三角形原理,点P的深度值Z=fb/d,即Z=fb/(xL-xR)。当利用双目立体相机来确定场景的深度信息时,需要在两幅不同的图像对上找出匹配的特征点。本发明利用散斑图案中亮点的几何分布作为图像特征点的描述子,通过计算描述子的矢量点积值等算法来表征特征点的匹配度。
基于上述原理,本发明的一个实施例提供的三维成像系统如图3所示,该三维成像系统1可以包括:相机标定模块10、设备控制模块20、三维重构模块30和输出模块40以及存储模块(图3中未示出)等。
其中,相机标定模块10用于标定相机的内外参数,主要包括:在不同距离不同角度采集20~50幅相机标定板的照片;运行相机标定程序,获取两个相机的内部参数(如焦距、畸变参数等)以及相机间的几何参数(如位移,旋转等);以及将相机的标定参数存储到数据文件中。
设备控制模块20包含相机控制单元和光源(投影仪)控制单元。相机控制单元控制相机进行图像采集和图像存储,光源控制单元通过对投影仪或其它光源的控制完成散斑结构光或其他光的投射。
三维重构模块30是本系统的核心部分,关于该部分的详细说明将在后文进行描述。该模块主要完成对原始输入图像的校正、图像间特征点匹配、根据匹配结果生成视差图像、对生成的视差图像进行过滤等后处理以去除坏数据点、将视差图像转换成深度图像以及深度图像转换成三维点云等。
输出模块40用于输出3D信息,该3D信息包括:目标的形状、空间位置、色彩分布和/或点云数据中的任意一项或多项。它可以进一步包括坐标输出单元和图像显示单元,图像显示单元用于显示目标的各种形态的参数,例如重构后的2D/3D模型、2D/3D叠加显示以及点云图像等,以直观复现目标物的形态;而坐标输出单元则主要用于输出三维数据,以便为其它的三维应用(例如3D打印等)提供数据,大大增强了本系统的可扩展性。
本申请采用双相机结构,通过比较即时采集的两幅图像,对特征点进行数值化处理得到描述子并进行匹配处理,进而取得目标物体的三维坐标来进行重构,无需预先标定结构光,匹配速度快,可靠性高。
下面结合图1和图4详细介绍三维重构模块30以及利用该模块进行三维重构的方法。
根据本发明的一个实施例,三维重构模块30包括一种三维重构装置300,如图4所示,该装置300包括:拍摄单元301、特征点提取单元302、初始化处理单元303和后处理单元304。
其中,拍摄单元301被配置为利用两个相机分别拍摄同一目标的图像,分别得到第一图像和第二图像。
特征点提取单元302被配置为分别从第一图像和第二图像上提取特征点。
初始化处理单元303,被配置为对特征点进行初始化处理,得到特征点描述子。
后处理单元304,被配置为将第一图像上提取的特征点的描述子与第二图像上提取的特征点描述子分别进行运算,得到两个特征点的匹配度,随后根据匹配度最高的两个特征点的坐标来计算与匹配度最高的两个特征点对应的物点在两个相机的视差,进而得到与匹配度最高的两个特征点对应的物点的深度值和三维坐标。
此外,在一些实施例中,三维重构装置300还可以包括向目标投射散斑结构光的散斑结构光投射单元;以及被配置为第一图像和第二图像进行校正的校正单元等。
根据本发明的一个实施例,利用前述三维成像系统进行三维重构的方法如图1所示。
首先,步骤S101-S102,利用左右两个相机分别拍摄同一目标的图像,分别得到第一图像和第二图像。当该成像系统中两相机的镜头或目标为动态时,或者该成像系统中采用结构光源,并且结构光源随时间变化时,左右两个相机需同时拍摄该目标的图像。在一些实施例中,得到第一图像和第二图像后,需要对该原始图像进行校正,确定是同一目标拍得的图像。
随后,步骤S103-S104,分别从第一图像和第二图像上提取特征点。
随后,步骤S105-S106,对特征点进行初始化处理,得到特征点描述子。
随后,步骤S107,将第一图像上提取的每个特征点的描述子与第二图像上提取的特征点的描述子分别进行运算,得到两个特征点的匹配度。
在该步骤中,可以将第一图像上提取的每个特征点的描述子与第二图像上提取的所有特征点的描述子分别进行运算,得到两个特征点的匹配度;也可以将第一图像上提取的每个特征点的描述子与第二图像上提取的对应的极线上的点的描述子分别进行运算,得到两个特征点的匹配度,此处,极线指的是空间中的一点与一个相机中心的连线在另一个相机中的投影。
随后,步骤S108,根据匹配度最高的两个特征点的坐标来计算与匹配度最高的两个特征点对应的物点在两个相机的视差。
随后,步骤S109,进而得到与匹配度最高的两个特征点对应的物点的深度值和三维坐标。
下面结合图5-7详细说明本发明的几种特征点匹配方案。
根据本发明的一个实施例,在图1所示的步骤S101和S102利用两个相机分别拍摄图像的步骤前,还包括向目标投射散斑结构光的步骤,这样左右相机采集到的二维图像是随机分布的亮点组成的,如图5所示。此处可以采用不随时间改变的固定结构光图案,光源不需要和相机同步,提高系统的可靠性。
随后,经过步骤S103-S104提取特征点后,在步骤S105-S106中,对特征点进行初始化处理时,可以利用点搜寻器(Dot Finder)可以把散斑图片转换成“点-非点”的二值图像,将其中亮点所在的像素点的像素值设为1,其余像素点的像素值设为0。特征点描述子可以定义为围绕该点(包括该点)多个像素点的像素值构成的矢量。例如,如图6所示的5×5像素的二值图像所对应的特征点描述子矢量是v=(0100000010001000100100000)。特征点描述子也可以在3×3、7×7、9×9等的小模板上定义。特征点匹配度通过计算两个特征点描述子的矢量点积而得到。
如果亮点中心坐落在几个像素格点之间,可以令离其最近的像素点的像素值为1。而为了更精确地描述亮点的位置,利用点搜寻器将第一图像和第二图像转换成“点-非点”的图像后,可以将像素点的像素值设为:max(0,L-d),其中L为像素点的宽度,d为亮点到像素点中心的距离。这种方式相对于二值描述来说,得到的匹配结果更为准确。
该方案利用散斑图案中亮点的几何分布作为图像特征点的描述子,通过计算两个特征点描述子的矢量点积值来表征特征点的匹配度,该值越大则说明两个特征点越匹配。
举例来说,对于给定第一图像上的一个特征点,其坐标为(xL,yL),按照上述方法在第二图像上找到的匹配特征点,其坐标为(xR,yR)。因为图像已经校正过,匹配特征点在同一水平线上,所以yL=yR。该点在左右相机的视差为:
d=xL-xR
根据三角定位原理,该点的深度值为:
Z=bf/d
这里b为基线长度,f为相机的焦距,d为视差。
该点的X、Y坐标由下式给出:
X=Z*xL/f
Y=Z*yL/f
由此可得到该点的三维坐标,这里计算出的点的三维坐标(X,Y,Z)是在左相机坐标系OXYZ上(左相机中心为坐标原点O,左相机主光轴为Z轴)。
该方案利用散斑结构光,增加了有效图像特征点的数量,因此重构出的三维数据点的精度和密度都能够大为提高,同时,在采用不随时间改变的固定结构光的情况下,光源不需要和相机同步,提高了系统的可靠性。而由于采用双相机结构,空间上任一点的深度值通过比较该点在左右相机即时采集的两幅图像上的像点获得,因此不需要对结构光进行预先标定,深度计算不需要通过和预存的散斑图案比对来完成,因此也可以有效解决设备间干扰问题。
根据本发明的另一个实施例,按照图1所示的方法进行三维重构时,在步骤S105-S106中,对特征点进行初始化处理时,特征点描述子可以被定义为:围绕特征点的多个像素点的亮度值构成的矢量。特征点描述子同样可以在3×3、5×5、7×7、9×9等的小模板上定义。而在步骤S107,进行特征点匹配时,匹配度可以通过计算两个特征点描述子的差异平方和SSD、绝对差异和SAD和/或归一化相关系数NCC等而得到。
通过计算描述子之间的差异平方和SSD来进行匹配时,对于一个视差为d的左像素点p(x,y),SSD计算公式如下:
其中IL、IR是左右像素点的亮度值,r为相邻点的半径。描述子之间的差异平方和SSD越小,说明特征点越匹配。
通过计算描述子之间的绝对差异和SAD来进行匹配时,对于一个视差为d的左像素点p(x,y),SAD计算公式如下:
描述子之间的绝对差异和SAD越小,则说明特征点越匹配。
根据本实施例定义的特征点描述子,其匹配方法还可以通过计算描述子之间的归一化相关系数(NCC)来实现。对于一个视差为d的左像素点p(x,y),NCC计算公式如下:
其中为描述子亮度平均值。描述子之间的归一化相关系数NCC越接近1,说明特征点越匹配;NCC小于0.5则说明两个描述子之间相关性不强或没有相关性。
通过以上方法得到匹配度最高的特征点后,由视差计算深度以及三维点坐标的方法与前述实施例完全相同,在此不再赘述。基于亮度值定义的特征点匹配算法包括但不限于SSD、SAD和NCC。在其他实施例中,可以根据场景合理选用适当的算法进行三维重构。
利用上述SSD等代价函数进行特征匹配时,相比于前述实施例来说,结构光可以不局限于散斑结构光,也可以采用其它结构光,甚至不用结构光而用一般的自然光照明就可以达到三维重构。另外,这一方案可以达到的三维点数理论上等于二维相机的像素数。
根据本发明的另一个实施例,按照图1所示的方法进行三维重构时,在步骤S105-S106中,对特征点进行初始化处理时,特征点描述子可以被定义为:围绕特征点的多个像素点的相对亮度值构成的矢量。在本方案中,特征点描述子由围绕该点的相邻像素点的相对亮度值来定义,如果围绕特征点的像素点的亮度如果大于特征点的亮度,则该像素点的相对亮度值为1,如果小于特征点的亮度,则该像素点的相对亮度值为-1,如果等于特征点的亮度,则该像素点相对亮度值为0。同样,特征点描述子同样可以在3×3、5×5、7×7、9×9等的小模板上定义。例如,图7中所示的3×3像素的相对亮度特征点描述子的矢量可以表示为:v=(1,-1,-1,1,0,1,-1,1,-1),像素的相对亮度在矢量v中的次序按从左到右,从上到下排列。而在步骤S107,进行特征点匹配时,匹配度通过计算两个特征点描述子的矢量点积而得到,矢量点积值越大,则说明两个特征点越匹配。得到匹配度最高的特征点后,由视差计算深度以及三维点坐标的方法与前述实施例完全相同,在此不再赘述。
利用相对亮度来定义描述子进行三维重构,可以在一定程度上降低亮度误差带来的错误匹配,同时大大简化匹配算法的运算量,提高系统的性能。同时,该实施例同样也无需局限于散斑结构光,可以采用其它结构光,甚至不用结构光而用一般的自然光照明就可以达到三维重构。
以上描述的各种实施例中的三维重构的过程均可以在CPU上完成,也可以在GPU上完成,二者相比来说,在CPU上需要逐点完成上述运算,速度比较慢;而在GPU上可以同时对所有点一次性完成上述运算,速度能够大幅度提高。除此之外,也可以采用ASIC、FPGA等方式实现。
根据本发明的另一个实施例,还提供了一种计算设备,包括处理器和存储器,处理器和存储器建立通信连接,处理器,用于读取存储器中的程序,以执行图1中的三维重构方法。
根据本发明的另一个实施例,还提供了一种非易失性存储介质,非易失性存储介质中存储了程序,该程序被计算设备运行时,计算设备执行图1中的三维重构方法。
根据本发明的另一个实施例,还提供了一种三维成像设备,包括前述三维成像系统,该设备可以包括两个或以上的相机和一个结构光发射器,结构光发射器可以是但不限于红外激光发射器。
上面结合附图对本发明的实施例做了详细说明,但本发明技术方案的使用不仅仅局限于本专利实施例中提及的各种应用,各种结构和变型都可以参考本发明技术方案轻易地实施,以达到本文中提及的各种有益效果。在本领域普通技术人员所具备的知识范围内,在不脱离本发明宗旨的前提下做出的各种变化,均应归属于本发明专利涵盖范围。

Claims (28)

1.一种三维重构方法,其特征在于,包括:
利用两个相机拍摄同一目标的图像,分别得到第一图像和第二图像;
分别从所述第一图像和所述第二图像上提取特征点;
对所述特征点进行初始化处理,得到特征点描述子;
对所述第一图像上提取的每个特征点分别进行如下处理:
将所述第一图像上提取的每个特征点的描述子与所述第二图像上提取的特征点的描述子分别进行运算,得到两个特征点的匹配度,
根据匹配度最高的两个特征点的坐标来计算与所述匹配度最高的两个特征点对应的物点在所述两个相机的视差,进而得到与所述匹配度最高的两个特征点对应的物点的深度值和三维坐标。
2.根据权利要求1所述的三维重构方法,其特征在于,对所述第一图像上提取的每个特征点分别进行处理时,将所述第一图像上提取的每个特征点的描述子与所述第二图像上提取的所有特征点的描述子分别进行运算,得到两个特征点的匹配度。
3.根据权利要求1所述的三维重构方法,其特征在于,对所述第一图像上提取的每个特征点分别进行处理时,将所述第一图像上提取的每个特征点的描述子与所述第二图像上提取的对应的极线上的点的描述子分别进行运算,得到两个特征点的匹配度。
4.根据权利要求1所述的三维重构方法,其特征在于,在利用两个相机分别拍摄图像的步骤前,还包括向所述目标投射散斑结构光的步骤。
5.根据权利要求4所述的三维重构方法,其特征在于,
对所述特征点进行初始化处理的步骤进一步包括:将所述第一图像和所述第二图像转换成“点-非点”的二值图像,将亮点所在的像素点的像素值设为1,其余像素点的像素值设为0;所述描述子被定义为:围绕所述特征点的多个像素点的像素值构成的矢量;
所述匹配度通过计算两个特征点描述子的矢量点积而得到。
6.根据权利要求5所述的三维重构方法,其特征在于,当亮点位于多个像素点之间时,将离亮点最近的像素点的像素值设为1。
7.根据权利要求4所述的三维重构方法,其特征在于,对所述特征点进行初始化处理的步骤进一步包括:将所述第一图像和所述第二图像转换成“点-非点”的图像;
所述描述子被定义为:围绕所述特征点的多个像素点的像素值构成的矢量;所述像素点的像素值被设为:max(0,L-d),其中L为所述像素点的宽度,d为亮点到像素点中心的距离;
所述匹配度通过计算两个特征点描述子的矢量点积而得到。
8.根据权利要求1或4所述的三维重构方法,其特征在于,
所述描述子被定义为:围绕所述特征点的多个像素点的亮度值构成的矢量;
所述匹配度通过计算两个特征点描述子的差异平方和、绝对差异和和/或归一化相关系数中的任意一种而得到。
9.根据权利要求1或4所述的三维重构方法,其特征在于,
所述描述子被定义为:围绕所述特征点的多个像素点的相对亮度值构成的矢量;其中,围绕所述特征点的像素点的亮度如果大于所述特征点的亮度,则该像素点的相对亮度值为1,如果小于所述特征点的亮度,则该像素点的相对亮度值为-1,如果等于所述特征点的亮度,则该像素点相对亮度值为0;
所述匹配度通过计算两个特征点描述子的矢量点积而得到。
10.根据权利要求4所述的三维重构方法,其特征在于,当所述相机的镜头或所述目标为动态时,或者所述结构光随时间变化时,所述两个相机同时拍摄所述同一目标的图像。
11.根据权利要求1所述的三维重构方法,其特征在于,在提取特征点的步骤前,还包括对所述第一图像和所述第二图像进行校正的步骤。
12.一种三维重构装置,其特征在于,包括:
拍摄单元,被配置为利用两个相机分别拍摄同一目标的图像,分别得到第一图像和第二图像;
特征点提取单元,被配置为分别从所述第一图像和所述第二图像上提取特征点;
初始化处理单元,被配置为对所述特征点进行初始化处理,得到特征点描述子;
后处理单元,被配置为对所述第一图像上提取的每个特征点分别进行如下处理:
将所述第一图像上提取的每个特征点的描述子与所述第二图像上提取的特征点描述子分别进行运算,得到两个特征点的匹配度,
根据匹配度最高的两个特征点的坐标来计算与所述匹配度最高的两个特征点对应的物点在所述两个相机的视差,进而得到与所述匹配度最高的两个特征点对应的物点的深度值和三维坐标。
13.根据权利要求12所述的三维重构装置,其特征在于,所述后处理单元进一步被配置为:对所述第一图像上提取的每个特征点分别进行处理时,将所述第一图像上提取的每个特征点的描述子与所述第二图像上提取的所有特征点的描述子分别进行运算,得到两个特征点的匹配度。
14.根据权利要求12所述的三维重构装置,其特征在于,所述后处理单元进一步被配置为:对所述第一图像上提取的每个特征点分别进行处理时,将所述第一图像上提取的每个特征点的描述子与所述第二图像上提取的对应的极线上的点的描述子分别进行运算,得到两个特征点的匹配度。
15.根据权利要求12所述的三维重构装置,其特征在于,还包括散斑结构光投射单元,用于向所述目标投射散斑结构光。
16.根据权利要求15所述的三维重构装置,其特征在于,
所述初始化处理单元进一步被配置为,将所述第一图像和所述第二图像转换成“点-非点”的二值图像,将亮点所在的像素点的像素值设为1,其余像素点的像素值设为0;所述描述子被定义为:围绕所述特征点的多个像素点的像素值构成的矢量;
在所述后处理单元中,所述匹配度通过计算两个特征点描述子的矢量点积而得到。
17.根据权利要求16所述的三维重构装置,其特征在于,当亮点位于多个像素点之间时,将离亮点最近的像素点的像素值设为1。
18.根据权利要求15所述的三维重构装置,其特征在于,对所述特征点进行初始化处理的步骤进一步包括:将所述第一图像和所述第二图像转换成“点-非点”的图像;
所述描述子被定义为:围绕所述特征点的多个像素点的像素值构成的矢量;所述像素点的像素值被设为:max(0,L-d),其中L为所述像素点的宽度,d为亮点到像素点中心的距离;
所述匹配度通过计算两个特征点描述子的矢量点积而得到。
19.根据权利要求12或15所述的三维重构装置,其特征在于,
在所述初始化处理单元中,所述描述子被定义为:围绕所述特征点的多个像素点的亮度值构成的矢量;
在所述后处理单元中,所述匹配度通过计算两个特征点描述子的差异平方和、绝对差异和和/或归一化相关系数中的任意一种而得到。
20.根据权利要求12或15所述的三维重构装置,其特征在于,
在所述初始化处理单元中,所述描述子被定义为:围绕所述特征点的多个像素点的相对亮度值构成的矢量;其中,围绕所述特征点的像素点的亮度如果大于所述特征点的亮度,则该像素点的相对亮度值为1,如果小于所述特征点的亮度,则该像素点的相对亮度值为-1,如果等于所述特征点的亮度,则该像素点相对亮度值为0;
在所述后处理单元中,所述匹配度通过计算两个特征点描述子的矢量点积而得到。
21.根据权利要求15所述的三维重构装置,其特征在于,所述拍摄单元进一步被配置为,当所述相机的镜头或所述目标为动态时,或者所述结构光随时间变化时,所述两个相机同时拍摄所述同一目标的图像。
22.根据权利要求12所述的三维重构装置,其特征在于,还包括:
校正单元,被配置为所述第一图像和所述第二图像进行校正。
23.一种三维成像系统,包括光源和两个相机,其特征在于,还包括如权利要求12-22所述的三维重构装置。
24.如权利要求23所述的三维成像系统,其特征在于,还包括:
相机标定模块,用于标定所述相机的内外参数;
设备控制模块,用于控制所述相机进行图像采集和图像存储,以及控制所述光源投射光;
输出模块,用于输出3D信息,所述3D信息包括:所述目标的形状、空间位置、色彩分布和/或点云数据中的任意一项或多项。
25.如权利要求24所述的三维成像系统,其特征在于,所述输出模块中还包括显示单元,用于显示点云图像或重构后的2D/3D模型。
26.一种计算设备,其特征在于,包括处理器、存储器,所述处理器与所述存储器建立通信连接;
所述处理器,用于读取所述存储器中的程序,以执行如权利要求1-11中任一项所述的方法。
27.一种非易失性存储介质,其特征在于,所述非易失性存储介质中存储了程序,该程序被计算设备运行时,所述计算设备执行如权利要求1-11中任一项所述的方法。
28.一种三维成像设备,其特征在于,包括如权利要求23-25所述的系统。
CN201810862898.1A 2018-08-01 2018-08-01 一种三维重构方法及三维成像系统 Pending CN109087382A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810862898.1A CN109087382A (zh) 2018-08-01 2018-08-01 一种三维重构方法及三维成像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810862898.1A CN109087382A (zh) 2018-08-01 2018-08-01 一种三维重构方法及三维成像系统

Publications (1)

Publication Number Publication Date
CN109087382A true CN109087382A (zh) 2018-12-25

Family

ID=64831081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810862898.1A Pending CN109087382A (zh) 2018-08-01 2018-08-01 一种三维重构方法及三维成像系统

Country Status (1)

Country Link
CN (1) CN109087382A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862262A (zh) * 2019-01-02 2019-06-07 上海闻泰电子科技有限公司 图像虚化方法、装置、终端及存储介质
CN109993781A (zh) * 2019-03-28 2019-07-09 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及系统
CN110009691A (zh) * 2019-03-28 2019-07-12 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及系统
CN110009722A (zh) * 2019-04-16 2019-07-12 成都四方伟业软件股份有限公司 三维重建方法及装置
CN110146869A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110337674A (zh) * 2019-05-28 2019-10-15 深圳市汇顶科技股份有限公司 三维重建方法、装置、设备及存储介质
CN110462693A (zh) * 2019-06-28 2019-11-15 深圳市汇顶科技股份有限公司 门锁及识别方法
CN111056404A (zh) * 2019-12-24 2020-04-24 安徽理工大学 一种基于双目视觉与激光信息融合的矿井罐道故障定位系统
CN111664798A (zh) * 2020-04-29 2020-09-15 深圳奥比中光科技有限公司 一种深度成像方法、装置及计算机可读存储介质
CN111986246A (zh) * 2019-05-24 2020-11-24 北京四维图新科技股份有限公司 基于图像处理的三维模型重建方法、装置和存储介质
CN112146848A (zh) * 2019-06-27 2020-12-29 华为技术有限公司 一种确定摄像头的畸变参数的方法及装置
CN112598808A (zh) * 2020-12-23 2021-04-02 深圳大学 数据处理方法、装置、电子设备和存储介质
CN114923665A (zh) * 2022-05-27 2022-08-19 上海交通大学 波浪三维高度场的图像重构方法及图像重构试验系统
CN115346006A (zh) * 2022-10-20 2022-11-15 潍坊歌尔电子有限公司 3d重建方法、装置、电子设备和存储介质
CN116309325A (zh) * 2023-02-08 2023-06-23 深圳市振华兴智能技术有限公司 一种基于深度学习的贴片检测方法及系统
CN117635849A (zh) * 2024-01-26 2024-03-01 成都万联传感网络技术有限公司 一种动态实时高精度三维成像系统
CN118175423A (zh) * 2024-05-15 2024-06-11 山东云海国创云计算装备产业创新中心有限公司 一种焦距确定系统、方法、设备、介质及产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761768A (zh) * 2014-01-22 2014-04-30 杭州匡伦科技有限公司 一种三维重建的立体匹配方法
CN105894574A (zh) * 2016-03-30 2016-08-24 清华大学深圳研究生院 一种双目三维重建方法
CN108288292A (zh) * 2017-12-26 2018-07-17 中国科学院深圳先进技术研究院 一种三维重建方法、装置及设备
CN108335331A (zh) * 2018-01-31 2018-07-27 华中科技大学 一种钢卷双目视觉定位方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761768A (zh) * 2014-01-22 2014-04-30 杭州匡伦科技有限公司 一种三维重建的立体匹配方法
CN105894574A (zh) * 2016-03-30 2016-08-24 清华大学深圳研究生院 一种双目三维重建方法
CN108288292A (zh) * 2017-12-26 2018-07-17 中国科学院深圳先进技术研究院 一种三维重建方法、装置及设备
CN108335331A (zh) * 2018-01-31 2018-07-27 华中科技大学 一种钢卷双目视觉定位方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘同海: ""基于双目视觉的猪体体尺参数提取算法优化及三维重构"", 《CNKI博士电子期刊》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862262A (zh) * 2019-01-02 2019-06-07 上海闻泰电子科技有限公司 图像虚化方法、装置、终端及存储介质
CN109993781A (zh) * 2019-03-28 2019-07-09 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及系统
CN110009691A (zh) * 2019-03-28 2019-07-12 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及系统
CN110009691B (zh) * 2019-03-28 2021-04-09 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及系统
CN110009722A (zh) * 2019-04-16 2019-07-12 成都四方伟业软件股份有限公司 三维重建方法及装置
CN110146869A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN111986246A (zh) * 2019-05-24 2020-11-24 北京四维图新科技股份有限公司 基于图像处理的三维模型重建方法、装置和存储介质
CN111986246B (zh) * 2019-05-24 2024-04-30 北京四维图新科技股份有限公司 基于图像处理的三维模型重建方法、装置和存储介质
CN110337674A (zh) * 2019-05-28 2019-10-15 深圳市汇顶科技股份有限公司 三维重建方法、装置、设备及存储介质
CN112146848A (zh) * 2019-06-27 2020-12-29 华为技术有限公司 一种确定摄像头的畸变参数的方法及装置
CN112146848B (zh) * 2019-06-27 2022-02-25 华为技术有限公司 一种确定摄像头的畸变参数的方法及装置
CN110462693A (zh) * 2019-06-28 2019-11-15 深圳市汇顶科技股份有限公司 门锁及识别方法
CN111056404A (zh) * 2019-12-24 2020-04-24 安徽理工大学 一种基于双目视觉与激光信息融合的矿井罐道故障定位系统
CN111664798A (zh) * 2020-04-29 2020-09-15 深圳奥比中光科技有限公司 一种深度成像方法、装置及计算机可读存储介质
WO2021218196A1 (zh) * 2020-04-29 2021-11-04 奥比中光科技集团股份有限公司 一种深度成像方法、装置及计算机可读存储介质
CN112598808B (zh) * 2020-12-23 2024-04-02 深圳大学 数据处理方法、装置、电子设备和存储介质
CN112598808A (zh) * 2020-12-23 2021-04-02 深圳大学 数据处理方法、装置、电子设备和存储介质
CN114923665A (zh) * 2022-05-27 2022-08-19 上海交通大学 波浪三维高度场的图像重构方法及图像重构试验系统
CN115346006A (zh) * 2022-10-20 2022-11-15 潍坊歌尔电子有限公司 3d重建方法、装置、电子设备和存储介质
CN116309325A (zh) * 2023-02-08 2023-06-23 深圳市振华兴智能技术有限公司 一种基于深度学习的贴片检测方法及系统
CN117635849A (zh) * 2024-01-26 2024-03-01 成都万联传感网络技术有限公司 一种动态实时高精度三维成像系统
CN117635849B (zh) * 2024-01-26 2024-04-09 成都万联传感网络技术有限公司 一种动态实时高精度三维成像系统
CN118175423A (zh) * 2024-05-15 2024-06-11 山东云海国创云计算装备产业创新中心有限公司 一种焦距确定系统、方法、设备、介质及产品

Similar Documents

Publication Publication Date Title
CN109087382A (zh) 一种三维重构方法及三维成像系统
CN108734776B (zh) 一种基于散斑的三维人脸重建方法及设备
CN109816703B (zh) 一种基于相机标定和icp算法的点云配准方法
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN110044300A (zh) 基于激光器的两栖三维视觉探测装置及探测方法
CN108475327A (zh) 三维采集与渲染
JP2017112602A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
CN109155070A (zh) 使用平面镜校准立体成像系统的方法和计算机程序产品
CN105654547B (zh) 三维重建方法
CN107228625B (zh) 三维重建方法、装置及设备
CN110728671A (zh) 基于视觉的无纹理场景的稠密重建方法
CN103299343A (zh) 距离图像像素匹配方法
JP4217100B2 (ja) 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム
CN104539928A (zh) 一种光栅立体印刷图像合成方法
CN207766424U (zh) 一种拍摄装置及成像设备
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN108876840A (zh) 一种使用虚拟3d模型产生垂直或前向投影三维图像的方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
JP4996922B2 (ja) 立体映像化
JP2024052755A (ja) 三次元変位計測方法及び三次元変位計測装置
TWI757658B (zh) 影像處理系統及影像處理方法
CN107864372A (zh) 立体拍照方法、装置及终端
CN107845108B (zh) 一种光流值计算方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181225

WD01 Invention patent application deemed withdrawn after publication