CN108510530A - 一种三维点云匹配方法及其系统 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了一种三维点云匹配方法及其系统。所述方法包括：检测两帧彩色图像的特征点，并对其进行配对；将色彩相机和深度相机进行立体标定，得到标定参数；根据标定参数对彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据后，计算并匹配彩色图像特征点的三维点云坐标。上述方法对两幅彩色图像特征点进行匹配时，加入新的误匹配过滤过程，提高匹配正确性；在获取特征点对应的真实浮点型深度数据时，设计一种新颖的基于立体校正的方案，简化映射过程，并保证精度不损失，实现三维点云的高精确匹配。

Description

一种三维点云匹配方法及其系统

技术领域

本发明实施例属于图像处理技术领域，尤其涉及一种三维点云匹配方法及其系统。

背景技术

随着机器人应用的快速发展和人类生产生活中的迫切需求，SLAM(SimultaneousLocalization and Mapping，同时定位与建图)在机器视觉等领域已成为研究热点。SLAM是指通过移动机器人对一个未知环境建立地图，同时用该地图确定机器人的位姿或运动轨迹。视觉SLAM，采用相机作为传感器，具有价格低廉、信息丰富、建图直观等优点，已成为SLAM研究的重要分支。深度传感器被应用于SLAM领域之后，越来越多的开发者将目标转移到RGB-D视觉SLAM领域中，而三维点云匹配的正确性直接影响RGB-D视觉SLAM的精度。然而，目前RGB-D视觉SLAM，在特征点匹配时，容易出现匹配错误，并且现有的彩色图像像素和深度数据的配准的方法复杂，容易造成配准误差，匹配错误和配准误差，均会影响三维点云匹配的精度。因此，针对现有技术的不足，需要提出一种新的三维点云匹配方法。

发明内容

本发明实施例提供了一种三维点云匹配方法，旨在解决现有的方法中，三维点云匹配过程中特征点的匹配误差大，彩色图像和深度数据的配准方法复杂，不能保证最终三维点云高精度匹配的问题。

本发明实施例第一方面，提供了一种三维点云匹配方法，所述方法包括：

检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点；

将用于捕获所述彩色图像的色彩相机和用于捕获所述彩色图像的深度数据的深度相机进行立体标定，得到标定参数；

根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；

根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据，根据所述真实深度数据确定并匹配所述匹配的彩色图像特征点的三维点云坐标。

本发明实施例的第二方面，提供一种三维点云匹配系统，所述系统包括：

特征点匹配单元，用于检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点；

标定参数确定单元，用于将捕获所述彩色图像的色彩相机和捕获所述彩色图像的深度数据的深度相机进行立体标定，得到标定参数；

校正映射关系确定单元，用于根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；

三维点云匹配单元，用于根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据，根据所述真实深度数据确定并匹配所述匹配的彩色图像特征点的三维点云坐标。

在本发明实施例中，通过检测两帧彩色图像的特征点，并将特征点进行匹配，得到匹配的彩色图像特征点；利用对色彩相机和深度相机进行立体标定的标定参数，以及对彩色图像和灰度图像进行配准所得的校正映射关系，计算出所述特征点的真实深度数据，进而计算特征点的三维点云坐标，即可使两帧彩色图像特征点的三维点云得以匹配。在本实施例对两帧彩色图像特征点进行匹配时，加入新的误匹配过滤过程，提高匹配正确性；在获取特征点对应的真实浮点型深度数据时，将深度相机和色彩相机进行立体标定，设计一种新颖的基于立体校正的方案，简化映射过程，并保证精度不损失；最后，计算两帧彩色图像特征点的三维点云，实现三维点云的高精确匹配。

附图说明

图1是本发明第一实施例提供的一种三维点云匹配方法的流程图；

图2是本发明第一实施例提供的彩色图像特征点的匹配结果示意图；

图3是本发明第一实施例提供的灰度图像和彩色图像配准示意图；

图4是本发明第一实施例提供的彩色图像三维点云匹配结果验证图；

图5是本发明第二实施例提供的一种三维点云匹配系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例中，在两帧彩色图像上分别检测特征点并将其进行配对，得到正确匹配的特征点；将深度相机和色彩相机进行立体标定，得到标定参数；将浮点型深度数据对应的灰度图像和彩色图像作为立体图像，利用所述标定参数使深度数据和彩色图像得以配准，得到校正映射关系；根据所述校正映射关系，找到特征点对应的真实深度数据，计算特征点的三维点云坐标，即可使两幅彩色图像特征点的三维点云得以匹配。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明第一实施例提供的一种三维点云匹配方法的流程图，详述如下：

步骤S11，检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点；

彩色图像特征点的三维点云匹配是连续帧机器人运动估计和闭环检测的必要步骤，三维点云匹配的正确性直接影响RGB-D视觉SLAM的精度。在匹配彩色图像的特征点的三维点云之前，首先需要检测出连续两帧彩色图像上的特征点，然后将两帧图像上特征点进行匹配，过滤除去错误配对特征点后，保留匹配的彩色图像特征点。

优选地，所述检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点，具体包括：

检测所捕获的两帧彩色图像的特征点，计算所述特征点的描述子；

根据所述描述子对所述两帧彩色图像的特征点进行配对；

过滤配对后的特征点，得到匹配的彩色图像特征点。

具体地，对两帧彩色图像构建高斯金字塔，在每一层金字塔图像上，利用OrientedFAST and Rotated BRIEF，ORB方法检测特征点，并挑选出Harris响应值最大的N个特征点，去除边缘响应，实现尺度不变性；利用灰度质心法确定所检测到的N个特征点方向，采用ORB中提供的计算特征点描述子的方法计算所述特征点的描述子，同时加入旋转不变性。ORB方法对特征点进行检测及计算特征点描述子时，具有速度快、抗噪能力强、特征点的描述子简单且空间消耗低、具有尺度不变性和旋转不变性等优点。

对两帧彩色图像上挑选出的响应值最大的N个特征点，根据其描述子进行配对，配对后过滤掉错误匹配的特征点，保留正确匹配的特征点。

优选地，所述过滤配对后的特征点，得到匹配的彩色图像特征点具体包括：

双向遍历所述特征点的描述子，确定描述子之间的汉明距离；

将单向确定的最近汉明距离与次近汉明距离作商，并将所得商值与比率阈值比较，根据比较结果得到候选的匹配的特征点；

统计所述候选的匹配的特征点的斜率以及出现次数最多的斜率，比较所述候选的匹配的特征点的斜率以及出现次数最多的斜率，根据比较结果过滤所述候选的匹配的特征点；

计算过滤后的所述候选的匹配的特征点的坐标差，将过滤后的所述候选的匹配的特征点的坐标差和坐标差中值的偏移量与指定的偏移量阈值比较，根据比较结果确定匹配的彩色图像特征点。

优选地，所述将单向确定的最近汉明距离与次近汉明距离作商，并将所得商值与比率阈值比较，根据比较结果得到候选的匹配的特征点，具体包括：

将第一帧彩色图像上每个特征点的描述子遍历第二帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第一候选匹配特征点；

将第二帧彩色图像上每个特征点的描述子遍历第一帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第二候选匹配特征点；

当所述第一候选匹配特征点与所述第二候选匹配特征点相同时，判定所述第一候选匹配特征点或所述第二候选匹配特征点为候选的匹配的特征点。

具体地，在将两帧彩色图像上的特征点根据其描述子进行配对后，对配对结果进行过滤，以除去错误的匹配。在过滤时首先采用双向遍历过滤的方法；具体包括：对于第一幅图像的每个特征点描述子，遍历第二幅图像的特征点描述子，计算描述子之间的汉明距离，当满足式(1)的条件时，将汉明距离最近的两个特征点认定为一个候选匹配：

其中，T为距离比率阈值，利用比率阈值过滤可去除大部分误匹配。

例如：将第一帧彩色图像上的特征点A₁与第二帧彩色图像的特征点B₁…B_n进行匹配，得到配对后的特征点(A₁，B₁)…(A₁，B_n),计算上述配对后特征点的汉明距离，dist_(A1，B1)…dist_(A1，Bn)，假设得到最近汉明距离为dist_(A1，B1)，次近汉明距离为dist_(A1，Bm)，调用公式(1)，将二者做商后与距离阈值T比较，当所得商值小于或等于T时，认定特征点(A₁，B₁)为第一候选匹配。

将第二帧彩色图像上的特征点B₁与第一帧彩色图像的特征点A₁…A_n进行匹配得到配对后的特征点(B₁，A₁)…(B₁，A_n),计算上述配对后特征点的汉明距离，dist_(B1，A1)…dist_(B1，An)，假设对于特征点B₁得到最近汉明距离为dist_(B1，A1)，次近汉明距离为dist_(B1，Aj)，调用公式(1)，将二者做商后与距离阈值T比较，当所得商值小于或等于T时，认定特征点(B₁，A₁)为第二候选匹配。

当上述第一候选匹配和第二候选匹配对应的特征点相同时，判定上述特征点配对后为候选的匹配的特征点。

同理，对两帧彩色图像上其余特征点进行上述操作，选出所有候选的匹配的特征点。

将所述候选的匹配的特征点进行再次过滤：统计所有候选的匹配的特征点的斜率，对于某一候选的匹配的特征点当其斜率与出现次数最多的斜率相差±1°时，保留匹配；计算过滤后的所有候选的匹配的特征点的x坐标差x_offset和y坐标差y_offset，分别对x坐标差x_offset和y坐标差y_offset进行排序，取坐标差中值，计算过滤后的候选的匹配的特征点的坐标差与所述坐标差中值之间的偏移量，设置偏移量阈值T_x和T_y，判定满足条件(2)的特征点为匹配的彩色图像特征点。

基于所有特征点配对中小部分是误匹配的原则，斜率过滤和坐标差过滤，可最大程度地除去误匹配的特征点，从而保留正确匹配的特征点。

两帧彩色图像特征点的匹配结果如图2所示，其中，“+”为检测出的特征点，直线连接为最终的正确匹配。

步骤S12，将用于捕获所述彩色图像的色彩相机和用于捕获所述彩色图像的深度数据的深度相机进行立体标定，得到标定参数；

该步骤中，将深度相机和色彩相机看作双目视觉中的左相机和右相机，以左相机坐标系作为世界坐标系；利用图像坐标系和相机坐标系、相机坐标系和世界坐标系的关系，采用张正友标定法解算出两个传感器的内参、畸变参数和传感器之间的相对位姿。相机坐标系和世界坐标系之间的关系如式(3)所示，图像坐标系和相机坐标系之间的关系如式(4)所示：

其中，X_w、Y_w、Z_w为世界坐标系下的三维坐标，R为3×3的单位正交旋转矩阵，T为3×1的平移向量，R、T称为相机外参。

其中，u、v为图像坐标系下的二维像素坐标，X_c、Y_c、Z_c为相机坐标系下的三维坐标，f_x、f_y、c_x、c_y为相机内参。

步骤S13，根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；所述深度数据为浮点型深度数据矩阵；

优选地，所述根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系，具体包括：

将所述浮点型深度数据矩阵转换为灰度图像，对所述灰度图像和所述彩色图像进行畸变消除；

将所述灰度图像的平面成像原点坐标调节至和所述彩色图像的平面成像原点坐标一致，得到校正映射关系。

该步骤中，先将深度相机捕获的浮点型深度数据矩阵转换为灰度图像，将所述灰度图像和色彩相机捕获的彩色图像作为立体图像，根据上述立体标定得到的相机参数，可进行立体校正，具体如下：对灰度图像和彩色图像进行畸变消除；采用Bouguet极线校正法，使校正后的深度相机和色彩相机光轴平行，图像平面位于同一虚拟平面上，且同行对准、所有极线平行，即世界坐标系下同一点投影到两个相机图像平面上时，像点应位于图像坐标系上的同一行；利用光圈中心对齐，使左右相机图像平面成像原点坐标一致，得到最终的校正映射关系。

如图3所示，图3(a)为原始深度灰度图像，图3(b)为原始彩色图像，图3(c)配准后将颜色绘制到深度灰度图像上后所得图像，图3(d)配准后将深度灰度绘制到彩色图像上后所得图像；并且(a)和(b)为同一时刻捕获的灰度图像和彩色图像，但此时同一位置的彩色像素点对应的深度并不是其真实深度。经过立体校正后，将配准后的彩色图像像素值绘制到坐标对应的深度灰度图像上，或者将配准后的深度灰度绘制到坐标对应的彩色图像上，如(c)和(d)所示，均可看出，深度灰度图像和彩色图像中的相同场景已重合。即，通过立体校正得到的校正映射关系，深度灰度图像对应的浮点型深度数据矩阵和彩色图像已转换到相同的坐标系下，深度数据矩阵和彩色图像得以配准，完成了同一时刻的彩色图像像素坐标与深度数据矩阵中的深度的一一对应。

步骤S14，根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据，根据所述真实深度数据确定并匹配所述匹配的彩色图像特征点的三维点云坐标。

该步骤中，根据彩色图像上特征点的坐标(u,v)、立体校正映射后的相机内参f_x、f_y、c_x、c_y，利用校正映射关系得到的特征点对应的真实浮点型深度数据dep(u,v)，以及公式(5)可计算得到校正映射后的相机坐标系下的三维点云。根据计算所得的匹配的彩色图像的特征点对应的真实三维点云，即可使两帧图像中相同场景对应的特征点的三维点云得以匹配。

其中，s为Z方向的缩放因子。

为了验证特征点的三维点云匹配的正确性，利用匹配后的特征点三维点云，拼接图2所示的两幅图像的场景点云，如图4所示，左右方框分别为第一幅彩色图像和第二幅彩色图像对应的场景三维点云，椭圆框为匹配的特征点所在区域。彩色图像中相同的场景，其三维点云完全重合。

本发明第一实施例中，通过获取连续两帧彩色图像的特征点，将所述特征点进行配对，并对所述配对结果进行过滤筛选，得到匹配的彩色图像的特征点；然后根据对深度相机和色彩相机进行立体标定得到的标定参数，以及对彩色图像和灰度图像进行配准后得到的校正映射关系，计算出所述特征点的三维点云坐标，根据对彩色图像匹配的结果匹配所述特征点的三维点云。采用上述方法进行三维点云匹配时，对特征点配对的过滤采用双向过滤、斜率过滤、坐标差过滤相结合的方案，保证了特征点匹配的正确性；在对彩色图像像素和深度数据的配准时，对深度相机和色彩相机进行立体标定，并将灰度图像和彩色图像作为立体图像进行配准，简化了彩色图像像素和深度数据的配准过程，减少配准过程误差，提高了两帧彩色图像特征点的三维点云匹配的精度。

应理解，在本发明实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

实施例二：

图5示出了本发明第二实施例提供的一种三维点云匹配系统的结构图，该三维点云匹配系统可应用于各种终端中，为了便于说明，仅示出了与本发明实施例相关的部分。该三维点云匹配系统包括：特征点匹配单元51，标定参数确定单元52，校正映射关系确定单元53，三维点云匹配单元54，其中：

特征点匹配单元51，用于检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点；

优选地，所述特征点匹配单元51，具体包括：

描述子确定模块，用于检测所捕获的两帧彩色图像的特征点，计算所述特征点的描述子；

配对模块，用于根据所述描述子对所述两帧彩色图像的特征点进行配对；

过滤模块，用于过滤配对后的特征点，得到匹配的彩色图像特征点。

具体地，对两帧彩色图像构建高斯金字塔，在每一层金字塔图像上，利用OrientedFAST and Rotated BRIEF，ORB方法检测特征点，并挑选出Harris响应值最大的N个特征点，去除边缘响应，实现尺度不变性；利用灰度质心法确定所检测到的N个特征点方向，采用ORB中提供的计算特征点描述子的方法计算所述特征点的描述子，同时加入旋转不变性。ORB方法对特征点进行检测及计算特征点描述子时，具有速度快、抗噪能力强、特征点的描述子简单且空间消耗低、具有尺度不变性和旋转不变性等优点。

对两帧彩色图像上挑选出的响应值最大的N个特征点，根据其描述子进行配对，配对后过滤掉错误匹配的特征点，保留正确匹配的特征点。

优选地，所述过滤模块具体包括：

汉明距离确定模块，用于双向遍历所述特征点的描述子，确定描述子之间的汉明距离；

候选匹配确定模块，用于将单向确定的最近汉明距离与次近汉明距离作商，并将所得商值与比率阈值比较，根据比较结果得到候选的匹配的特征点；

斜率过滤模块，用于统计所述候选的匹配的特征点的斜率以及出现次数最多的斜率，比较所述候选的匹配的特征点的斜率以及出现次数最多的斜率，根据比较结果过滤所述候选的匹配的特征点；

坐标差过滤模块，用于计算过滤后的所述候选的匹配的特征点的坐标差，将过滤后的所述候选的匹配的特征点的坐标差和坐标差中值的偏移量与指定的偏移量阈值比较，根据比较结果确定匹配的彩色图像特征点。

优选地，所述候选匹配确定模块，具体包括：

第一遍历单元，用于将第一帧彩色图像上每个特征点的描述子遍历第二帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第一候选匹配特征点；

第二遍历单元，用于将第二帧彩色图像上每个特征点的描述子遍历第一帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第二候选匹配特征点；

候选特征点匹配单元，用于当所述第一候选匹配特征点与所述第二候选匹配特征点相同时，判定所述第一候选匹配特征点或所述第二候选匹配特征点为候选的匹配的特征点。

具体地，在将两帧彩色图像上的特征点根据其描述子进行配对后，对配对结果进行过滤，以除去错误的匹配。在过滤时首先采用双向遍历过滤的方法；具体包括：对于第一幅图像的每个特征点描述子，遍历第二幅图像的特征点描述子，计算描述子之间的汉明距离，当满足条件：时，将汉明距离dist最近的两个特征点认定为一个候选匹配：其中，T为距离比率阈值，利用比率阈值过滤可去除大部分误匹配。对于第二幅图像的每个特征点描述子，进行类似的操作。当双向遍历过滤后的候选匹配特征点相同时，判定上述特征点配对后为候选的匹配的特征点。

将所述候选的匹配的特征点进行再次过滤：统计所有候选的匹配的特征点的斜率，对于某一候选的匹配的特征点当其斜率与出现次数最多的斜率相差±1°时，保留匹配；计算过滤后的所有候选的匹配的特征点的x坐标差x_offset和y坐标差y_offset，分别对x坐标差x_offset和y坐标差y_offset进行排序，取坐标差中值，计算过滤后的候选的匹配的特征点的坐标差与所述坐标差中值之间的偏移量，设置偏移量阈值T_x和T_y，判定满足条件：的特征点为匹配的彩色图像特征点。

基于所有特征点配对中小部分是误匹配的原则，斜率过滤和坐标差过滤，可最大程度地除去误匹配的特征点，从而保留正确匹配的特征点。

标定参数确定单元52，用于将捕获所述彩色图像的色彩相机和捕获所述彩色图像的深度数据的深度相机进行立体标定，得到标定参数；

将深度相机和色彩相机看作双目视觉中的左相机和右相机，以左相机坐标系作为世界坐标系；利用图像坐标系和相机坐标系、相机坐标系和世界坐标系的关系，采用张正友标定法解算出两个传感器的内参、畸变参数和传感器之间的相对位姿。相机坐标系和世界坐标系之间的关系如式(6)所示，图像坐标系和相机坐标系之间的关系如式(7)所示：

其中，X_w、Y_w、Z_w为世界坐标系下的三维坐标，R为3×3的单位正交旋转矩阵，T为3×1的平移向量，R、T称为相机外参。

其中，u、v为图像坐标系下的二维像素坐标，X_c、Y_c、Z_c为相机坐标系下的三维坐标，f_x、f_y、c_x、c_y为相机内参。

校正映射关系确定单元53，用于根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；

优选地，所述校正映射关系确定单元53，具体包括：

图像畸变消除模块，用于将所述浮点型深度数据矩阵转换为灰度图像，对所述灰度图像和所述彩色图像进行畸变消除；

坐标转换模块，用于将所述灰度图像的平面成像原点坐标转换至和所述彩色图像的平面成像原点坐标一致，得到校正映射关系。

先将深度相机捕获的浮点型深度数据矩阵转换为灰度图像，将所述灰度图像和色彩相机捕获的彩色图像作为立体图像，根据上述立体标定得到的相机参数，可进行立体校正，具体如下：对灰度图像和彩色图像进行畸变消除；采用Bouguet极线校正法，使校正后的深度相机和色彩相机光轴平行，图像平面位于同一虚拟平面上，且同行对准、所有极线平行，即世界坐标系下同一点投影到两个相机图像平面上时，像点应位于图像坐标系上的同一行；利用光圈中心对齐，使左右相机图像平面成像原点坐标一致，得到最终的校正映射关系。

三维点云匹配单元54，用于根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据，根据所述真实深度数据确定并匹配所述匹配的彩色图像特征点的三维点云坐标。

根据彩色图像上特征点的坐标(u,v)、立体校正映射后的相机内参f_x、f_y、c_x、c_y，利用校正映射关系得到的特征点对应的真实浮点型深度数据dep(u,v)，以及公式(8)可计算得到校正映射后的相机坐标系下的三维点云。根据计算所得的匹配的彩色图像的特征点对应的真实三维点云，即可使两帧图像中相同场景对应的特征点的三维点云得以匹配。

其中，s为Z方向的缩放因子。

本发明第二实施例中，由特征点匹配单元51，检测两帧彩色图像的特征点，将检测到的特征点配对，得到正确匹配的彩色图像的特征点；将色彩相机和深度相机看做立体相机，由标定参数确定单元52对其进行标定，得到标定参数；将彩色图像的深度数据对应的灰度图像和彩色图像作为立体图像，由校正映射关系确定单元53根据标定参数确定单元52得到的标定参数对所述图像进行配准，得到校正映射关系；由所述校正映射关系计算得到灰度图像特征点对应的真实深度数据，进而确定出特征点的三维点云坐标，并将其匹配。在本实施例对两帧彩色图像特征点进行匹配时，加入新的误匹配过滤过程，提高匹配正确性；在获取特征点对应的真实浮点型深度数据时，将深度相机和色彩相机进行立体标定，设计一种新颖的基于立体校正的方案，简化映射过程，并保证精度不损失；最后，计算两帧彩色图像特征点的三维点云，实现三维点云的高精确匹配。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种三维点云匹配方法，其特征在于，所述方法包括：

检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点；

将用于捕获所述彩色图像的色彩相机和用于捕获所述彩色图像的深度数据的深度相机进行立体标定，得到标定参数；

根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；

根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据，根据所述真实深度数据确定并匹配所述匹配的彩色图像特征点的三维点云坐标。

2.根据权利要求1所述的方法，其特征在于，所述检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点，具体包括：

检测所捕获的两帧彩色图像的特征点，计算所述特征点的描述子；

根据所述描述子对所述两帧彩色图像的特征点进行配对；

过滤配对后的特征点，得到匹配的彩色图像特征点。

3.根据权利要求2所述的方法，其特征在于，所述过滤配对后的特征点，得到匹配的彩色图像特征点具体包括：

双向遍历所述特征点的描述子，确定描述子之间的汉明距离；

将单向确定的最近汉明距离与次近汉明距离作商，并将所得商值与比率阈值比较，根据比较结果得到候选的匹配的特征点；

统计所述候选的匹配的特征点的斜率以及出现次数最多的斜率，比较所述候选的匹配的特征点的斜率以及出现次数最多的斜率，根据比较结果过滤所述候选的匹配的特征点；

计算过滤后的所述候选的匹配的特征点的坐标差，将过滤后的所述候选的匹配的特征点的坐标差和坐标差中值的偏移量与指定的偏移量阈值比较，根据比较结果确定匹配的彩色图像特征点。

4.根据权利要求1所述的方法，其特征在于，所述深度数据为浮点型深度数据矩阵，此时，所述根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系，具体包括：

将所述浮点型深度数据矩阵转换为灰度图像，对所述灰度图像和所述彩色图像进行畸变消除；

将所述灰度图像的平面成像原点坐标转换至和所述彩色图像的平面成像原点坐标一致，得到校正映射关系。

5.根据权利要求3所述的方法，其特征在于，所述将单向确定的最近汉明距离与次近汉明距离作商，并将所得商值与比率阈值比较，根据比较结果得到候选的匹配的特征点，具体包括：

将第一帧彩色图像上每个特征点的描述子遍历第二帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第一候选匹配特征点；

将第二帧彩色图像上每个特征点的描述子遍历第一帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第二候选匹配特征点；

当所述第一候选匹配特征点与所述第二候选匹配特征点相同时，判定所述第一候选匹配特征点或所述第二候选匹配特征点为候选的匹配的特征点。

6.一种三维点云匹配系统，其特征在于，所述系统包括：

特征点匹配单元，用于检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点；

标定参数确定单元，用于将捕获所述彩色图像的色彩相机和捕获所述彩色图像的深度数据的深度相机进行立体标定，得到标定参数；

校正映射关系确定单元，用于根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；

三维点云匹配单元，用于根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据，根据所述真实深度数据确定并匹配所述匹配的彩色图像特征点的三维点云坐标。

7.根据权利要求6所述的系统，其特征在于，所述特征点匹配单元具体包括：

描述子确定模块，用于检测所捕获的两帧彩色图像的特征点，计算所述特征点的描述子；

配对模块，用于根据所述描述子对所述两帧彩色图像的特征点进行配对；

过滤模块，用于过滤配对后的特征点，得到匹配的彩色图像特征点。

8.根据权利要求7所述的系统，其特征在于，所述过滤模块具体包括：

汉明距离确定模块，用于双向遍历所述特征点的描述子，确定描述子之间的汉明距离；

候选匹配确定模块，用于将单向确定的最近汉明距离与次近汉明距离作商，并将所得商值与比率阈值比较，根据比较结果得到候选的匹配的特征点；

斜率过滤模块，用于统计所述候选的匹配的特征点的斜率以及出现次数最多的斜率，比较所述候选的匹配的特征点的斜率以及出现次数最多的斜率，根据比较结果过滤所述候选的匹配的特征点；

坐标差过滤模块，用于计算过滤后的所述候选的匹配的特征点的坐标差，将过滤后的所述候选的匹配的特征点的坐标差和坐标差中值的偏移量与指定的偏移量阈值比较，根据比较结果确定匹配的彩色图像特征点。

9.根据权利要求6所述的系统，其特征在于，所述校正映射关系确定单元具体包括：

图像畸变消除模块，用于将所述浮点型深度数据矩阵转换为灰度图像，对所述灰度图像和所述彩色图像进行畸变消除；

坐标转换模块，用于将所述灰度图像的平面成像原点坐标转换至和所述彩色图像的平面成像原点坐标一致，得到校正映射关系。

10.根据权利要求8所述的系统，其特征在于，所述候选匹配确定模块具体包括：

第一遍历单元，用于将第一帧彩色图像上每个特征点的描述子遍历第二帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第一候选匹配特征点；

第二遍历单元，用于将第二帧彩色图像上每个特征点的描述子遍历第一帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第二候选匹配特征点；

候选特征点匹配单元，用于当所述第一候选匹配特征点与所述第二候选匹配特征点相同时，判定所述第一候选匹配特征点或所述第二候选匹配特征点为候选的匹配的特征点。