CN108876831A - 一种基于深度学习的建筑物三维点云配准方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的建筑物三维点云配准方法，包括以下步骤：S1、训练数据的获取；S2、深度学习模型的构建；S3、模型训练及调优；S4、待检测数据预处理；S5、检测点云关键区域；S6、检测点云关键点；S7、判断关键点对应关系；S8、计算转换关系及配准。本发明将深度学习应用于点云配准的两个关键步骤：寻找关键点及确定匹配关系。本发明充分利用深度学习对点云数据的表征能力来分步骤寻找关键区域、定位关键点，相对于传统的遍历方式极大地加快了检测速度，并且用深度网络模型学习点云特征而代替手工特征，使得算法更加鲁棒和高效。

Description

一种基于深度学习的建筑物三维点云配准方法

技术领域

本发明涉及城市三维重建以及无人驾驶领域，尤其涉及一种基于深度学习的建筑物三维点云配准方法。

背景技术

工业生产、生活以及科学研究中，对三维重建的需求都广泛存在着，例如AR/VR、3D打印、工业生产的自动化、文物遗产的保护、计算机技术在医学领域的应用等。如今三维扫描仪器的精度越来越高，得到精细的城市大规模数据也变得容易，一些发达国家早已开始了智慧城市的建设，而城市的三维重建是智慧城市的重要组成部分，对于点云数据配准方法的研究在三维重建领域成为关键。

传统的基于点的配准方法中，要找到关键点必须依照某种人工设定的规则，依次遍历所有的点计算响应值，最后根据阈值选出关键点。这种方法不可能考虑到点基于邻域的所有特性，导致特性提取不彻底，其次采取遍历的方式计算量大，特别是对于室外建筑物规模较大的点云的处理上。深度学习在现阶段的持续高速发展，使得诸多领域的研究取得重大的突破和丰硕的科研成果，特别是在图片相关的研究领域中均取得长足的进展，但是在三维数据方面的研究和应用则刚刚起步。特别是在三维点云应用方面，基本上都是采取向低维投影、划分的方式将点云预处理成一定的规格，这样会造成信息大量的损失。

由于激光雷达从军工走向工业界、科研领域，成本价格也逐步下降，使得获取大量的点云数据成为可能，也更加方便了深度学习模型的训练。如何使用大量点云数据训练深度学习模型，利用模型的感知能力精确而高效地提取关键点以及描述点云特征成为紧迫任务。

发明内容

本发明的目的在于提供一种基于深度学习的建筑物三维点云配准方法，使其能有效提升配准效率和精度。

为实现上述目的，本发明采用以下技术方案：

一种基于深度学习的建筑物三维点云配准方法，其包括以下步骤：

S1、训练样本的获取，得到用于训练模型的样本数据；

S2、搭建深度学习模型，使得模型适用于点云数据的处理；

S3、根据模型训练、测试反馈信息调整超参数；

S4、预处理点云，将待检测的点云数据分块，作为模型的输入；

S5、针对模型的输入点云块，检测其中是否含有关键区域，将包含关键区域的点云块保留；

S6、检测出包含关键区域的点云块中的关键点；

S7、将分别处于不同点云的关键点成对地输入关键点匹配模型，判断它们是否匹配；

S8、取足量的对应关键点计算转换关系，从得到的转换矩阵中选出配准效果最好的一个作为最终结果。

所述步骤S1具体包括以下分步骤：

S11、截取处于门框角、窗框角以及墙面夹角等部位的点作为关键点；

S12、取出以关键点为球心、半径r的球体内包含的点，再以这些点分别为球心，截取半径为r的球体区域的点云块作为关键区域检测模型的正样本，使得正样本都包含关键点；在点云不包含关键点的区域截取同等大小的球体作为关键区域检测模型的负样本；

S13、以关键点为球心截取球状区域点云块作为关键点检测模型的正样本，不以关键点为球心的球状区域点云块作为关键点检测模型的负样本，负样本中包含或不包含关键点均可；

S14、在已配准的两个点云数据P、Q中提取关键点匹配模型的正样本：在点云P中取点，然后在点云Q中搜索距该点最近的点作为对应点，如果最近点距离大于设定的阈值，则无对应点；在已配准的两个点云数据P、Q中提取负样本：在点云P中取点，然后在点云Q中取距该点大于设定阈值的点作为非对应点；

S15、以对应点对为球心截取的成对的球状区域点云块作为关键点匹配模型的正样本，以非对应点对为球心截取的成对的球状区域点云块作为关键点匹配模型的负样本。

所述步骤S2具体包括以下分步骤：

S21、基于PointNet网络结构搭建点云分类模型，使得模型以卷积的形式直接作用于三维点的坐标数据，最后以全连接网络形式映射提取的特征；

S22、基于PointNet网络结构搭建孪生网络模型，使得模型分支分别作用于不同点云，通过全连接映射后的输出判断点云块是否对应。

在所述步骤S3中，根据模型训练具体情况，调整输入数据的超参数，超参数包括学习步长、学习率、batch大小。

所述步骤S4具体包括以下分步骤：

S41、在待处理点云上进行最远点采样；

S42、将采样点作为球心，截取出一定半径球体范围内的点云块，作为关键区域判断模型的输入。

所述步骤S6具体包括以下分步骤：

S61、在包含关键区域的点云块中取点，并分别以这些点作为球心，以较小半径截取球体区域；

S62、将步骤S61中得到的球体区域当作关键点判别模型的输入，保留判断为关键点的点。

在所述步骤S8中，采取RANSAC策略每次取足量对应关键点利用SVD计算转换关系，采取RANSAC策略得到大量转换关系，找到匹配度最好的一个，配准效果以LCP值为判断标准，公式表示如下：

其中p_i代表点云P中的点，q_i分别代表点云Q中的点，R和T分别表示旋转和平移矩阵，ε取值为0.05m；公式意义为最大公共点集，即点云P、Q配准后，在Q中取点q_i，寻找经过转换后的点云P中与q_i相距小于ε的点，若存在这样的点，即为公共点，则LCP值相应增加，取LCP值最高的作为最终结果。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、借助深度神经网络强大的学习能力和PointNet网络结构在无序点云上的应用，训练模型使其能识别出包含关键的区域，极大地缩小了寻找关键点的搜索范围。

2、利用深度网络模型感知点云局部区域，提取区域特征，而不是人工设计规则提取特征，这样点云的结构信息得以被充分感知和提取，使得特征对区域的描述更加精准。

3、用大量数据训练孪生网络模型使其感应匹配关系，让模型从样本中学习对应规则，从而省去了人为设定特征空间距离的判断标准，使得匹配更加客观可信。

附图说明

图1为本发明的工作流程示意图。

图2为关键区域检测模型正样本选取方法。

图3为构成本方法涉及模型的主体结构。

图4为判断关键点对应关系的孪生网络模型。

图5为最远点采样结果的分布示例。

图6为关键点检测结果展示。

图7为两点云配准结果示例。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

请参阅图1，本发明公开了一种基于深度学习的建筑物三维点云配准方法，其包括以下步骤：

S1、训练样本的获取，得到用于训练模型的样本数据；

本方法用到的点云数据只需要包含三维坐标而不需要其他信息，由于模型是用于感受局部区域几何形状，所以用于同一模型的训练数据需要归一化到同一大小的球体区域内，并且需要球心对齐，训练时加入均值为零的高斯噪音，定义如下：

以及采取竖直方向的随机旋转等数据增强方法，定义如下：

S11、截取处于门框角、窗框角以及墙面夹角等部位的点作为关键点，由于激光雷达扫描的点不一定正处于角顶点处，所以在角结构周围一定范围内(d<0.01m)的点均为关键点；

S12、取出以关键点为球心、半径r(r＝0.5m)的球体(如图2所示的深色圆圈覆盖的区域)内包含的点，再以这些点分别为球心，截取半径为r的球体区域的点云块作为关键区域检测模型的正样本(如图2所示浅色圆圈覆盖的区域)，这样正样本都包含关键点；在点云不包含关键点的区域截取同等大小的球体作为关键区域检测模型的负样本，这样负样本中不包含关键点；

S13、以关键点为球心截取球状区域点云块作为关键点检测模型的正样本，不以关键点为球心的球状区域点云块作为关键点检测模型的负样本，负样本中包含或不包含关键点均可。由于在进行关键点的判断时，遇到的位于关键区域附近的情况较多，所以需要在关键区域附近多做负样本；

S14、在已配准的两个点云数据P、Q中提取关键点匹配模型的样本(制作样本的点云中关键点是已知的)。正样本：在点云P中取点(关键点和非关键点均可)，然后在点云Q中搜索距该点最近的点(关键点和非关键点均可)作为对应点(如果最近点距离大于设定的阈值，则无对应点)；负样本：在点云P中取点(关键点和非关键点均可)，然后在点云Q中取距该点大于设定阈值的点作为非对应点。在实际情况中，判断点云P、Q中关键点之间的对应关系的情况较多，所以，在正样本中，应该居多，在负样本中，应该居多。

S15、以对应的点对为球心成对地截取球状区域点云块，作为关键点匹配模型的正样本，在正样本中，关键点对占比较高，非关键点对占比较低；以非对应点对为球心截取的球状区域点云块对作为关键点匹配模型的负样本。

S2、搭建深度学习模型，使得模型适用于点云数据的处理；

模型的主体部分见图3，模型以卷积的形式作用于点的三维坐标，但是由于点云的无序性，点在三维空间的相邻关系和点在表示上的相邻关系之间没有联系，所以每一个卷积核只作用于单个点。模型中特征提取的最后是以maxpooling的形式解决点云表示顺序带来的影响。公式示意如下：

f({x₁,…,x_n})≈g(h(x₁),…,h(x_n))

其中X_k(k＝1,…,n)为三维点，函数g为对称函数，函数h为多层感知机,在本方法中为卷积形式，对称函数通过max()实现。

S21、基于PointNet网络结构搭建点云分类模型，使得模型以卷积的形式直接作用于三维点的坐标数据，最后以全连接网络形式映射提取的特征，最后得到分类结果。该模型应用于检测关键区域和检测关键点；

S22、基于PointNet网络结构搭建孪生网络模型，如图4所示，使得模型分支分别作用于不同点云块，通过全连接映射输出判断点云块匹配的概率。该模型应用于判断关键点之间的匹配关系。

S3、根据模型训练、测试反馈信息调整超参数；

根据模型训练具体情况，调整输入数据的学习步长、学习率、batch大小等超参数。

S4、预处理点云，将待检测的点云数据分块，作为模型的输入；

S41、在待处理点云上进行最远点采样(Farthest Point Sampling)，见图5，图中较大的黑色点和较小的浅色点均为采样点。

S42、将采样点作为球心，截取出半径为r＝0.5m的球体范围内的点云块，作为关键区域检测模型的输入。

S5、针对模型的输入点云块，检测其中是否含有关键区域(包含关键点的区域)，将包含关键区域的点云块保留。图5中较大黑色点所代表的球体邻域为关键区域检测模型判断为包含关键点的区域；

S6、检测出包含关键区域的点云块中的关键点；

在S5中检测出的包含关键点的区域中，遍历每个点或者随机取适量的点判断是否关键点。

S61、在包含关键区域的点云块中取点，并分别以这些点作为球心，以较小半径(r＝0.1m)截取球体区域；

S62、将S61中得到的球体区域当作关键点检测模型的输入，保留判断为关键点的点。图6中较小的灰色点即为关键点检测模型找出的关键点，图中右侧为局部放大的四个效果图，效果图中较小灰色点即为关键点。

S7、将分别处于不同点云的关键点邻域成对地输入关键点匹配模型，判断它们是否匹配。分别取位于两个点云数据中的关键点组成一对，并且以关键点为球心截取球体区域点云块输入关键点匹配模型，记录关键点对应关系。

S8、采取RANSAC策略每次取足量的对应关键点，利用SVD计算转换关系，得到大量转换关系后，取匹配度最好的一个。点云P和Q配准公式表示如下：

q_i＝R·p_i+T

其中p_i和q_i分别代表点云P、Q中的点，R和T分别表示旋转和平移矩阵。

如图7所示，两个点云数据(黑色和灰色)配准效果正面和侧面展示。配准效果以LCP(Largest Common Points)值为判断标准，公式表示如下：

其中R、T、p_i、q_i意义与上述相同，ε取值为0.05m。公式意义为最大公共点集，即点云P、Q配准后，在Q中取点q_i，寻找经过转换后的点云P中与q_i相距小于ε的点，若存在这样的点，即为公共点，则LCP值相应增加。

图7中从左至右LCP值分别为：80.3％，75.5％，72.1％，取LCP值最高的左图作为最终结果。

经过上述步骤后，即可实现对建筑物三维点云基于深度学习模型的配准。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于深度学习的建筑物三维点云配准方法，其特征在于，包括以下步骤：

S1、训练样本的获取，得到用于训练模型的样本数据；

S2、搭建深度学习模型，使得模型适用于点云数据的处理；

S3、根据模型训练、测试反馈信息调整超参数；

S4、预处理点云，将待检测的点云数据分块，作为模型的输入；

S5、针对模型的输入点云块，检测其中是否含有关键区域，将包含关键区域的点云块保留；

S6、检测出包含关键区域的点云块中的关键点；

S7、将分别处于不同点云的关键点成对地输入关键点匹配模型，判断它们是否匹配；

S8、取足量的对应关键点计算转换关系，从得到的转换矩阵中选出配准效果最好的一个作为最终结果。

2.如权利要求1所述的一种基于深度学习的建筑物三维点云配准方法，其特征在于，所述步骤S1具体包括以下分步骤：

S11、截取处于门框角、窗框角以及墙面夹角等部位的点作为关键点；

S12、取出以关键点为球心、半径r的球体内包含的点，再以这些点分别为球心，截取半径为r的球体区域的点云块作为关键区域检测模型的正样本，使得正样本都包含关键点；在点云不包含关键点的区域截取同等大小的球体作为关键区域检测模型的负样本；

S13、以关键点为球心截取球状区域点云块作为关键点检测模型的正样本，不以关键点为球心的球状区域点云块作为关键点检测模型的负样本，负样本中包含或不包含关键点均可；

S14、在已配准的两个点云数据P、Q中提取关键点匹配模型的正样本：在点云P中取点，然后在点云Q中搜索距该点最近的点作为对应点，如果最近点距离大于设定的阈值，则无对应点；在已配准的两个点云数据P、Q中提取负样本：在点云P中取点，然后在点云Q中取距该点大于设定阈值的点作为非对应点；

S15、以对应点对为球心截取的成对的球状区域点云块作为关键点匹配模型的正样本，以非对应点对为球心截取的成对的球状区域点云块作为关键点匹配模型的负样本。

3.如权利要求1所述的一种基于深度学习的建筑物三维点云配准方法，其特征在于，所述步骤S2具体包括以下分步骤：

S21、基于PointNet网络结构搭建点云分类模型，使得模型以卷积的形式直接作用于三维点的坐标数据，最后以全连接网络形式映射提取的特征；

S22、基于PointNet网络结构搭建孪生网络模型，使得模型分支分别作用于不同点云，通过全连接映射后的输出判断点云块是否对应。

4.如权利要求1所述的一种基于深度学习的建筑物三维点云配准方法，其特征在于，在所述步骤S3中，根据模型训练具体情况，调整输入数据的超参数，超参数包括学习步长、学习率、batch大小。

5.如权利要求2所述的一种基于深度学习的建筑物三维点云配准方法，其特征在于，所述步骤S4具体包括以下分步骤：

S41、在待处理点云上进行最远点采样；

S42、将采样点作为球心，截取出一定半径球体范围内的点云块，作为关键区域判断模型的输入。

6.如权利要求2所述的一种基于深度学习的建筑物三维点云配准方法，其特征在于，所述步骤S6具体包括以下分步骤：

S61、在包含关键区域的点云块中取点，并分别以这些点作为球心，以较小半径截取球体区域；

S62、将步骤S61中得到的球体区域当作关键点判别模型的输入，保留判断为关键点的点。

7.如权利要求1所述的一种基于深度学习的建筑物三维点云配准方法，其特征在于：在所述步骤S8中，采取RANSAC策略每次取足量对应关键点利用SVD计算转换关系，采取RANSAC策略得到大量转换关系，找到匹配度最好的一个，配准效果以LCP值为判断标准，公式表示如下：

其中p_i代表点云P中的点，q_i分别代表点云Q中的点，R和T分别表示旋转和平移矩阵，ε取值为0.05m；公式意义为最大公共点集，即点云P、Q配准后，在Q中取点q_i，寻找经过转换后的点云P中与q_i相距小于ε的点，若存在这样的点，即为公共点，则LCP值相应增加，取LCP值最高的作为最终结果。