CN110243370A - 一种基于深度学习的室内环境三维语义地图构建方法 - Google Patents

Abstract

一种基于深度学习的室内环境三维语义地图构建方法，步骤为：1)用移动机器人自身携带的Kinect深度相机获取室内环境目标场景的RGB‑D图像序列；2)用训练好的基于RGB‑D图像的语义分割网络对当前获取的RGB‑D图像进行特征提取与处理；3)据输入的每一帧图像估计对应的机器人位姿信息P_t；4)据Randomized ferns实时重定位和闭环检测算法优化机器人位姿；5)用关键帧构建点云地图，并将新获取图像帧对应点云与已构建的点云地图进行融合；6)将关键帧的像素级语义标注结果映射到对应的点云地图上；7)用获取关键帧的语义标签优化已构建三维点云地图的语义标注信息，获得室内环境的三维语义地图；完成室内环境语义地图实时构建任务，提高移动机器人环境感知的智能化水平。

Description

一种基于深度学习的室内环境三维语义地图构建方法

技术领域

本发明属于移动机器人室内导航技术领域，具体涉及一种基于深度学习的室内环境三维语义地图构建方法。

背景技术

目标场景地图构建是移动机器人自主导航的重要研究内容，对构建地图的点云进行语义标注，生成具有语义信息的高精度点云地图，对移动机器人在未知环境进行智能导航具有重要的应用价值。移动机器人通过语义地图能够和用户进行自然的交流，从而完成自动驾驶、家庭服务等人机交互任务。

移动机器人在所处环境信息完全未知的情况下，对所处环境及自身的位置没有任何的先验信息，这就要求移动机器人在移动过程中通过自身携带的传感器获取所处环境的相关信息，从而完成环境地图构建并定位自身在地图中的所处位置，这就是同时定位和地图构建技术(Simultaneous Localization andMapping,SLAM)。现有的场景地图构建方法是对目标场景图像序列进行特征点的提取与匹配，进而得到目标场景的稀疏点云或路标地图，然而仅依靠稀疏点云地图难以完成自动驾驶、家庭服务等人机交互任务。

具有高层次语义信息的场景地图能够使机器人对空间中存在的物体进行识别和建模，更充分地理解未知环境场景信息，从而为更高级的人机交互和完成更复杂的任务奠定基础。传统的点云地图标注任务依赖于环境几何信息或者用户指导标记，点云标注不够准确且需要离线进行，随着深度学习技术在图像感知领域的快速发展，尤其是卷积神经网络(Convolutional NeuralNetwork,CNN)在图像分类方面的成就，大批学者开始将深度学习应用于图像语义分割，进而为点云地图提供准确的像素级语义标注，实现室内环境高精度点云地图实时构建任务。因此，基于深度学习的室内场景语义地图构建技术的研究，具有重要的理论意义及广阔的应用前景。

发明内容

为克服上述现有技术问题，本发明的目的是提供一种基于深度学习的室内环境三维语义地图构建方法；本发明将深度学习应用于室内环境的三维语义地图构建算法中，能够对三维点云进行实时准确的像素级语义标注，从而实时构建室内环境的三维语义地图。具有实施、准确无需离线进行的特点。

为实现上述目的，本发明采用的技术方案是：

一种基于深度学习的室内环境语义地图构建方法，包括如下具体步骤：

步骤1，利用移动机器人自身携带的Kinect深度相机获取室内环境目标场景的RGB-D图像序列；

步骤2，采用基于RGB-D图像的语义分割网络对获取的每一帧RGB-D图像进行特征提取与处理；

步骤3，根据输入的每一帧图像估计对应的机器人位姿信息P_t；

步骤4，根据Randomized ferns实时重定位和闭环检测算法优化机器人位姿；

步骤5，利用关键帧进行点云地图构建，将新获取图像帧对应点云与已构建的点云地图进行融合；

步骤6，将关键帧的像素级语义标注结果映射到对应的点云地图上，获取关键帧的语义标签；

步骤7，利用新获取的关键帧优化已构建三维点云地图的语义标注信息。

步骤2采用基于RGB-D图像的语义分割网络对获取的每一帧RGB-D图像进行特征提取与处理，其具体方法为：采用图像级联网络ICNet，并将图像的深度信息作为网络的第四个输入通道，对每一帧输入图像进行像素级语义预测。

步骤3中，所述根据输入的每一帧图像估计对应的机器人位姿信息P_t的具体方法为：综合利用深度图像的几何位姿估计和RGB图像的光度位姿估计，通过最小化点面误差和光度误差，获得机器人位姿P_t，

点面误差：

其中，是当前帧深度图像的第k个顶点；v^k和n^k分别是前一帧图像对应的顶点和法线；T是当前位姿转换矩阵；

光度误差：

其中，是当前帧RGB图像在点u处的灰度值；表示当前帧RGB图像中一点u在前一帧RGB图像投影的灰度值；

联合损失函数:E_track＝E_icp+0.1E_rgb

采用高斯-牛顿非线性最小二乘求得更新后的机器人位姿转换矩阵：即更新后当前帧对应位姿P_t＝T′P_t-1，再根据相邻图像帧间的机器人位姿关系，确定用于点云地图构建的关键帧序列。

步骤4中，所述根据Randomized ferns实时重定位和闭环检测算法优化机器人位姿的具体方法为：对输入每一帧图像进行编码，根据编码值计算图像帧间相似度，再根据相似度判断是否加入新的关键帧，并对新的关键帧求解相似变换矩阵来进行闭环检测。

步骤5中，所述利用关键帧进行点云地图构建，并将新获取图像帧对应点云与已构建的点云地图进行融合的具体方法为：对所有深度图像对应的点云进行坐标变换，使得其后点云都与第一帧点云处于同一坐标系中；在每个连贯的有重叠的点云之间找到最佳变换关系，并累积这些变换关系到全部点云，就可以逐步将当前点云融合入已构建的点云地图。

步骤6中，将关键帧的像素级语义标注结果映射到对应的点云地图上的具体方法为：根据机器人位姿转换矩阵T_WC，进而将每一个像素点的相机坐标转换为世界坐标，最后根据每个像素点所对应的三维空间坐标，将关键帧图像的二维语义分割结果映射到对应的三维点云地图上，完成三维点云地图的语义标注任务。

所述的闭环检测包括全局闭环检测和局部闭环检测，其中，全局闭环约束下节点参数优化方程为：

其中，H表示相似转换矩阵，P_t表示当前帧图像对应的机器人位姿，表示当前帧深度图中点u的投影，表示机器人初始位姿，表示初始时刻；

局部闭环约束下节点参数优化方程为：

其中，表示最近时段所构建地图与之前时段构建地图模型之间变形的约束。

所述步骤7的具体方法为：以关键帧的语义分割结果对点云标签概率分布进行初始化，再采用递归贝叶斯更新点云标签分布概率：

其中，c_t表示t时刻点云的类别概率分布，表示关键帧集合{K₀,K₁,…,K_t}，Z表示归一化常量，K_t表示t时刻的关键帧；

通过最大化该概率分布函数可以得到每一个点云的最终语义标签：

L(P)＝argmaxP(c|K)。

本发明的有益效果是：

1)本发明综合利用RGB图像的颜色特征和深度图像的几何特征，提高了图像语义分割网络的性能，并通过模型压缩对网络参数进行合理删减，在对象种类繁多、遮挡严重的室内环境也能快速得到精确的语义分割结果。

2)本发明直接采用机器人自身携带的Kinect深度相机对室内环境进行地图构建，能够对点云进行实时语义标注，递增式地构建室内环境空间语义地图，使移动机器人能够在室内全局语义地图中进行智能导航，为完成自动驾驶、家庭服务等人机交互任务奠定基础。

附图说明

图1是本发明的系统总体框图。

图2是本发明的基于RGB-D图像的ICNet语义分割网络结构框图。

图3是语义分割网络模型压缩示意图。

图4是机器人位姿求解过程示意图。

图5是Randomized ferns实时重定位和闭环检测算法流程框图。

图6(a)是存在全局闭环情形想的机器人位姿优化示意图。

图6(b)是不存在全局闭环情形想的机器人位姿优化示意图。

图7是点云融合流程框图。

图8是本发明的流程图。

具体实施方式

下面将结合附图和具体的实施细节，对本发明实施例作进一步详述：

参见图1、8，一种基于深度学习的室内环境语义地图构建方法，包括以下步骤：

步骤1，利用移动机器人自身携带的Kinect深度相机采集室内环境目标场景的RGB-D图像序列；

步骤2，采用基于RGB-D图像的语义分割网络对获取的每一帧RGB-D图像进行特征提取与处理；基于RGB-D图像的语义分割网络整体框图如图2所示，设计具体步骤为：

1)在Linux操作系统中，利用caffe深度学习框架构建基于RGB-D图像的ICNet语义分割网络，通过Concat层将RGB图像和深度图像进行拼接，作为语义分割网络的四个输入通道；

2)利用NYUD V2室内图像标准数据集训练图像语义分割网络，将输入RGB-D图像对划分成1/4、1/2和全分辨率图像，分别作为三个分支网络的输入；

3)经过两次特征图融合，将三种不同分辨率输入图像得到的卷积特征图通过Eltwise层进行融合；

4)将最终融合特征图经过多次上采样操作，恢复图像分辨率到原始输入大小，最终得到精确的语义分割结果；

深度图像的特征提取和处理增加了网络模型的参数数量，为保证语义分割网络的快速性，需进行模型压缩。在网络性能测试过程中，根据每个卷积核的L₁范数合理删减网络参数，以达到快速得到输入图像的语义分割结果的目的，具体流程如图3所示。

步骤3，综合利用深度图像的几何位姿估计和RGB图像的光度位姿估计，通过最小化点面误差和光度误差，获得机器人位姿P_t；

其中，旋转矩阵R_t∈SO₃,平移矩阵t_t∈R³，

点面误差：

其中，是当前帧深度图像的第k个顶点；v^k和n^k分别是前一帧图像对应的顶点和法线；T是当前位姿转换矩阵；

光度误差：

其中，是当前帧RGB图像在点u处的灰度值；表示当前帧RGB图像中一点u在前一帧RGB图像投影的灰度值；

联合损失函数:E_track＝E_icp+0.1E_rgb

采用高斯-牛顿非线性最小二乘法求得更新后的位姿转换矩阵：即更新后当前帧对应相机位姿P_t＝T′P_t-1，具体求解过程如图4所示，再根据相邻图像帧间的机器人位姿关系，确定用于点云地图构建的关键帧序列；

步骤4，根据Randomized ferns实时重定位和闭环检测算法优化机器人位姿和点云地图，其整体流程如图5所示，Randomized ferns对输入的每一帧图像进行编码，并采用特殊的编码存储方式，加快图像相似度比较的效率，其编码方式如下：表示每帧图像的编码由m个块编码组成，

其中，表示每个块编码由n个Ferns组成，

其中，表示每个Fern通过比较c通道像素点x处的像素值与阈值θ的大小关系，确定Ferns的编码，

对新获取的每一帧图像计算块编码，利用函数Fers::generateFerns()随机初始化Ferns的位置、通道和阈值θ，并利用函数Ferns::addFrame()根据块编码将新输入图像帧与之前图像帧进行相似度比较，再通过相似度确定是否存在新的关键帧和闭环；

若存在全局闭环，如图6(a)所示，则利用步骤1的跟踪算法计算当前帧和第i帧之间的位姿，得到位姿变换矩阵后，对图像进行均匀采样并建立约束，优化节点参数，即机器人位姿；

全局闭环约束下节点参数优化方程：

其中，H表示相似转换矩阵，P_t表示当前帧图像对应的机器人位姿，表示当前帧深度图在相机坐标系中的投影点，表示机器人初始位姿，表示初始时刻；

若不存在全局闭环，如图6(b)所示，则对局部闭环进行位姿估计，并建立约束优化节点参数；

局部闭环约束下节点参数优化方程：

其中，表示最近时段所构建地图与之前时段构建地图模型之间变形的约束；

步骤5，采用OpenGL进行点云的融合和更新，具体流程如图7所示。首先，将每个输入顶点的3D坐标转换成2D坐标，根据光照公式计算每个顶点的颜色值，并生成纹理坐标；然后，将第一步处理的顶点与几何着色器存储的多个顶点组成的图元组织起来，并进行裁剪和栅格化；最后，采用片元着色器对栅格化之后生成的独立片元计算最终颜色和深度值，进而拼接成全局点云地图；

步骤6，在全局三维点云地图生成的同时，进行语义标注，将关键帧的像素级语义标注结果映射到对应的点云地图上，根据机器人位姿变换矩阵T_WC，可将每一个像素点的相机坐标转换为世界坐标，最后根据每个像素点所对应的三维空间坐标，将关键帧图像的二维语义分割结果映射到对应的三维点云地图上，完成三维点云地图的语义标注任务；

步骤7，由于新获取图像帧会对点云分配到不同的标签，因此还需要根据新获取关键帧的语义标签对已构建点云地图的语义信息进行优化，以关键帧的语义分割结果对点云标签概率分布进行初始化，采用递归贝叶斯更新点云标签分布概率：

其中，c_t表示t时刻点云的类别概率分布，表示关键帧集合{K₀,K₁,…,K_t}，Z表示归一化常量，K_t表示t时刻的关键帧；通过最大化该概率分布函数就可以得到每一个点云的最终语义标签：

L(P)＝argmaxP(c|K)

其中，P(c|K)表示关键帧中点云的标签概率分布，L(P)表示点云的最终语义类别。

Claims (10)

1.一种基于深度学习的室内环境三维语义地图构建方法，其特征在于，包括以下步骤：

步骤1，利用移动机器人自身携带的Kinect深度相机获取室内环境目标场景的RGB-D图像序列；

步骤2，采用基于RGB-D图像的语义分割网络对获取的每一帧RGB-D图像进行特征提取与处理；

步骤3，根据输入的每一帧图像估计对应的机器人位姿信息P_t；

步骤4，根据Randomized ferns实时重定位和闭环检测算法优化机器人位姿；

步骤5，利用关键帧进行点云地图构建，并将新获取图像帧对应点云与已构建的点云地图进行融合；

步骤6，将关键帧的像素级语义标注结果映射到对应的点云地图上，获取关键帧的语义标签；

步骤7，利用新获取关键帧的语义标签优化已构建三维点云地图的语义标注信息。

2.根据权利要求1所述一种基于深度学习的室内环境语义地图构建方法，其特征在于，步骤2中，所述采用基于RGB-D图像的语义分割网络对获取的每一帧RGB-D图像进行特征提取与处理，具体方法为：采用图像级联网络ICNet，并将图像的深度信息作为网络的第四个输入通道，对每一帧输入图像进行像素级语义预测。

3.根据权利要求1所述一种基于深度学习的室内环境语义地图构建方法，其特征在于，步骤3中，所述根据输入的每一帧图像估计对应的机器人位姿信息P_t的具体方法为：综合利用深度图像的几何位姿估计和RGB图像的光度位姿估计，通过最小化点面误差和光度误差，获得机器人位姿P_t，再根据相邻图像帧间的机器人位姿关系，确定用于点云地图构建的关键帧序列。

4.根据权利要求1所述一种基于深度学习的室内环境语义地图构建方法，其特征在于，步骤4中，所述根据Randomized ferns实时重定位和闭环检测算法优化机器人位姿的具体方法为：对输入每一帧图像进行编码，根据编码值计算图像帧间相似度，再根据相似度判断是否加入新的关键帧，并对新的关键帧求解相似变换矩阵来进行闭环检测。

5.根据权利要求1所述一种基于深度学习的室内环境语义地图构建方法，其特征在于，步骤5中，所述利用关键帧进行点云地图构建，并将新获取图像帧对应点云与已构建的点云地图进行融合的具体方法为：对所有深度图像对应的点云进行坐标变换，使得其后点云都与第一帧点云处于同一坐标系中；在每个连贯的有重叠的点云之间找到最佳变换关系，并累积这些变换关系到全部点云，就可以逐步将当前点云融合入已重建的点云地图。

6.根据权利要求1所述一种基于深度学习的室内环境语义地图构建方法，其特征在于，步骤6中，将关键帧的像素级语义标注结果映射到对应的点云地图上的具体方法为：根据机器人位姿转换矩阵T_WC，进而将每一个像素点的相机坐标转换为世界坐标，最后根据每个像素点所对应的三维空间坐标，将关键帧图像的二维语义分割结果映射到对应的三维点云地图上，完成三维点云地图的语义标注任务。

7.根据权利要求1所述一种基于深度学习的室内环境语义地图构建方法，其特征在于，步骤7中，所述利用新获取关键帧的语义标签优化已构建三维点云地图的语义标注信息的具体方法为：以关键帧的语义分割结果对点云标签概率分布进行初始化，再采用递归贝叶斯更新点云标签分布概率，通过最大化该概率分布函数可以得到每一个点云的最终语义标签。

8.根据权利要求3所述一种基于深度学习的室内环境语义地图构建方法，其特征在于，步骤3所述的通过最小化点面误差和光度误差，获得机器人位姿P_t，其具体做法是：

点面误差：

其中，是当前帧深度图像的第k个顶点；v^k和n^k分别是前一帧图像对应的顶点和法线；T是当前位姿转换矩阵；

光度误差：

其中，是当前帧RGB图像在点u处的灰度值；表示当前帧RGB图像中一点u在前一帧RGB图像投影的灰度值；

联合损失函数：E_track＝E_icp+0.1E_rgb

采用高斯-牛顿非线性最小二乘求得更新后的机器人位姿转换矩阵：即更新后当前帧对应位姿P_t＝T′P_t-1。

9.根据权利要求4所述的一种基于深度学习的室内环境语义地图构建方法，其特征在于，所述的闭环检测包括全局闭环检测和局部闭环检测，其中，全局闭环约束下节点参数优化方程为：

其中，H表示相似转换矩阵，P_t表示当前帧图像对应的机器人位姿，表示当前帧深度图中点u的投影，表示机器人初始位姿，表示初始时刻；

局部闭环约束下节点参数优化方程为：

其中，表示最近时段所构建地图与之前时段构建地图模型之间变形的约束。

10.根据权利要求7所述一种基于深度学习的室内环境语义地图构建方法，其特征在于，步骤7所述的更新点云标签分布概率，其具体做法是：

其中，c_t表示t时刻点云的类别概率分布，表示关键帧集合

{K₀，K₁，...，K_t}，Z表示归一化常量，K_t表示t时刻的关键帧。