CN111080804B

CN111080804B - 三维图像生成方法及装置

Info

Publication number: CN111080804B
Application number: CN201911011034.XA
Authority: CN
Inventors: 刘程林
Original assignee: Seashell Housing Beijing Technology Co Ltd
Current assignee: Seashell Housing Beijing Technology Co Ltd
Priority date: 2019-10-23
Filing date: 2019-10-23
Publication date: 2020-11-06
Anticipated expiration: 2039-10-23
Also published as: CN111080804A

Abstract

本发明实施例公开了一种三维图像生成方法及装置，其中，根据房间内各个位置的全景图像；利用预先训练的三维图像神经网络对所述全景图像进行推断，得到所述房间的结构点和结构线；所述三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练；根据所述结构点和结构线对所述全景图像进行匹配，得到全部点位全景图像的位姿关系；根据所述位姿关系和结构点、结构线，拼接所述房间的三维图像。本发明方案通过大量的在先数据训练神经网络，将房间全景图像自动拼接为三维图像，通过简单的商用全景相机采集房间点位的全景图像，就能够推断出该房间的一个矢量化的极简三维模型，能够满足快速简洁的全屋重建的需求。

Description

三维图像生成方法及装置

技术领域

本发明涉及计算机三维空间建模技术领域，尤其是一种三维图像生成方法及装置。

背景技术

在室内三维模型的数据采集阶段，一般需要利用特殊设备，收集不同的拍摄点数据(包括深度数据和RGB图像数据)。在完成对数据收集以后，通过标定好的相机参数、RGB图片以及深度图片得到RGBD图。其中，RGB是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。深度图(Depth Map)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，Depth Map类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。

现有技术中，能够结合相机位姿将RGBD图转化为单个相机点位的点云。这需要找出不同拍摄点的在全局坐标系下的坐标，才能把这些点云数据拼接成一个完整房屋的点云模型。

这种模式需要特定设备，并且需要专门训练的操作人进行操作，不利于广泛推广和普及。

发明内容

本发明实施例所要解决的一个技术问题是：提供三维图像生成方法及装置，解决现有技术中房间三维图像重建过程繁琐、精确度不高等问题。

根据本发明的一个方面，提供了一种三维图像生成方法，包括：

获取房间内各个位置的全景图像；

根据预先训练的三维图像神经网络对所述全景图像进行推断，得到所述房间的结构点和结构线；所述三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练；所述结构点和结构线为所述房间内不同平面的连接点和连接线；

根据所述结构点和结构线对所述全景图像进行匹配，得到全部点位全景图像的位姿关系；

根据所述位姿关系和结构点、结构线，拼接所述房间的三维图像。

可选地，在本发明三维图像生成方法的任一实施例中，所述方法还包括：

所述三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练得到所述结构点和结构线对应的自信度；

根据所述结构点和结构线对应的自信度对推断得到的所述房间的结构点和结构线进行判断；

舍弃所述自信度低于预设阈值的结构点和结构线。

根据边界预测误差和边界对称性要求获取所述结构点和结构线对应的自信度。

可选地，在本发明三维图像生成方法的任一实施例中，所述边界预测误差根据如下方式获取：

根据上下两条边界预测值与真实值的误差平均值计算所述边界预测误差；具体为：

边界误差为墙与天花板和墙与地板两条边界线真实值与墙与天花板和墙与地板两条边界线预测值之差取绝对值后的均值。

可选地，所述边界对称性根据如下方式获取：

两条边界的平均距离为两条边界距离的均值；

两条边界上任意两点的距离分别为两条边界的平均距离分别与两条边界的差值的绝对值；

则：边界对称性为两条边界上任意两点的距离差值的绝对值。

可选地，在本发明三维图像生成方法的任一实施例中，所述结构点和结构线对应的自信度，根据如下方式计算：

Conf＝1-(boundary_loss+alpha*symmetry_loss)；

其中，Conf为所述结构点和结构线对应的自信度；boundary_loss为边界预测误差；symmetry_loss为边界对称性；alpha为预设参数。

可选地，在本发明三维图像生成方法的任一实施例中，所述三维图像神经网络根据如下方式训练：

获取房间内各个位置的全景图像；

对所述全景图像中墙-天花板、墙-地面边界线进行标注，相邻墙-天花板或者相邻墙-地面交点标注；

搭建神经网络进行训练。

可选地，在本发明三维图像生成方法的任一实施例中，所述对所述全景图像中墙-天花板、墙-地面边界线进行标注，相邻墙-天花板或相邻墙-地面交点标注，包括：

获取所述全景图像对应的相机距离地面的高度h，建立坐标系，坐标原点为所述相机的中心点，A’点为地面与墙的交线上任意一点；

相机高度h为A’点的z坐标z_f；

A’点的俯仰角v_f＝-(pix_y/img_height-0.5)*Pi，v_f取值范围-pi/2～pi/2；其中，pix_y为A’点在所述全景图像中y坐标，img_height为所述全景图像的高度像素值，Pi为圆周率；

AA’直线到相机轴距离c＝z_f/tan(v_f)；

A’点的坐标(x,y)通过在全景图像的x坐标结合三角关系得到，具体为：A’点与x轴夹角为u,x坐标为x＝c*cos(u),y＝c*sin(u)；所述夹角u＝(pix_x/img_width-0.5)*2pi；其中，所述pix_x为A’点在所述全景图像中x坐标，img_width为所述全景图像的宽度像素值；

根据所述A’点的坐标(x，y，z)获知对应墙-地面边界线三维坐标；

同理获取墙-天花板、墙-墙、相邻墙-天花板或相邻墙-地面交点的坐标。

可选地，在本发明三维图像生成方法的任一实施例中，所述根据所述结构点和结构线对所述全景图像进行匹配，得到全部点位全景图像的位姿关系，包括：

根据所述结构点和结构线在所述全景图像内部进行匹配；

获取所述房间的全部全景图像，并根据所述结构点和结构线在全部全景图像中进行匹配，得到全部点位全景图像的位姿关系。

在本发明的另一个实施例中，提供了一种三维图像生成装置，所述装置包括：

全景图像获取单元，用于获取房间内各个位置的全景图像；

神经网络推断单元，用于根据预先训练的三维图像神经网络对所述全景图像进行推断，得到所述房间的结构点和结构线；所述三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练；所述结构点和结构线为所述房间内不同平面的连接点和连接线；

匹配单元，用于根据所述结构点和结构线对所述全景图像进行匹配，得到全部点位全景图像的位姿关系；

拼接单元，用于根据所述位姿关系和结构点、结构线，拼接所述房间的三维图像。

可选地，在本发明三维图像生成装置的任一实施例中，所述装置还包括：

神经网络训练单元，用于获取房间内各个位置的全景图像；对所述全景图像中墙-天花板、墙-地面边界线进行标注，相邻墙-天花板或者相邻墙-地面交点标注；搭建神经网络进行训练。

可选地，在本发明三维图像生成装置的任一实施例中，所述神经网络推断单元，还用于根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练得到所述结构点和结构线对应的自信度；

所述装置还包括：自信度判断单元，用于根据所述结构点和结构线对应的自信度对推断得到的所述房间的结构点和结构线进行判断；舍弃所述自信度低于预设阈值的结构点和结构线。

可选地，在本发明三维图像生成装置的任一实施例中，所述自信度判断单元，还用于根据边界预测误差和边界对称性要求获取所述结构点和结构线对应的自信度。

根据本发明的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述所述的方法。

根据本发明的另一个方面，提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述所述的方法。

基于本发明上述实施例提供的平面标定板方案，主要包括如下有益效果：

根据房间内各个位置的全景图像；利用预先训练的三维图像神经网络对所述全景图像进行推断，得到所述房间的结构点和结构线；所述三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练；根据所述结构点和结构线对所述全景图像进行匹配，得到全部点位全景图像的位姿关系；根据所述位姿关系和结构点、结构线，拼接所述房间的三维图像。本发明方案通过大量的在先数据训练神经网络，然后根据神经网络对新获取的全景图像做推断，得到全景图像中结构点和结构线的位置，根据这些结构点和结构线完成对房间三维图像的拼接。进一步的，能够根据房间所有的全景图像进行拼接，得到房间整体的三维图像。本发明方案将房间全景图像自动拼接为三维图像，通过简单的商用全景相机采集房间点位的全景图像，就能够推断出该房间的一个矢量化的极简三维模型，能够满足快速简洁的全屋重建的需求。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明一个实施例提供的三维图像生成方法源流流程图。

图2为本发明另一个实施例提供的三维图像生成方法源流流程图。

图3为本发明一个实施例提供的三维图像生成装置结构示意图。

图4为本发明另一个实施例提供的三维图像生成装置结构示意图。

图5为本发明另一个实施例提供的三维图像生成装置结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

本发明实施例能够通过深度学习的方式，直接通过一张RGB彩色全景图就能重建出该点位所在房间的结构模型。输入一RGB全景图像，输出RGB全景图中的墙-天花板、墙-地板的交线以及墙-墙的交线位置。

本发明实施例在算法中加入“自信度”评估，并在结果中给出墙-天花板、墙-地板交线的pixel-wise的自信度值。在自信度函数中，包括两点：1.墙-天花板、墙-地面交线预测准确度；2.两条线对称性。后处理中，通过自信度阈值确定该墙面是否重建，通过多点位的三维重建结果拼接成完整的房间结构。

本实施例通过搭建神经网络模型，利用公司内部海量数据对模型进行训练。模型输入全景图像，输出全景图像中三维结构相关结构线(即墙壁与天花板，墙壁与地板的交线),相邻墙壁以及天花板或者地板交点位置,以及结构线预测自信度值。

如图1所示，为本实施例提供的三维图像生成方法源流流程图，其中，

步骤11，获取房间内各个位置的全景图像。

房间内的全景图像，通常采用全景相机在房间内进行多维度的拍照采集。采集的全景图像通常为RGB格式。由于全景相机只能拍摄平面图像，因而，采集得到的全景图像是一张或者多张二维的平面图像。

在本发明的一个实施例中，一个房间需要采集多张全景图像，然后根据多张全景图像进行拼接，完成房间整体的模型建立。而对于一栋房屋，通常会包括多个房间，不同房间的全景图像也需要进行拼接后统一进行模型建立。

步骤12，根据预先训练的三维图像神经网络对所述全景图像进行推断，得到所述房间的结构点和结构线。

三维图像神经网络是根据在先的已知房间的全景图像和对应的三维图像之间的对应关系训练的。或者，三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练。

在本发明的一个实施例中，结构点和结构线为所述房间内不同平面的连接点和连接线。例如，结构线包括了墙-天花板、墙-地面边界线以及墙-墙之间的界限。结构点主要包括相邻墙-天花板或者相邻墙-地面交点。

在本发明的一个实施例中，通过搭建神经网络模型，利用已有的海量数据对模型进行训练。模型输入全景图像，输出全景图像中三维结构相关结构线(即墙壁与天花板，墙壁与地板的交线等),相邻墙壁以及天花板或者地板交点位置。

在本发明的一个实施例中，神经网络的训练，可以采用现有技术中通用的神经网络训练方式，通过对全景图像与结构点和结构线的对应关系，训练生成一个能够对所有全景图像进行推断和过滤的神经网络。

步骤13，根据所述结构点和结构线对所述全景图像进行匹配，得到全部点位全景图像的位姿关系。

获取的结构点和结构线主要包括结构点和结构线在所述全景图像中的相对位置，根据这个相对位置可以根据对应的结构点和结构线对全景图像进行处理和匹配。

在本发明的一个实施例中，一个房间获取到的多个全景图像可以根据结构线和结构点进行拼接，得到房间对应的全部全景图像点位的位姿关系。根据这些位姿关系可以进行全景图像的拼接。

步骤14，根据所述位姿关系和结构点、结构线，拼接所述房间的三维图像。

根据多个全景图像的位姿关系，对全景图像进行拼接，得到整个房间的全景图像。结合全景图像中结构点和结构线的相对位置，对全景图像进行处理，可以得到房间的三维图像。

在本发明的一个实施例中，三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练得到所述结构点和结构线对应的自信度；

舍弃所述自信度低于预设阈值的结构点和结构线。

在本发明的一个实施例中，根据三维图像神经网络在训练得到结构点和结构线时，还得到对应的一个自信度的值。自信度时用来评判对应的结构点和结构线的可信度的值。

在本发明的一个实施例中，如果一个全景图像经过三维图像神经网络推断后，得到的结构点或结构线对应的自信度的值小于预设的阈值，则该结构点或结构线将被舍弃，不会被重建。

在本发明的一个实施例中，自信度的值根据边界预测误差和边界对称性要求获取。

所述边界预测误差根据如下方式获取：

具体的，边界预测误差boundary_loss＝mean(abs(boundary_gt–boundary_pred))；

其中，boundary_gt，为墙与天花板和墙与地板两条边界线真实值；boundary_pred为墙与天花板和墙与地板两条边界线预测值。

所述边界对称性根据如下方式获取：

两条边界的平均距离为两条边界距离的均值；

具体的，两条边界分别为boundary[0,:]和boundary[1,:]；

两条边界的平均距离mean_h＝mean((boundary[0,:]+boundary[1,:])/2)；

两条边界上任意两点的距离为：deta_1＝abs(mean_h-boundary[0,:])；deta_2＝abs(mean_h-boundary[1,:])；

则：边界对称性symmetry_loss＝abs(deta_1-deta_2)。

结构点和结构线对应的自信度，根据如下方式计算：

Conf＝1-(boundary_loss+alpha*symmetry_loss)；

在本发明的一个实施例中，三维图像神经网络根据如下方式训练：

获取房间内各个位置的全景图像；

搭建神经网络进行训练。

在本发明的一个实施例中，对所述全景图像中墙-天花板、墙-地面边界线进行标注，相邻墙-天花板或相邻墙-地面交点标注，包括：

相机高度h为A’点的z坐标z_f；

AA’直线到相机轴距离c＝z_f/tan(v_f)；

在本发明的一个实施例中，通过搭建神经网络模型，利用海量数据对模型进行训练。神经网络模型输入全景图像，输出全景图像中三维结构相关结构线(即墙壁与天花板，墙壁与地板的交线),相邻墙壁以及天花板或者地板交点位置,以及结构线预测自信度值。

在本发明一个实施例中，神经网络主要结构可以采用了现有技术中的结构，加入boundary边界预测“自信度”分支。

边界预测误差定义为：上下(天花板和地面)两条boundary预测值与真实值的误差平均值。boundary_gt，2*1024的矩阵，代表墙与天花板和墙与地板两条边界线真实值；boundary_pred，2*1024的矩阵，代表墙与天花板和墙与地板两条边界线预测值。

boundary_loss＝mean(abs(boundary_gt–boundary_pred))。

定义自信度的时候考虑两方面内容，一个是边界预测误差；另一个是预测边界是否满足对称性要求，这是由于上下边界经常存在遮挡现象，因此会导致标注不准确，同时也会带来预测不准确的问题。但是通过先验性知识知道，曼哈顿房屋是上下垂直的，天花板与墙的交线和地面与墙的交线，应该在同一水平坐标处。所以在自信度中加入边界对称误差，其定义如下：

mean_h＝mean((boundary[0,:]+boundary[1,:])/2)

deta_1＝abs(mean_h-boundary[0,:])

deta_2＝abs(mean_h-boundary[1,:])

symmetry_loss＝abs(deta_1-deta_2)

将confidence定义为如下(alpha为超参数)：

Conf＝1-(boundary_loss+alpha*symmetry_loss)。

在后处理过程中，利用相机高度作为绝对尺度，依据三角关系和全景投影关系，能够计算出地面与墙交线的三维坐标。

在本发明一个实施例中，如图2所示，本发明实施例提供一种改进的三维图像生成方法，整体的流程如下：

步骤21，通过相机高度，预测的天花板、地面与墙的交线，恢复天花板和地面所在三维平面。

步骤22，依据墙角corner结果将边界boundary分成n段，表示有n面墙。将交线投影到天花板平面。计算每段墙点分散性，小于阈值的该段墙不进行重建。

步骤23，依据自信度confidence对边界boundary截断。自信度小于阈值处边界boundary舍弃。每个点位就得到分段重建出的墙和整个天花板、地板结构。

本发明的一个实施例提供了一种三维图像生成装置，如图3所示，该装置包括：

全景图像获取单元31，用于获取房间内各个位置的全景图像；

神经网络推断单元32，用于根据预先训练的三维图像神经网络对所述全景图像进行推断，得到所述房间的结构点和结构线；所述三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练；所述结构点和结构线为所述房间内不同平面的连接点和连接线；

匹配单元33，用于根据所述结构点和结构线对所述全景图像进行匹配，得到全部点位全景图像的位姿关系；

拼接单元34，用于根据所述位姿关系和结构点、结构线，拼接所述房间的三维图像。

在本发明的一个实施例中，如图4所示，上述的三维图像生成装置还包括神经网络训练单元35，用于获取房间内各个位置的全景图像；对所述全景图像中墙-天花板、墙-地面边界线进行标注，相邻墙-天花板或者相邻墙-地面交点标注；搭建神经网络进行训练。

在本发明的一个实施例中，如图5所示，上述的三维图像生成装置还包括自信度判断单元36，其中，

所述神经网络推断单元32，还用于根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练得到所述结构点和结构线对应的自信度；

自信度判断单元36，用于根据所述结构点和结构线对应的自信度对推断得到的所述房间的结构点和结构线进行判断；舍弃所述自信度低于预设阈值的结构点和结构线。

在本发明一个实施例中，所述自信度判断单元36，还用于根据边界预测误差和边界对称性要求获取所述结构点和结构线对应的自信度。

在本发明的一个实施例中，还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的方法。

在本发明的一个实施例中，还提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的方法。

基于本发明上述实施例提供平面标定板方案，主要包括如下有益效果：

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims

1.一种三维图像生成方法，其特征在于，所述方法包括：

获取房间内各个位置的全景图像；

根据预先训练的三维图像神经网络对所述全景图像进行推断，得到所述房间的结构点和结构线，以及对应的自信度的值，其中，所述自信度的值根据边界预测误差和边界对称性要求获取，所述边界预测误差根据上下两条边界预测值与真实值的误差平均值计算得到，所述边界对称性由所述上下两条边界上任意两点的距离差值的绝对值计算得到；所述三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练；所述结构点和结构线为所述房间内不同平面的连接点和连接线；

根据所述位姿关系和结构点、结构线，拼接形成所述房间的三维图像。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

舍弃所述自信度低于预设阈值的结构点和结构线。

3.如权利要求1所述的方法，其特征在于，所述边界预测误差根据如下方式获取：

4.如权利要求1所述的方法，其特征在于，所述边界对称性根据如下方式获取：

两条边界的平均距离为两条边界距离的均值；

5.如权利要求1、3或4任一所述的方法，其特征在于，所述结构点和结构线对应的自信度，根据如下方式计算：

Conf＝1-(boundary_loss+alpha*symmetry_loss)；

6.如权利要求2所述的方法，其特征在于，所述三维图像神经网络根据如下方式训练：

获取房间内各个位置的全景图像；

搭建神经网络进行训练。

7.如权利要求6所述的方法，其特征在于，所述对所述全景图像中墙-天花板、墙-地面边界线进行标注，相邻墙-天花板或相邻墙-地面交点标注，包括：

相机高度h为A’点的z坐标z_f；

AA’直线到相机轴距离c＝z_f/tan(v_f)；

8.如权利要求1所述的方法，其特征在于，所述根据所述结构点和结构线对所述全景图像进行匹配，得到全部点位全景图像的位姿关系，包括：

根据所述结构点和结构线在所述全景图像内部进行匹配；

9.一种三维图像生成装置，其特征在于，所述装置包括：

全景图像获取单元，用于获取房间内各个位置的全景图像；

神经网络推断单元，用于根据预先训练的三维图像神经网络对所述全景图像进行推断，得到所述房间的结构点和结构线，以及对应的自信度的值，其中，所述自信度的值根据边界预测误差和边界对称性要求获取，所述边界预测误差根据上下两条边界预测值与真实值的误差平均值计算得到，所述边界对称性由所述上下两条边界上任意两点的距离差值的绝对值计算得到；所述三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练；所述结构点和结构线为所述房间内不同平面的连接点和连接线；

10.如权利要求9所述的装置，其特征在于，所述装置还包括：

11.如权利要求9或10所述的装置，其特征在于，所述神经网络推断单元，还用于根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练得到所述结构点和结构线对应的自信度；

12.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序用于执行上述权利要求1-8任一所述的方法。

13.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8任一所述的方法。