CN115115847B - 三维稀疏重建方法、装置及电子装置 - Google Patents

Abstract

本申请涉及图像处理和多视角几何技术领域，具体而言，公开了一种三维稀疏重建方法、装置及电子装置，该三维稀疏重建方法包括：获取多目相机采集的城市航拍图像；将所述航拍图像输入全局特征提取网络，提取特征值；采用第一聚类算法对所述特征值进行处理，确定第一图像分区；通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，其中，根据所述特征匹配结果可以确定所述第一图像分区内的图像；对所述第一图像分区内的图像进行重建，确定第一相机位姿；基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿。本申请可以提高特征匹配和稀疏重建效率。

Description

三维稀疏重建方法、装置及电子装置

技术领域

本申请属于图像处理和多视角几何技术领域，具体地说，涉及三维稀疏重建方法、装置及电子装置。

背景技术

随着无人机技术的发展，城市航拍图像的获取变得方便快捷，基于当前数字城市重建工作的需求，采用合适的方法提取航拍图像的特征是实现将大量航拍图像转化为城市三维模型成为重要环节之一，但当前使用SIFT算法提取图像特征存在图像对匹配不准确的问题，使用深度学习算法提取图像特征存在网络训练难度大的问题，因此会导致当使用稀疏重建方法处理大量航拍图像时存在耗时长、稀疏重建结果准确度不高的问题。

有鉴于此特提出本申请。

发明内容

本申请要解决的技术问题在于克服现有技术的不足，提供一种三维稀疏重建方法、装置及电子装置。

为解决上述技术问题，本申请采用技术方案的基本构思是：

根据本申请实施例的第一方面，提供一种三维稀疏重建方法，所述方法包括：获取多目相机采集的城市航拍图像；将所述航拍图像输入全局特征提取网络，提取特征值；采用第一聚类算法对所述特征值进行处理，确定第一图像分区；通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，其中，根据所述特征匹配结果可以确定所述第一图像分区内的图像；对所述第一图像分区内的图像进行重建，确定第一相机位姿；基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿。

可选的，所述全局特征提取网络的训练采用无监督学习方法，包括：获取航拍图像训练集，并在所述航拍图像训练集中的任意一张图像上构造n*n个锚点；基于预先设置的长宽比，以所述锚点为中心构造锚框，并将获取的所述锚点和所述锚框合称为锚点框集合；通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定所述锚框的对应图像的样本类型。

可选的，所述通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定所述锚框的对应图像的样本类型，包括：若所述锚点框集合中的任意一个锚框与其他锚框的交并比大于交并比阈值，则确定所述锚框的对应图像的样本类型属于正类；若所述锚点框集合中的任意一个锚框与其他锚框的交并比小于交并比阈值，则确定所述锚框的对应图像的样本类型属于负类。

可选的，所述采用第一聚类算法对所述特征值进行处理，确定第一图像分区，包括：确定聚类中心的数量；输入所述聚类中心的数量和所述特征值至所述第一聚类算法，得到所述特征值对应的航拍图像属于各个聚类中心的概率值，其中，所述第一聚类算法包括模糊C均值聚类算法；在所述特征值对应的航拍图像属于第一聚类中心的概率值大于概率阈值的情况下，确定所述特征值对应的航拍图像属于第一图像分区。

可选的，所述确定聚类中心的数量，包括按照下式确定航拍图像序列重叠数：

其中，n_overlap表示图像序列重叠数，[]表示取整，t表示相似度阈值，r表示航拍图像连续两张图片的重叠度；

基于所述航拍图像序列重叠数，按照下式确定聚类中心的数量：

其中，K表示聚类中心的数量，[]表示取整，N表示航拍图像的数量，n_cam表示多目相机的摄像头数量，n_overlap表示图像序列重叠数。

可选的，所述通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，包括：对所述第一图像分区内的图像进行两两配对，得到第一图像对集合；对所述第一图像对进行去重处理，得到第二图像对集合；基于分布式并行对所述第二图像对集合中的图像进行局部特征匹配，获取特征匹配点对；基于对所述特征匹配点对的整合，获取所述第二图像对集合中的图像的特征匹配结果。

可选的，所述对所述第一图像分区内的图像进行重建，确定第一相机位姿，包括：响应于获取的所述特征匹配点对，通过构造对极几何图计算所述第二图像对集合中各个图像对的相对位姿；基于所述相对位姿，通过全局旋转平均计算每张图片对应相机位姿的旋转矩阵；根据RANSAC方法剔除图像的误匹配点对，通过增量式捆绑调整计算图像对应相机中心的坐标，最终确定所述第一图像分区内每张图像的第一相机位姿。

可选的，所述基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿，包括：采用所述第二聚类算法对所述第一图像分区的特征值进行聚类分析，确定第二图像分区，其中，所述第二聚类算法包括K-means聚类算法；基于对所述第二图像分区内的图像进行重建，确定第二相机位姿；采用K-Means聚类算法对所述全局特征值进行重复迭代聚类，扩大捆绑调整的区域范围，确定相机位姿。

根据本申请实施例的第二方面，提供一种三维稀疏重建装置，其特征在于，包括：提取模块，用于获取多目相机采集的城市航拍图像，将所述航拍图像输入全局特征提取网络，提取特征值；第一确定模块，用于采用第一聚类算法对所述特征值进行处理，确定第一图像分区；获取模块，用于通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，其中，根据所述特征匹配结果可以确定所述第一图像分区内的图像；第二确定模块，用于对所述第一图像分区内的图像进行重建，确定第一相机位姿，并基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿。

可选的，所述提取模块采用的全局特征提取网络的训练采用无监督学习方法，包括：获取航拍图像训练集，并在所述航拍图像训练集中的任意一张图像上构造n*n个锚点；基于预先设置的长宽比，以所述锚点为中心构造锚框，并将获取的所述锚点和所述锚框合称为锚点框集合；通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定所述锚框的对应图像的样本类型。

可选的，所述提取模块通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定所述锚框的对应图像的样本类型，包括：若所述锚点框集合中的任意一个锚框与其他锚框的交并比大于交并比阈值，则确定所述锚框的对应图像的样本类型属于正类；若所述锚点框集合中的任意一个锚框与其他锚框的交并比小于交并比阈值，则确定所述锚框的对应图像的样本类型属于负类。

可选的，所述第一确定模块采用第一聚类算法对所述特征值进行处理，确定第一图像分区，包括：确定聚类中心的数量；输入所述聚类中心的数量和所述特征值至所述第一聚类算法，得到所述特征值对应的航拍图像属于各个聚类中心的概率值，其中，所述第一聚类算法包括模糊C均值聚类算法；在所述特征值对应的航拍图像属于第一聚类中心的概率值大于概率阈值的情况下，确定所述特征值对应的航拍图像属于第一图像分区。

可选的，所述第一确定模块采用如下方式确定聚类中心的数量，包括按照下式确定航拍图像序列重叠数：

其中，n_overlap表示图像序列重叠数，[]表示取整，t表示相似度阈值，r表示航拍图像连续两张图片的重叠度；

基于所述航拍图像序列重叠数，按照下式确定聚类中心的数量：

其中，K表示聚类中心的数量，[]表示取整，N表示航拍图像的数量，n_cam表示多目相机的摄像头数量，n_overlap表示图像序列重叠数。

可选的，所述获取模块采用如下方式通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，包括：对所述第一图像分区内的图像进行两两配对，得到第一图像对集合；对所述第一图像对进行去重处理，得到第二图像对集合；基于分布式并行对所述第二图像对集合中的图像进行局部特征匹配，获取特征匹配点对；基于对所述特征匹配点对的整合，获取所述第二图像对集合中的图像的特征匹配结果。

可选的，所述第二确定模块采用如下方式对所述第一图像分区内的图像进行重建，确定第一相机位姿，包括：响应于获取的所述特征匹配点对，通过构造对极几何图计算所述第二图像对集合中各个图像对的相对位姿；基于所述相对位姿，通过全局旋转平均计算每张图片对应相机位姿的旋转矩阵；根据RANSAC方法剔除图像的误匹配点对，通过增量式捆绑调整计算图像对应相机中心的坐标，最终确定所述第一图像分区内每张图像的第一相机位姿。

可选的，所述第二确定模块采用如下方式基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿，包括：采用所述第二聚类算法对所述第一图像分区的特征值进行聚类分析，确定第二图像分区，其中，所述第二聚类算法包括K-means聚类算法；基于对所述第二图像分区内的图像进行重建，确定第二相机位姿；采用K-Means聚类算法对所述全局特征值进行重复迭代聚类，扩大捆绑调整的区域范围，确定相机位姿。

根据本申请实施例的第三方面，提供一种电子装置，包括存储器和处理器，其中，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求第一方面提出的任一项所述三维稀疏重建方法。

采用上述技术方案后，本申请与现有技术相比具有以下有益效果：获取多目相机采集的城市航拍图像，并输入全局特征提取网络，提取特征值；通过采用第一聚类算法对所述特征值进行处理，确定第一图像分区；对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，从而确定第一图像分区内的图像；并对所述第一图像分区内的图像进行重建，确定第一相机位姿；最后通过采用第二聚类算法对第一图像分区内图像的特征值进行迭代聚类处理，从而确定相机位姿的方法，可以实现通过构建全局特征提取网络来提取图像的全局特征，并利用全局特征对航拍图像进行聚类，可以获取重叠区域大、相关性强的图像集，在图像集内进行SIFT特征匹配，进而确定相机位姿，可以提高大规模图片集的稀疏重建效率，减少耗时。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的无监督学习方法的流程图；

图2是根据一示例性实施例示出的一种三维稀疏重建方法的流程图；

图3是根据一示例性实施例示出的一种三维稀疏重建装置的框图；

图4是根据一示例性实施例示出的一种电子设备装置的框图。

需要说明的是，这些附图和文字描述并不旨在以任何方式限制本申请的构思范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请提出的一种三维稀疏重建方法，应用于城市场景航拍图像的相机位姿估计。图像的三维重建技术，又叫倾斜摄影技术，是利用相机在不同的位置拍摄物体照片，通过稀疏重建、稠密重建和点云模型化技术，实现对物体的三维建模，其中，本申请主要针对相机位姿的确定提出了改进。稀疏重建的作用就是求解拍摄每张照片时对应的相机位姿，即运动恢复结构SFM（structure from motion），基于获取的相机位姿，通过深度估计、点云融合、点云模型化等技术，实现对物体的三维建模。

三维稀疏重建的步骤包括：提取图像的局部特征，基于获取的局部特征值对获取的图像集的图像进行两两配对，得到图像特征点对匹配结果，然后基于对极几何原理，根据特征点对匹配结果求出对应的相机位姿，进一步地，获取所有图像对应的相机位姿。

其中，在现有技术中，提取图像特征并对图像进行匹配的方法主要包括以下两类：第一类是采用SIFT算法提取图像的局部特征，并结合一些匹配策略来实现，例如，暴力匹配、序列匹配、词袋匹配或空间匹配，但当输入图像特征数据数量较大时，通过匹配策略获取图像对，会产生数据计算量大，图像对匹配不准确的问题，因而导致图像对匹配效率不高，位姿估计不准确。第二类是采用深度学习提取图像的特征，采用深度学习方法可以避免SIFT算法中图像对匹配效率不高的问题，但采用深度学习需要大量构造包含场景目标的连续、不同角度的原始影像及与原始影像对应的真实空间位姿和相机参数作为数据集，因此，会产生数据采集标注和网络训练难度大的问题。

基于此，本申请提出了一种三维稀疏重建方法，通过无监督学习的方式训练全局特征提取网络，从而减少数据集采集标注和网络训练的难度；基于全局特征提取网络提取航拍图像的全局特征，利用全局特征对航拍图像进行聚类，从而获取有效的图像对和图像分区；通过在图像分区内进行相机位姿的估算和迭代优化，从而提高重建效率和准确度。

为了使本技术领域的人员更好的理解本申请实施例中的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中的技术方案作进一步详细的说明。

在一种实施例中，全局特征提取网络用于提取每张航拍图像的全局特征值，其中，本申请训练全局特征提取网络的过程包括：获取训练集，基于对输入的图像进行预处理，通过无监督学习的方式为该全局特征提取网络构造分类任务。

本申请对图像进行全局特征提取的深度学习主干网络为Resnet50，并采用Moco-v2的开源模型权重作为网络的预训练模型。其中，全局特征提取网络的输入图像的尺寸为448*448*3，网络的输出的特征值向量维度为128*1。

本实施例中，将提前采集的城市航拍图像数据输入到网络中，在每次网络迭代过程中，自动做预处理得到训练图像和对应的标签，实现对网络的无监督学习，从而可以减少网络训练需要的标注工作。其中，在网络迭代过程中，可以通过对输入数据进行分块，随机筛选重叠度高的图像和重叠度低的图像组，将重叠度高的图像组自动分为同一类，重叠度低的图像组分为其他类，通过构造交叉熵损失，在pytorch深度学习框架内，对网络进行微调训练。

图1是根据一示例性实施例示出的一种无监督学习方法的流程图。如图1所示，该方法可以包括步骤S101~S105。

在步骤S101中，获取航拍图像训练集，并在航拍图像训练集中的任意一张图像上构造n*n个锚点。

在步骤S102中，基于预先设置的长宽比，以锚点为中心构造锚框，并将获取的锚点和锚框合称为锚点框集合。

在步骤S103中，通过计算锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定锚框的对应图像的样本类型。

在一些常见的情形中，航拍图像可以是基于对地形地貌的采集，也可以是基于城市建筑的采集，也可以是对街道位置的采集，并且每次采集的航拍图像应该是属于对同一种类型图像的采集。

基于获取的图像训练集，其中，该图像训练集中包括N张图像，在该训练集中任选一张图像，设为I，对其进行训练以获得检测网络的权重，其中，本实施例对采集的图像的训练过程，包括：基于获取的图像I，将图像I划分为n*n个区域，其中，本实施例中，n=56,并设置每个区域的中心点为锚点，则本实施例中每张图像的锚点数量为56*56个。

基于得到的锚点，以每个锚点为中心构造3个锚框，其中，三个锚框的尺寸大小为提前预设的，分别为：224*224，336*336,448*448，则本实施例中每张图像的锚框数量为56*56*3个。

基于得到的锚点和锚框，整合获取的锚点和锚框，并将其命名为锚点框集合，设为R。

在得到的锚点框集合中任取一个框，设为bbox0；任取N个框，将该N个框的集合，设为Pbboxi,其中，i的取值范围为1到N，N的值小于batch_size，其中batch_size指每次迭代运算时输入网络的图片数量，本实施例设置batch_size=32，将剩余的batch_size-N-1个框设为Nbboxi，其中，i的取值范围为1到batch_size-N-1。

响应于获取框bbox0、Pbboxi和Nbboxi，根据bbox0和Pbboxi的尺寸对图像I进行裁剪，获取子图像PIi，其中i的取值范围为1到N，将该子图像PIi的集合作为正样本；根据Nbboxi的尺寸对图像I进行裁剪，获取子图像NIi，其中i的取值范围为1到N，将该子图像NIi的集合作为负样本。

在一些实施例中，在对图像样本进行训练时，可以对训练图像进行数据增广，以使本申请实施例所提出的用于三维稀疏重建的全局特征提取网络，可以更好地应用与实际场景中。例如，可以采用以下中任意一项或多项进行数据增广：对该图像样本进行亮度变换、对该图像样本进行设定角度的旋转、对该图像样本进行放射变换、对该图像样本进行色彩变换等。

根据剪裁和数据增广得到的训练数据集，将该图像PIi和图像NIi划分为正类和负类，其中，正类是指图像重叠率高的图像的集合，负类是指图像重叠率低的图像的集合。

其中在本实施例通过以下公式将该图像PIi和图像NIi划分为正类和负类：

其中，t为交并比阈值，本实施例中t=0.3，bbox0表示任意一个锚框，pbboxi表示任意N个锚框的集合，Nbboxi表示batch_size-t-1个锚框的集合。

根据公式可知，若锚点框集合中的任意一个锚框与其他锚框的交并比大于交并比阈值t=0.3，则确定锚框的对应图像的样本类型属于正类；若锚点框集合中的任意一个锚框与其他锚框的交并比小于交并比阈值t=0.3，则确定锚框的对应图像的样本类型属于负类。

在迭代训练中，当损失函数的值不再下降且低于设定阈值，也就是全局特征提取网络收敛后，可以得到本申请用于提取全局特征的全局特征提取网络，基于该网络模型可以实现对航拍图像全局特征的识别，并提取航拍图像集中所有图像的特征值。本申请通过无监督学习方法训练全局特征提取网络，基于该全局特征提取网络所需的航拍图像的尺寸小，输入模型参数适中，因此可以减少提取图像特征值过程中的计算量，提高效率。

图2是根据一示例性实施例示出的一种三维稀疏重建方法的流程图。如图1所示，该方法可以包括步骤S201~S205。

在步骤S201中，获取多目相机采集的城市航拍图像。

本实施例中，相机搭载于无人机上，其中，相机包括单目相机和多目相机，当无人机搭载相机进行拍摄时，可以实现对城市地面的拍摄。由于多目相机采集到的图像数量是单目相机采集到的图像数量的多倍，且多目相机可以从多个不同角度实现对同一位置的拍摄，因此，当无人机搭载多目相机对地面拍摄时，可以实现对同一位置空间从多个角度进行拍摄，从而获取统一位置空间不同角度的航拍图像。基于此，本申请选择多目相机对城市地面进行拍摄，为了获取精确度高的城市航拍图像，使用五目相机拍摄的航拍图像。

其中，五目相机采集的城市航拍图像中，需要保留连续航拍图像重叠率达到60%以上的图像，其中最佳航拍图像重叠率为70%。

在步骤S202中，将航拍图像输入全局特征提取网络，提取特征值。

将获取的图像通过缩放，得到尺寸大小为448*448的图像，将该图像输入训练好的全局特征提取网络，提取每张图像的特征值，其中，该特征值的维度为128。

响应于获取到每张图像的特征值，对该特征值进行归一化处理，本实施例中，按照下式对特征值进行归一化处理

其中，f_norm表示归一化处理后得到的特征值,

表示提取的全局特征值，

表示二范数。

对图像的特征提取，包括全局特征提取和局部特征提取，其中，本实施例中，对于图像的全局特征提取是采用全局特征提取网络；对图像的局部特征提取是采用SIFT局部特征提取算法，其中，在对图像的局部特征提取过程中本申请使用了CUDA技术进行特征提取加速，从而提高特征提取的效率，减少特征提取的耗时。

基于提前训练好的全局特征提取网络，提取航拍图像集中所有图像的特征值；通过对获取的航拍图像特征值归一化处理后，得到用于聚类的航拍图像特征值，因此，本申请训练的全局特征提取网络可以解决像素级特征提取网络标注和训练困难的问题，基于SIFT算法对航拍图像的局部特征提取，可以实现对大量图像进行特征提取和匹配，并保证准确度。

在步骤S203中，采用第一聚类算法对特征值进行处理，确定第一图像分区。

本实施例中，采用第一聚类算法对特征值进行处理，确定第一图像分区的步骤，包括步骤S2031~S2033。

在步骤S2031中，确定聚类中心的数量。

本申请实施例中，第一聚类算法是指模糊C均值聚类算法FCM，通过在该聚类算法中输入特征值和聚类中心的数量，可以相应输出每个特征值对应的图像属于各个聚类中心的概率。第一图像分区是通过对特征进行聚类分析后，基于聚类中心的数量，获取的与每个聚类中心强相关的图像的集合。

其中，本申请将无人机拍摄的连续两张图片的重叠度设为r,在本实施例中，计算r的方法为：

响应于获取到N张图像，在该N张图像中随机采样N/10张图像，用于计算该图像与相邻图像的全局特征值的相似度，其中，本实施例中的相似度为余弦相似度，通过点乘的方式对余弦相似度进行计算，基于获取的相似度集合，计算该相似度集合的中位数，将该中位数作为连续两张图片的重叠度。

基于获取的无人机拍摄的连续两张图像的重叠度r，可以确定航拍图像序列重叠数，其中，按照下式确定航拍图像序列重叠数：

其中，n_overlap表示图像序列重叠数，[]表示取整，t表示相似度阈值，r表示航拍图像连续两张图片的重叠度。

该公式表明，在相机采样均匀的理想情况下，每个相机连续拍摄的n_overlap张图片中，序列中心图像与其他任意图像的全局特征值相似度都大于t，本专利中，t=0.3。

基于航拍图像序列重叠数n_overlap，按照下式确定聚类中心的数量：

其中，K表示聚类中心的数量，[]表示取整，N表示航拍图像的数量，n_cam表示多目相机的摄像头数量，n_overlap表示图像序列重叠数。

本实施例中，由于无人机在采集航拍图像时的移动是均匀的，因此采用K-means等硬聚类方法，会使得划分的子区域边界清晰，但是实际上边界区域的数据对相邻子区域都具有一定的影响，因此本专利中采用模糊C均值聚类方法（FCM）对全局特征值进行聚类，聚类的输入为聚类中心的数目k和所有特征值，输出是每个特征值对应的图片属于各个聚类中心的概率。

其中，确定聚类中心的数量的意义在于，在航拍图像均匀采集的条件下，如果软聚类的效果达到理想状态，根据确定的聚类中心数量对航拍图像集进行分析，确定图像分区的数量；通过聚类分析获取的图像分区内每个图像与聚类中心对应的图像的关系均为强相关，反之与其他图像分区内的图像的关系为弱相关。

在步骤S2032中，输入聚类中心的数量和特征值至第一聚类算法，得到特征值对应的航拍图像属于各个聚类中心的概率值，其中，第一聚类算法包括模糊C均值聚类算法。

在步骤S2033中，在特征值对应的航拍图像属于第一聚类中心的概率值大于概率阈值的情况下，确定特征值对应的航拍图像属于第一图像分区。

第一图像分区是指对图像特征值进行聚类分析后，获取的各个聚类中图像的总称。

响应于确定聚类中心的数量K，输入K和航拍图像的特征值到该聚类算法，进行聚类分析后输出每个图像的特征值属于各个聚类中心的概率值，判断得到的概率值与概率阈值t（t=0.3）的关系，若该概率值大于0.3，则说明该特征值强相关于该聚类中心，在同一特征值至少属于两个聚类中心的概率值大于0.3的情况下，比较获得的概率值的大小，该图像的特征值属于聚类中心的概率值越大，说明该图像与该聚类中心的图像的相关性越强，表明该图像与该聚类中心的图像越相似。响应于确定所有图像属于聚类中心对应的图像所在类别，以聚类中心的数量为图像分区的数量，对获取的图像进行分区，将获取的该图像分区的每一个图像分区确定为第一图像分区。

本申请提出了一种基于图像全局特征对航拍图像进行模糊C均值聚类的方法，使用该方法计算的聚类子分区具有互相重叠的特征，且可以根据需要调节重叠度，基于该聚类结果，可以尽可能地产生有重叠区域的相关性大的候选图像对，避免产生相关性小的候选图像对，因而可以提高SIFT特征匹配效率，保证图像的匹配精度。

在步骤S204中，通过对第一图像分区内的图像对进行特征匹配，获取特征匹配结果，其中，根据特征匹配结果可以确定第一图像分区内的图像。

本实施例中，通过对第一图像分区内的图像对进行特征匹配，获取特征匹配结果的步骤，包括步骤S2041~S2044。

在步骤S2041中，对第一图像分区内的图像进行两两配对，得到第一图像对集合。

在步骤S2042中，对第一图像对进行去重处理，得到第二图像对集合。

在步骤S2043中，基于分布式并行对第二图像对集合中的图像进行局部SIFT特征匹配，获取特征匹配点对。

在步骤S2044中，基于对特征匹配点对的整合，获取第二图像对集合中的图像的特征匹配结果。

基于将航拍图像训练集输入第一聚类算法进行聚类分析获取的第一图像分区，对该第一图像分区内的图像穷举式两两配对，例如，需要对获取的3张图像进行穷举式两两配对，设获取的该三张图像分别为A、B、C，可以得到6个图像对AB、AC、BA、BC、CA、CB，遍历第一图像分区的所有类别后，对得到的图像对的集合进行整合，得到第一图像对。

基于获取的第一图像对中存在重复图像对，对该图像对进行去重处理后，得到第二图像对。

基于获取的该第二图像对，采用分布式并行方式对该第二图像对进行SIFT局部特征匹配，根据第二图像对中局部特征的匹配结果，计算该第二图像对的特征匹配点对数量，对得到的图像特征匹配点对的数量进行整合，得到特征匹配点对。

比较特征匹配点对数量与特征匹配点对阈值的大小，保留特征匹配点对数量大于特征匹配点对阈值（本实施例设该阈值为200）的图像对。

在步骤S205中，对第一图像分区内的图像进行重建，确定第一相机位姿。

在本实施例中，通过稀疏重建确定相机位姿的步骤，包括步骤S2051~S205。

在步骤S2051中，响应于获取的特征匹配点对，通过构造对极几何图计算第二图像对集合中各个图像对的相对位姿。

在步骤S2052中，基于相对位姿，通过全局旋转平均计算每张图片对应相机位姿的旋转矩阵。

在步骤S2053中，根据RANSAC方法剔除图像的误匹配点对，通过增量式捆绑调整计算图像对应相机中心的坐标，最终确定第一图像分区的每张图片的第一相机位姿。

响应于获取第二图像对集合中的图像的特征匹配结果，基于各个图像对中的图像构造对极几何图，通过该对极几何图确定图像的相对位姿；根据确定的图像的相对位姿，通过全局旋转平均（Global Rotation Average）来计算出每个相机的旋转矩阵。在求解出相机位姿中的旋转矩阵后，使用RANSAC方法剔除误匹配，再使用增量式捆绑调整迭代得到相机中心的坐标位置，从而确定相机位姿。

其中，稀疏重建方法包括混合式稀疏重建方法和全局式稀疏重建方法。本实施例采用的稀疏重建方法为混合式稀疏重建方法，相比增量式重建，混合式重建的重建时间更短，重建精度相当；相比全局式重建，混合式重建的重建时间更长，但是重建精度优于全局式重建。根据图像的全局特征进行了聚类得到图像子分区并计算出了子分区内的特征匹配结果，由于每个子分区的图像数量不至于太大，采用混合式稀疏重建既可以得到最好的重建结果，耗时也不会非常长，且可以采用并行计算的方式，同时对每个子分区进行重建，因此从整体上看，在子分区内使用混合式稀疏重建的方式是最优的。

在步骤S206中，基于第一图像分区，采用第二聚类算法对第一相机位姿进行迭代处理，确定相机位姿。

在本实施例中，采用第二聚类算法对第一相机位姿进行迭代处理，确定相机位姿步骤，包括步骤S2061~S2063。

在步骤S2061中，采用第二聚类算法对第一图像分区的特征值进行聚类分析，确定第二图像分区，其中，第二聚类算法包括K-means聚类算法；

在步骤S2062中，基于对第二图像分区的第一相机位姿进行处理，确定第二相机位姿；

在步骤S2063中，采用K-Means聚类算法对特征值进行重复迭代，基于对第二图像分区的第一相机位姿进行处理，确定相机位姿。

其中，本实施例中，第二聚类算法为K-means聚类算法，每一次迭代计算时，第二聚类算法的聚类中心的数量确定为

,其中，k表示当前聚类中心的数量。

第二图像分区是指对第一图像分区的聚类中心全局特征值进行第二聚类分析后，获取的各个类别对应的图像分区的总称。

响应于确定的第一图像分区的相机位姿，输入第二聚类算法的聚类中心的数量和第一图像分区的聚类中心全局特征值，将聚为同一类的第一图像分区的图像以及对应相机位姿进行合并，然后采用全局捆绑调整进行参数调优，通过迭代聚类直至K=1时，确定相机位姿。

本申请提出的稀疏重建方法可以提高数据处理的效率，减少数据处理耗时。例如，在单台机器上对一万张2400万像素的图片集进行稀疏重建，耗时仅需15小时，相比传统方法缩短了80%以上。

针对在大规模图像上进行增量式重建或全局式重建的方法难以保障效率和准确率，本申请提出了一种基于混合c均值聚类和k-means聚类的稀疏重建方法，渐进地对每个分区进行稀疏重建和合并，可以有效减少捆绑调整的次数，在保证重建精度的同时提高重建速度。

将获取的航拍图像集输入全局特征提取网络，提取航拍图像全局特征值，通过采用模糊C均值聚类算法对进行归一化处理后的全局特征值进行第一次聚类分析，将重叠度高的图像划分为第一图像分区，可以提高图像局部特征匹配过程中的匹配精度，并且可以提高特征匹配的效率，根据匹配结果对该图像分区内的图像稀疏重建，从而确定第一相机位姿；在第一次聚类分析的基础上，通过采用K-means聚类算法对该第一图像分区的图像对应的特征值进行迭代聚类，将重叠度高的图像划分为第二图像分区、第三图像分区、...、第n图像分区，并对第二图像分区、第三图像分区、...、第n图像分区内的图像进行稀疏重建，从而确定第二相机位姿、第三相机位姿、...、第n相机位姿，基于第n相机位姿确定图像的相机位姿的方法，可以有效减少位姿迭代计算过程中捆绑调整的次数和计算量，提高稀疏重建的效率。

图3是根据本申请实施例的一种三维稀疏重建装置框图，如图3所示，该装置100可以包括提取模块101，第一确定模块102，获取模块103,和第二确定模块104。其中，

提取模块101，用于获取多目相机采集的城市航拍图像，将所述航拍图像输入全局特征提取网络，提取特征值；

第一确定模块102，用于采用第一聚类算法对所述特征值进行处理，确定第一图像分区；

获取模块103，用于通过对第一图像分区内的图像对进行特征匹配，获取特征匹配结果，其中，根据所述特征匹配结果可以确定所述第一图像分区内的图像；

第二确定模块104，用于对所述第一图像分区内的图像进行重建，确定第一相机位姿，并基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿。

可选的，所述提取模块101采用的全局特征提取网络的训练采用无监督学习方法，包括：获取航拍图像训练集，并在所述航拍图像训练集中的任意一张图像上构造n*n个锚点；基于预先设置的长宽比，以所述锚点为中心构造锚框，并将获取的所述锚点和所述锚框合称为锚点框集合；通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定所述锚框的对应图像的样本类型。

可选的，所述提取模块101通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定所述锚框的对应图像的样本类型，包括：若所述锚点框集合中的任意一个锚框与其他锚框的交并比大于交并比阈值，则确定所述锚框的对应图像的样本类型属于正类；若所述锚点框集合中的任意一个锚框与其他锚框的交并比小于交并比阈值，则确定所述锚框的对应图像的样本类型属于负类。

可选的，所述第一确定102模块采用第一聚类算法对所述特征值进行处理，确定第一图像分区，包括：确定聚类中心的数量；输入所述聚类中心的数量和所述特征值至所述第一聚类算法，得到所述特征值对应的航拍图像属于各个聚类中心的概率值，其中，所述第一聚类算法包括模糊C均值聚类算法；在所述特征值对应的航拍图像属于第一聚类中心的概率值大于概率阈值的情况下，确定所述特征值对应的航拍图像属于第一图像分区。

可选的，所述第一确定模块102采用如下方式确定聚类中心的数量，包括按照下式确定航拍图像序列重叠数：

其中，n_overlap表示图像序列重叠数，[]表示取整，t表示相似度阈值，r表示航拍图像连续两张图片的重叠度；

基于所述航拍图像序列重叠数，按照下式确定聚类中心的数量：

其中，K表示聚类中心的数量，[]表示取整，N表示航拍图像的数量，n_cam表示多目相机的摄像头数量，n_overlap表示图像序列重叠数。

可选的，所述获取模块103采用如下方式通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，包括：对所述第一图像分区内的图像进行两两配对，得到第一图像对集合；对所述第一图像对进行去重处理，得到第二图像对集合；基于分布式并行对所述第二图像对集合中的图像进行局部特征匹配，获取特征匹配点对；基于对所述特征匹配点对的整合，获取所述第二图像对集合中的图像的特征匹配结果。

可选的，所述第二确定模块104采用如下方式对所述第一图像分区内的图像进行重建，确定第一相机位姿，包括：响应于获取的所述特征匹配点对，通过构造对极几何图计算所述第二图像对集合中各个图像对的相对位姿；基于所述相对位姿，通过全局旋转平均计算每张图片对应相机位姿的旋转矩阵；根据RANSAC方法剔除图像的误匹配点对，通过增量式捆绑调整计算图像对应相机中心的坐标，最终确定所述第一图像分区内每张图像的第一相机位姿。

可选的，所述第二确定模块104采用如下方式基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿，包括：采用所述第二聚类算法对所述第一图像分区的特征值进行聚类分析，确定第二图像分区，其中，所述第二聚类算法包括K-means聚类算法；基于对所述第二图像分区内的图像进行重建，确定第二相机位姿；采用K-Means聚类算法对所述特征值进行重复迭代，扩大捆绑调整的区域范围，确定相机位姿。

图4是根据本申请实施例的一种电子设备装置的框图。例如，装置400可以被提供为一服务器。参照图4，装置400包括处理组件422，其进一步包括一个或多个处理器，以及由存储器432所代表的存储器资源，用于存储可由处理组件422的执行的指令，例如应用程序。存储器432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件422被配置为执行指令，以执行上述三维稀疏重建方法。

装置400还可以包括一个电源组件426被配置为执行装置400的电源管理，一个有线或无线网络接口450被配置为将装置400连接到网络，和一个输入/输出接口458。装置400可以操作基于存储在存储器432的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本领域技术人员在考虑说明书及实践本申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种三维稀疏重建方法，其特征在于，包括：

获取多目相机采集的城市航拍图像；

将所述航拍图像输入全局特征提取网络，提取特征值；

采用第一聚类算法对所述特征值进行处理，确定第一图像分区；

通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，其中，根据所述特征匹配结果可以确定所述第一图像分区内的图像对集合；

对所述第一图像分区内的图像进行重建，确定第一相机位姿；

基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿。

2.根据权利要求1所述的一种三维稀疏重建方法，其特征在于，

所述全局特征提取网络的训练采用无监督学习方法，包括：

获取航拍图像训练集，并在所述航拍图像训练集中的任意一张图像上构造n*n个锚点；

基于预先设置的长宽比，以所述锚点为中心构造锚框，并将获取的所述锚点和所述锚框合称为锚点框集合；

通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定所述锚框的对应图像的样本类型。

3.根据权利要求2所述的一种三维稀疏重建方法，其特征在于，

所述通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定所述锚框的对应图像的样本类型，包括：

若所述锚点框集合中的任意一个锚框与其他锚框的交并比大于交并比阈值，则确定所述锚框的对应图像的样本类型属于正类；

若所述锚点框集合中的任意一个锚框与其他锚框的交并比小于交并比阈值，则确定所述锚框的对应图像的样本类型属于负类。

4.根据权利要求1所述的一种三维稀疏重建方法，其特征在于，

所述采用第一聚类算法对所述特征值进行处理，确定第一图像分区，包括：

确定聚类中心的数量；

输入所述聚类中心的数量和所述特征值至所述第一聚类算法，得到所述特征值对应的航拍图像属于各个聚类中心的概率值，其中，所述第一聚类算法包括模糊C均值聚类算法；

在所述特征值对应的航拍图像属于第一聚类中心的概率值大于概率阈值的情况下，确定所述特征值对应的航拍图像属于第一图像分区。

5.根据权利要求4所述的一种三维稀疏重建方法，其特征在于，

所述确定聚类中心的数量，包括：

按照下式确定航拍图像序列重叠数：

其中，

表示图像序列重叠数，[]表示取整，t表示相似度阈值，r表示航拍图像连续两张图片的重叠度；

基于所述航拍图像序列重叠数，按照下式确定聚类中心的数量：

其中，K表示聚类中心的数量，[]表示取整，N表示航拍图像的数量，

表示多目相机的摄像头数量，

表示图像序列重叠数。

6.根据权利要求1或4所述的一种三维稀疏重建方法，其特征在于，

所述通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，包括：

对所述第一图像分区内的图像进行两两配对，得到第一图像对集合；

对所述第一图像对进行去重处理，得到第二图像对集合；

基于分布式并行对所述第二图像对集合中的图像进行局部特征匹配，获取特征匹配点对；

基于对所述特征匹配点对的整合，获取所述第二图像对集合中的图像的特征匹配结果。

7.根据权利要求6所述的一种三维稀疏重建方法，其特征在于，

所述对所述第一图像分区内的图像进行重建，确定第一相机位姿，包括：

响应于获取的所述特征匹配点对，通过构造对极几何图计算所述第二图像对集合中各个图像对的相对位姿；

基于所述相对位姿，通过全局旋转平均计算每张图片对应相机位姿的旋转矩阵；

根据RANSAC方法剔除图像的误匹配点对，通过增量式捆绑调整计算图像对应相机中心的坐标，最终确定所述第一图像分区内每张图像的第一相机位姿。

8.根据权利要求1所述的一种三维稀疏重建方法，其特征在于，

所述基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿，包括：

采用所述第二聚类算法对所述第一图像分区的全局特征值进行聚类分析，确定第二图像分区，其中，所述第二聚类算法包括K-means聚类算法；

基于对所述第二图像分区内的图像进行重建，确定第二相机位姿；

采用K-Means聚类算法对全局特征值进行多次聚类，扩大捆绑调整的区域范围，确定相机位姿。

9.一种三维稀疏重建装置，其特征在于，包括：

提取模块，用于获取多目相机采集的城市航拍图像，将所述航拍图像输入全局特征提取网络，提取特征值；

第一确定模块，用于采用第一聚类算法对所述特征值进行处理，确定第一图像分区；

获取模块，用于通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，其中，根据所述特征匹配结果可以确定所述第一图像分区内的图像对集合；

第二确定模块，用于对所述第一图像分区内的图像进行重建，确定第一相机位姿，并基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至8中任一项所述的三维稀疏重建方法。

Images