CN113129422A - 一种三维模型构建方法、装置、存储介质和计算机设备 - Google Patents
一种三维模型构建方法、装置、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN113129422A CN113129422A CN201911399769.4A CN201911399769A CN113129422A CN 113129422 A CN113129422 A CN 113129422A CN 201911399769 A CN201911399769 A CN 201911399769A CN 113129422 A CN113129422 A CN 113129422A
- Authority
- CN
- China
- Prior art keywords
- base station
- point cloud
- camera
- generating
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000010276 construction Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 110
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000013519 translation Methods 0.000 claims abstract description 29
- 238000005520 cutting process Methods 0.000 claims description 39
- 238000005457 optimization Methods 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000010845 search algorithm Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种三维模型构建方法、装置、存储介质和计算机设备。本发明实施例提供的技术方案中，接收无人机发送的多帧基站图像和相应的定位信息；将每帧基站图像的定位信息转换为站心坐标系下的站心坐标；根据站心坐标、获取的目标匹配对和站心坐标，生成绝对旋转矩阵和绝对平移矩阵；根据目标匹配对、预先设定的初始相机内参、预先设定的初始相机外参、绝对旋转矩阵和绝对平移矩阵，生成稀疏点云；根据预先设定的边界阈值对稀疏点云进行裁剪，生成目标点云，进而构建基站三维模型，本发明的技术方案用于移动基站这类中小型、纹理弱的物体的建模，仅需要无人机的经度和纬度，不需要无人机IMU数据，对无人机的要求较低。
Description
【技术领域】
本发明涉及通信技术领域，尤其涉及一种三维模型构建方法、装置、存储介质和计算机设备。
【背景技术】
无人机能快速便捷的获得高清、重叠率高的连续序列图像，近年来，利用无人机拍摄运动图像来恢复场景结构和相机参数的三维重建技术得到快速发展，并取得了巨大成功。但目前，无人机序列图像建模更多的用于城市、景区、三维地貌等大场景的三维重建领域，或是用于古迹遗址、雕塑等不需要测量的物体的三维建模。现有的重建方法不适用于基站这类物体的建模，且现有的基于辅助信息的重建方法中，除了需要无人机的全球定位系统(Global Positioning System，简称：GPS)数据外，还需要无人机的惯性测量单元(Nertial Measurement Unit，简称：IMU)数据，对无人机性能要求较高。
【发明内容】
有鉴于此，本发明实施例提供了一种三维模型构建方法、装置、存储介质和计算机设备，用于移动基站这类中小型、纹理弱的物体的建模，仅需要无人机的经度和纬度，不需要无人机IMU数据，对无人机的要求较低。
一方面，本发明实施例提供了一种三维模型构建方法，所述方法包括：
接收无人机发送的多帧基站图像，每帧基站图像包括定位信息；
将每帧基站图像的定位信息转换为站心坐标系下的站心坐标；
根据获取的目标匹配对、预先设定的初始相机内参、预先设定的初始相机外参和站心坐标，生成稀疏点云，目标匹配对包括从生成的初始匹配对中筛选出的匹配对，初始匹配对包括对每两帧基站图像的特征点进行匹配生成的匹配对；
根据预先设定的边界阈值对稀疏点云进行裁剪，生成目标点云；
将目标点云反投影至多帧基站图像，生成多帧反投影后的基站图像；
根据多帧反投影后的基站图像，构建基站三维模型。
可选地，根据获取的目标匹配对、预先设定的初始相机内参、预先设定的初始相机外参和站心坐标，生成稀疏点云，包括：
根据目标匹配对，生成绝对旋转矩阵；
根据站心坐标，生成绝对平移矩阵；
根据目标匹配对、预先设定的初始相机外参、预先设定的初始相机内参、绝对旋转矩阵和绝对平移矩阵，生成稀疏点云。
可选地，根据多帧反投影后的基站图像，构建基站三维模型，包括：
截取多帧反投影后的基站图像的外接矩形框，外接矩形框包括裁剪区域坐标、裁剪区域的宽度和裁剪区域的高度；
根据裁剪区域坐标和相机优化内参，计算出相机更新内参；
通过多视角立体视觉算法，根据裁剪区域坐标、裁剪区域的宽度、裁剪区域的高度、相机优化外参和相机更新内参，生成三维稠密点云；
对三维稠密点云进行三角网格化，生成网格化图像；
对网格化图像进行纹理映射，构建基站三维模型。
可选地，根据获取的目标匹配对和预先设定的初始相机内参，生成绝对旋转矩阵，包括：
通过随机抽样一致性5点算法，根据目标匹配对，生成本质矩阵；
通过奇异值分解算法将本质矩阵分解为相对旋转矩阵和相对平移矩阵；
根据相对旋转矩阵和相对平移矩阵，计算出初始旋转矩阵；
将初始旋转矩阵转换为站心坐标系下的绝对旋转矩阵。
可选地，根据目标匹配对、预先设定的初始相机外参、预先设定的初始相机内参、绝对旋转矩阵和绝对平移矩阵，生成稀疏点云，包括：
通过线性三角形算法，根据目标匹配对、绝对旋转矩阵和绝对平移矩阵，计算出初始空间坐标矩阵；
通过光束平差法，根据初始空间坐标矩阵、预先设定的初始相机内参和预先设定的初始相机外参，生成相机优化内参和相机优化外参；
根据相机优化内参和相机优化外参，生成稀疏点云。
可选地，在根据获取的目标匹配对、预先设定的初始相机内参、预先设定的初始相机外参和站心坐标，生成稀疏点云之前，还包括：
提取每帧基站图像的尺度不变特征变换特征点和对应的特征向量；
通过近似最近邻搜索算法，根据指定数量的基站图像的特征向量，生成初始匹配对；
通过随机抽样一致性8点算法，从初始匹配对中筛选出目标匹配对。
可选地，在通过随机抽样一致性8点算法，从初始匹配对中筛选出目标匹配对之后，还包括：
将目标匹配对进行连接，生成多条特征点轨迹；
将多条特征点轨迹两两相连，生成多帧基站图像之间的外极几何图，外极几何图中的每一条边代表两帧基站图像之间的外级几何关系。
另一方面，本发明实施例提供了一种三维模型构建装置，包括：
接收单元，用于接收无人机发送的多帧基站图像，每帧基站图像包括定位信息；
转换单元，用于将每帧基站图像的定位信息转换为站心坐标系下的站心坐标；
第一生成单元，用于根据获取的目标匹配对、预先设定的初始相机内参、预先设定的初始相机外参和站心坐标，生成稀疏点云，目标匹配对包括从生成的初始匹配对中筛选出的匹配对，初始匹配对包括对每两帧基站图像的特征点进行匹配生成的匹配对；
第二生成单元，用于根据预先设定的边界阈值对稀疏点云进行裁剪，生成目标点云；
第三生成单元，用于将目标点云反投影至多帧基站图像，生成多帧反投影后的基站图像；
构建单元，用于根据多帧反投影后的基站图像，构建基站三维模型。
另一方面，本发明实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述三维模型构建方法。
另一方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现上述三维模型构建方法。
本发明实施例的方案中，接收无人机发送的多帧基站图像，每帧基站图像包括定位信息；将每帧基站图像的定位信息转换为站心坐标系下的站心坐标；根据获取的目标匹配对、站心坐标、预先设定的初始相机外参和预先设定的初始相机内参，生成稀疏点云；根据预先设定的边界阈值对稀疏点云进行裁剪，生成目标点云；将目标点云反投影至多帧基站图像，生成多帧反投影后的基站图像；根据多帧反投影后的基站图像，构建基站三维模型，本发明的技术方案用于移动基站这类中小型、纹理弱的物体的建模，仅需要无人机的经度和纬度，不需要无人机IMU数据，对无人机的要求较低。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种三维模型构建方法的流程图；
图2为本发明实施例提供的又一种三维模型构建方法的流程图；
图3为本发明实施例提供的一种外极几何图；
图4为本发明实施例提供的一种外极几何约束图；
图5为本发明实施例提供的一种三维模型构建装置的结构示意图；
图6为本发明实施例提供的一种计算机设备的示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述设定阈值，但这些设定阈值不应限于这些术语。这些术语仅用来将设定阈值彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一设定阈值也可以被称为第二设定阈值，类似地，第二设定阈值也可以被称为第一设定阈值。
图1为本发明实施例提供的一种三维模型构建方法的流程图，如图1所示，该方法包括：
步骤102、接收无人机发送的多帧基站图像，每帧基站图像包括定位信息。
步骤104、将每帧基站图像的定位信息转换为站心坐标系下的站心坐标。
步骤106、根据获取的目标匹配对、预先设定的初始相机内参、预先设定的初始相机外参和站心坐标，生成稀疏点云，目标匹配对包括从生成的初始匹配对中筛选出的匹配对，初始匹配对包括对每两帧基站图像的特征点进行匹配生成的匹配对。
步骤108、根据预先设定的边界阈值对稀疏点云进行裁剪，生成目标点云。
步骤110、将目标点云反投影至多帧基站图像，生成多帧反投影后的基站图像。
步骤112、根据多帧反投影后的基站图像，构建基站三维模型。
本发明实施例提供的技术方案中，接收无人机发送的多帧基站图像，每帧基站图像包括定位信息；将每帧基站图像的定位信息转换为站心坐标系下的站心坐标；根据获取的目标匹配对、站心坐标、预先设定的初始相机外参和预先设定的初始相机内参，生成稀疏点云；根据预先设定的边界阈值对稀疏点云进行裁剪，生成目标点云；将目标点云反投影至多帧基站图像，生成多帧反投影后的基站图像；根据多帧反投影后的基站图像，构建基站三维模型，本发明的技术方案用于移动基站这类中小型、纹理弱的物体的建模，仅需要无人机的经度和纬度，不需要无人机IMU数据，对无人机的要求较低。
图2为本发明实施例提供的又一种三维模型构建方法的流程图，如图2所示，该方法包括：
步骤202、接收无人机发送的多帧基站图像，每帧基站图像包括定位信息。
可选地，定位信息为全球定位系统(Global Positioning System，简称：GPS)信息。
本实施例中，无人机上固定有拍摄相机，拍摄相机与无人机存在一固定角度，通过无人机以固定的环绕半径和均匀的飞行速度环绕飞行基站一圈，以预设时间间隔均匀拍摄多帧基站图像。可选地，固定角度为40度，环绕半径为5米，预设时间间隔为1秒，飞行速度为2千米/小时。
本实施例中，每帧基站图像中基站主体占比大于或等于一帧图像的三分之一。
本实施例中，每帧基站图像的定位信息包括经度、纬度、像素分辨率、焦距、和高度。
步骤204、根据基站图像的定位信息，计算出观测中心点。
作为一种可选方式，计算多帧基站图像的经度的平均值，得出经度平均值；计算多帧基站图像的纬度的平均值，得出纬度平均值；根据经度平均值和纬度平均值，确定观测中心点的位置。
步骤206、以观测中心点为原点，建立站心坐标系。
本实施例中，站心坐标系的三个坐标轴分别指向相互垂直的东向、北向和天向，又称为东北天(ENU)坐标系，它的三个分量比地心地固直角坐标系的X、Y和Z三个分量更具有物理意义
步骤208、将基站图像的定位信息转换为站心坐标系下的站心坐标。
具体地，通过以下公式(1)至公式(6)，将基站图像的经度和纬度转换为站心坐标系下的站心坐标：
其中，X、Y、Z为基站图像在地心地固直角坐标系(Earth-Centered，Earth-Fixed，简称：ECEF)坐标系下的坐标值，B为经度，L为纬度，H为高度，N为基站图像的卯酉圈曲率半径，a为地球的长轴，b为地球的短轴，e为地球第一偏心率，Xp,Yp,Zp为观测中心点P的ECEF，Δx，Δy，Δz为观测中心点P与基站图像的坐标差值，Δe，Δn，Δu为站心坐标系下的站心坐标。
步骤210、提取每帧基站图像的尺度不变特征变换特征点和对应的特征向量。
本实施例中，提取基站图像尺度不变特征变换(sift)特征点和对应的特征向量，具有尺度不变性和旋转不变性，鲁棒性强，速度较快。
步骤212、通过近似最近邻搜索算法，根据指定数量的基站图像的特征向量，生成初始匹配对。
由于基站主体比较小，无人机环绕拍照时，旋转较小的位移，也会引起基站天线的较大变化，而此时背景的重叠率较高，若对所有基站图像进行匹配搜寻，对后面距离较远的基站图像的大部分匹配对都会集中在背景部分，而基站天线部分基本没有匹配对，使得建模资源更多的浪费到背景上。由于无人机环绕拍照过程中，环绕半径以及无人机与拍摄相机的角度保持不变，只通过观测中心点便可找到重叠率较高的图像。
本步骤中，步骤212具体包括：
步骤212a、计算多帧基站图像中与观测中心点的之间的距离。
步骤212b、选取距离最小的预设帧数的基站图像，可选地，预设帧数为10帧。
步骤212c、通过近似最近邻搜索(Approximate Nearest Neighbor，简称：ANN)，输入sift特征点对应的特征向量和与观测中心点的之间的距离，输出初始匹配对。
具体地，根据sift特征点对应的特征向量和与观测中心点的之间的距离建立K维(K-demension，简称KD)树，通过ANN算法找到sift特征点对应的特征向量距离最近的匹配对，设第一距离为d1；通过ANN算法找到sift特征点对应的特征向量距离第二近的匹配对，设第二距离为d2；计算第一距离d1与第二距离d2的比值；若比值小于预先设置的比值阈值，则认为匹配成功，输出该匹配对。可选地，预先设置的比值阈值为0.6。
本实施例中，初始匹配对包括对每两帧基站图像的特征点进行匹配生成的匹配对。
步骤214、通过随机抽样一致性(RANSAC)8点算法，从初始匹配对中筛选出目标匹配对。
本实施例中，目标匹配对包括从生成的初始匹配对中筛选出的匹配对。
具体地，将初始匹配对输入RANSAC 8点算法，输出最佳基础矩阵F。RANSAC 8点算法目的是找到最优的基础矩阵使得满足该矩阵的点数最多，剔除误匹配对。
进一步地，将目标匹配对进行连接，生成多条特征点轨迹；将多条特征点轨迹两两相连，生成多帧基站图像之间的外极几何图。图3为本发明实施例提供的一种外极几何图，如图3所示：外极几何图中每个点标识一帧基站图像，每一条边代表两帧基站图像之间的外极几何关系Eij。例如：E14代表第一帧基站图像与第四帧基站图像之间的外级几何关系。
步骤216、通过RANSAC 5点算法，根据目标匹配对，生成本质矩阵。
具体地，将目标匹配对(xi，xj)输入RANSAC 5点算法，输出本质矩阵Eij。
本实施例中，图4为本发明实施例提供的一种外极几何约束图，如图4所示：某一点Q在基站图像i的投影位置为xi，某一点在基站图像j的投影位置的投影位置为xj。对于目标匹配对(xi，xj)，应满足以下公式(6)和公式(7)。
(K0 -1xi)TEij(K0 -1xj)＝0 公式(6)
xi TFxj＝0 公式(7)
其中，K0为预先设定的初始相机内参，xi为点在基站图像i的投影位置，xj为点在基站图像j的投影位置，(xi，xj)为目标匹配对，Eij为本质矩阵，F为最佳基础矩阵。
本实施例中，相机内参是由焦距、主点位置坐标和畸变系数构成的内参矩阵。
步骤218、通过奇异值分解(Singular Value Decomposition，简称：SVD)算法将本质矩阵分解为相对旋转矩阵和相对平移矩阵。
具体地，将本质矩阵输入SVD算法，输出相对旋转矩阵Rij和相对平移矩阵Tij。
步骤220、根据相对旋转矩阵和相对平移矩阵，计算出初始旋转矩阵。
具体地，按照以下公式(8)，根据相对旋转矩阵和相对平移矩阵，联立计算出初始旋转矩阵。
Rj＝RijRi，min||Rj-RijRi|| 公式(8)
其中，Rj为xj对应的基站图像j的初始旋转矩阵，Ri为xi对应的基站图像i的绝对旋转矩阵，Rij为相对旋转矩阵。
本实施例中，定义目标函数为左右两边差范数的最小化值：min||Rj-RijRi||。
本实施例中，初始旋转矩阵位于独立坐标系下。
步骤222、根据站心坐标，生成绝对平移矩阵。
本实施例中，将每帧基站图像的站心坐标作为绝对平移矩阵中的一个点。
步骤224、将初始旋转矩阵转换为站心坐标系下的绝对旋转矩阵。
本实施例中，步骤224具体包括：
步骤224a、根据基站图像的站心坐标和基站图像在独立坐标系下的坐标，计算出从独立坐标系转换到站心坐标系的旋转矩阵。
Ci＝λRtti+Tt 公式(9)
Cj＝λRttj+Tt 公式(10)
其中，Ci为基站图像i的站心坐标，Rt为从独立坐标系转换到站心坐标系的旋转矩阵，ti为基站图像i在独立坐标系下的坐标，Tt为绝对平移矩阵，λ为尺度因子，Cj为基站图像j的站心坐标，tj为基站图像j在独立坐标系下的坐标。
将公式(9)与公式(10)相减，得到以下公式(11)：
Ci-Cj＝λRt(ti-tj) 公式(11)
对公式(11)左右两边进行归一化处理，以消除尺度因子，得到以下公式(12)：
令
得到以下公式(13)：
其中，Rj为xj对应的基站图像j的初始旋转矩阵，Tij为相对平移矩阵。
具体地，将所有匹配对代入公式(13)，联立得到匹配对方程组，匹配对方程组中包括匹配对矩阵；将匹配对矩阵输入SVD算法，输出从独立坐标系转换到站心坐标系的旋转矩阵。
步骤224b、将初始旋转矩阵与从独立坐标系转换到站心坐标系的旋转矩阵相乘，得到绝对旋转矩阵。
本实施例中，绝对旋转矩阵位于站心坐标系下。
步骤226、通过线性三角形算法，根据目标匹配对、绝对旋转矩阵和绝对平移矩阵，计算出初始空间坐标矩阵。
具体地，将目标匹配对、绝对旋转矩阵和绝对平移矩阵输入线性三角形算法，输出初始空间坐标矩阵。
步骤228、通过光束平差法，根据初始空间坐标矩阵、预先设定的相机内参和预先设定的相机外参，生成相机优化内参和相机优化外参。
具体地，按照以下公式(14)，根据初始空间坐标矩阵、预先设定的初始相机内参和预先设定的初始相机外参，联立计算出相机优化内参、相机优化外参。
P＝K1[R1|T1]，
其中，P为初始空间坐标矩阵、K1为相机优化内参，R1|T1为相机优化外参，m为特征点轨迹，n为基站图像的帧数，Xj为的坐标，xij sift特征点j在基站图像i中的投影位置，Pi为基站图像i的投影矩阵，ρij sift特征点j在基站图像i中是否可见。ρij表示sift特征点j是否被相机拍摄到，当sift特征点j被相机拍摄到时，ρij取1；当sift特征点j未被相机拍摄到时，ρij取0。
本实施例中，理想情况下，某一点经过初始空间坐标矩阵在基站图像i中有一个投影位置，该投影位置的坐标与该点在图像中的特征点的实际位置的坐标相等，但实际上，该投影位置的坐标与该点在图像中的特征点的实际位置的坐标存在偏差，偏差越小，得到的相机优化内参和相机优化外参越准确，定义光束平差目标函数为误差范数的最小化值：
进一步地，根据相机优化内参和相机优化外参，生成稀疏点云。
本实施例中，稀疏点云是站心坐标系下的稀疏点云。
步骤230、根据预先设定的边界阈值对稀疏点云进行裁剪，生成目标点云。
具体地，以基站为中心，以预先设定的边界阈值为边长，自动截取稀疏点云在站心坐标系下x轴方向和y轴方向下的正方形，该正方形与z轴方向形成长方体。去除长方体以外的点云部分，仅保留长方体区域的点云，该长方体区域的点云为目标点云。可选地，预先设定的边界阈值为40米。
本实施例中，仅保留长方体区域的点云用于后续构建三维模型，将不需要的背景信息滤除，缩短建模时间，提升建模效率，改善对基站主体部分的建模效果。
步骤232、将目标点云反投影至多帧基站图像，生成多帧反投影后的基站图像。
步骤234、截取多帧反投影后的基站图像的外接矩形框，外接矩形框包括裁剪区域坐标、裁剪区域的宽度和裁剪区域的高度。
步骤236、根据裁剪区域坐标和相机优化内参，计算出相机更新内参。
具体地，按照以下公式(15)，根据裁剪区域坐标和相机优化内参，计算出相机更新内参。
u′0＝u0-x
v′0＝v0-y 公式(15)
其中，(u0，v0)为相机优化内参(即K1)，(u′0，v′0)为相机更新内参，(x，y)为裁剪区域坐标。
本实施例中，由于对稀疏点云进行裁剪生成目标点云，因此目标点云的主点位置坐标会发生变化，需要重新计算以更新相机内参，相机外参保持不变。
步骤238、通过多视角立体视觉(Multiple View Stereo，简称：MVS)算法，根据裁剪区域坐标、裁剪区域的宽度、裁剪区域的高度、相机优化外参和相机更新内参，生成三维稠密点云。
具体地，将裁剪区域坐标、裁剪区域的宽度、裁剪区域的高度、相机优化外参和相机更新内参输入MVS算法，输出三维稠密点云。
本实施例中，通过MVS算法对裁剪区域坐标、裁剪区域的宽度、裁剪区域的高度、相机优化外参和相机更新内参进行稠密匹配、深度估计和深度图融合，得到三维稠密点云。
步骤240、对三维稠密点云进行三角网格化，生成网格化图像。
步骤242、对网格化图像进行纹理映射，构建基站三维模型。
本实施例中，先建立站心坐标系，再通过光束平差法优化相机内参和相机外参，即使定位信息不够准确，通过光束平差法也可以对不够准确的定位信息进行优化。即：即使获得低精度的定位信息，最后也可以生成高精度的基站三维模型。
本发明实施例提供的三维模型构建方法的技术方案中，接收无人机发送的多帧基站图像，每帧基站图像包括定位信息；将每帧基站图像的定位信息转换为站心坐标系下的站心坐标；根据获取的目标匹配对、站心坐标、预先设定的初始相机外参和预先设定的初始相机内参，生成稀疏点云；根据预先设定的边界阈值对稀疏点云进行裁剪，生成目标点云；将目标点云反投影至多帧基站图像，生成多帧反投影后的基站图像；根据多帧反投影后的基站图像，构建基站三维模型，本发明的技术方案用于移动基站这类中小型、纹理弱的物体的建模，仅需要无人机的经度和纬度，不需要无人机I MU数据，对无人机的要求较低。
图5为本发明实施例提供的一种三维模型构建装置的结构示意图，该装置用于执行上述三维模型构建方法，如图5所示，该装置包括：接收单元11、转换单元12、第一生成单元13、第二生成单元14、第三生成单元15和构建单元16。
接收单元11用于接收无人机发送的多帧基站图像，每帧基站图像包括定位信息；
转换单元12用于将每帧基站图像的定位信息转换为站心坐标系下的站心坐标；
第一生成单元13用于根据获取的目标匹配对、预先设定的初始相机内参、预先设定的初始相机外参和站心坐标，生成稀疏点云，目标匹配对包括从生成的初始匹配对中筛选出的匹配对，初始匹配对包括对每两帧基站图像的特征点进行匹配生成的匹配对；
第二生成单元14用于根据预先设定的边界阈值对稀疏点云进行裁剪，生成目标点云；
第三生成单元15用于将目标点云反投影至多帧基站图像，生成多帧反投影后的基站图像；
构建单元16用于根据多帧反投影后的基站图像，构建基站三维模型。
本发明实施例中，构建单元16具体用于截取多帧反投影后的基站图像的外接矩形框，外接矩形框包括裁剪区域坐标、裁剪区域的宽度和裁剪区域的高度；根据裁剪区域坐标和相机优化内参，计算出相机更新内参；通过多视角立体视觉算法，根据裁剪区域坐标、裁剪区域的宽度、裁剪区域的高度、相机优化外参和相机更新内参，生成三维稠密点云；对三维稠密点云进行三角网格化，生成网格化图像；对网格化图像进行纹理映射，构建基站三维模型。
本发明实施例中，第一生成单元13具体用于根据目标匹配对，生成绝对旋转矩阵；根据站心坐标，生成绝对平移矩阵；根据目标匹配对、预先设定的初始相机内参、预先设定的初始相机外参、绝对旋转矩阵和绝对平移矩阵，生成稀疏点云。
本发明实施例中，第一生成单元13具体还用于通过随机抽样一致性5点算法，根据目标匹配对，生成本质矩阵；通过奇异值分解算法将本质矩阵分解为相对旋转矩阵和相对平移矩阵；根据相对旋转矩阵和相对平移矩阵，计算出初始旋转矩阵；将初始旋转矩阵转换为站心坐标系下的绝对旋转矩阵。
本发明实施例中，第一生成单元13具体还用于通过线性三角形算法，根据目标匹配对、绝对旋转矩阵和绝对平移矩阵，计算出初始空间坐标矩阵；通过光束平差法，根据初始空间坐标矩阵、预先设定的初始相机内参和预先设定的初始相机外参，生成相机优化内参和相机优化外参；根据相机优化内参和相机优化外参，生成稀疏点云。
本发明实施例中，还包括：提取单元17、第四生成单元18和筛选单元19。
提取单元17用于提取每帧基站图像的尺度不变特征变换特征点和对应的特征向量。
第四生成单元18用于通过近似最近邻搜索算法，根据指定数量的基站图像的特征向量，生成初始匹配对。
筛选单元19用于通过随机抽样一致性8点算法，从初始匹配对中筛选出目标匹配对。
本发明实施例中，还包括：第五生成单元20和第六生成单元21。
第五生成单元20用于将目标匹配对进行连接，生成多条特征点轨迹。
第六生成单元21用于将多条特征点轨迹两两相连，生成多帧基站图像之间的外极几何图，外极几何图中的每一条边代表两帧基站图像之间的外级几何关系。
本发明实施例的方案中，接收无人机发送的多帧基站图像，每帧基站图像包括定位信息；将每帧基站图像的定位信息转换为站心坐标系下的站心坐标；根据获取的目标匹配对、站心坐标、预先设定的初始相机外参和预先设定的初始相机内参，生成稀疏点云；根据预先设定的边界阈值对稀疏点云进行裁剪，生成目标点云；将目标点云反投影至多帧基站图像，生成多帧反投影后的基站图像；根据多帧反投影后的基站图像，构建基站三维模型，本发明的技术方案用于移动基站这类中小型、纹理弱的物体的建模，仅需要无人机的经度和纬度，不需要无人机IMU数据，对无人机的要求较低。
本发明实施例提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述三维模型构建方法的实施例的各步骤，具体描述可参见上述三维模型构建方法的实施例。
本发明实施例提供了一种计算机设备，包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现上述三维模型构建方法的实施例的各步骤，具体描述可参见上述三维模型构建方法的实施例。
图6为本发明实施例提供的一种计算机设备的示意图。如图6所示，该实施例的计算机设备30包括：处理器31、存储器32以及存储在存储32中并可在处理器31上运行的计算机程序33，该计算机程序33被处理器31执行时实现实施例中的应用于数据处理方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器31执行时实现实施例中应用于三维模型构建装置中各模型/单元的功能，为避免重复，此处不一一赘述。
计算机设备30包括，但不仅限于，处理器31、存储器32。本领域技术人员可以理解，图6仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器31可以是中央处理单元(Central Proceing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital ignal Proceor，DP)、专用集成电路(Application pecific Integrated Circuit，AIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器32可以是计算机设备30的内部存储单元，例如计算机设备30的硬盘或内存。存储器32也可以是计算机设备30的外部存储设备，例如计算机设备30上配备的插接式硬盘，智能存储卡(mart Media Card,MC)，安全数字(ecure Digital,D)卡，闪存卡(FlahCard)等。进一步地，存储器32还可以既包括计算机设备30的内部存储单元也包括外部存储设备。存储器32用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器32还可以用于暂时地存储已经输出或者将要输出的数据。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种三维模型构建方法，其特征在于，所述方法包括：
接收无人机发送的多帧基站图像，每帧所述基站图像包括定位信息；
将每帧所述基站图像的定位信息转换为站心坐标系下的站心坐标；
根据获取的目标匹配对、预先设定的初始相机内参、预先设定的初始相机外参和所述站心坐标，生成稀疏点云，所述目标匹配对包括从生成的初始匹配对中筛选出的匹配对，所述初始匹配对包括对每两帧基站图像的特征点进行匹配生成的匹配对；
根据预先设定的边界阈值对所述稀疏点云进行裁剪，生成目标点云；
将所述目标点云反投影至多帧基站图像，生成多帧反投影后的基站图像；
根据所述多帧反投影后的基站图像，构建基站三维模型。
2.根据权利要求1所述的三维模型构建方法，其特征在于，所述根据获取的目标匹配对、预先设定的初始相机内参、预先设定的初始相机外参和所述站心坐标，生成稀疏点云，包括：
根据所述目标匹配对，生成绝对旋转矩阵；
根据所述站心坐标，生成绝对平移矩阵；
根据所述目标匹配对、所述预先设定的初始相机内参、所述预先设定的初始相机外参、所述绝对旋转矩阵和所述绝对平移矩阵，生成所述稀疏点云。
3.根据权利要求1或2所述的三维模型构建方法，其特征在于，所述根据所述多帧反投影后的基站图像，构建基站三维模型，包括：
截取所述多帧反投影后的基站图像的外接矩形框，所述外接矩形框包括裁剪区域坐标、裁剪区域的宽度和裁剪区域的高度；
根据所述裁剪区域坐标和相机优化内参，计算出相机更新内参；
通过多视角立体视觉算法，根据所述裁剪区域坐标、所述裁剪区域的宽度、所述裁剪区域的高度、相机优化外参和所述相机更新内参，生成三维稠密点云；
对所述三维稠密点云进行三角网格化，生成网格化图像；
对所述网格化图像进行纹理映射，构建基站三维模型。
4.根据权利要求2所述的三维模型构建方法，其特征在于，所述根据所述目标匹配对，生成绝对旋转矩阵，包括：
通过随机抽样一致性5点算法，根据所述目标匹配对，生成本质矩阵；
通过奇异值分解算法将所述本质矩阵分解为相对旋转矩阵和相对平移矩阵；
根据所述相对旋转矩阵和所述相对平移矩阵，计算出初始旋转矩阵；
将所述初始旋转矩阵转换为站心坐标系下的绝对旋转矩阵。
5.根据权利要求2所述的三维模型构建方法，其特征在于，所述根据所述目标匹配对、所述预先设定的初始相机内参、所述预先设定的初始相机外参、所述绝对旋转矩阵和所述绝对平移矩阵，生成稀疏点云，包括：
通过线性三角形算法，根据所述目标匹配对、所述绝对旋转矩阵和所述绝对平移矩阵，计算出初始空间坐标矩阵；
通过光束平差法，根据所述初始空间坐标矩阵、所述预先设定的初始相机内参和所述预先设定的初始相机外参，生成相机优化内参和相机优化外参；
根据所述相机优化内参和所述相机优化外参，生成稀疏点云。
6.根据权利要求1或2或4或5所述的三维模型构建方法，其特征在于，在所述根据获取的目标匹配对、预先设定的初始相机内参、预先设定的初始相机外参和所述站心坐标，生成稀疏点云之前，还包括：
提取每帧基站图像的尺度不变特征变换特征点和对应的特征向量；
通过近似最近邻搜索算法，根据指定数量的基站图像的特征向量，生成初始匹配对；
通过随机抽样一致性8点算法，从所述初始匹配对中筛选出所述目标匹配对。
7.根据权利要求6所述的三维模型构建方法，其特征在于，在所述通过随机抽样一致性8点算法，从所述初始匹配对中筛选出所述目标匹配对之后，还包括：
将所述目标匹配对进行连接，生成多条特征点轨迹；
将所述多条特征点轨迹两两相连，生成多帧基站图像之间的外极几何图，所述外极几何图中的每一条边代表两帧基站图像之间的外级几何关系。
8.一种三维模型构建装置，其特征在于，所述装置包括：
接收单元，用于接收无人机发送的多帧基站图像，每帧所述基站图像包括定位信息；
转换单元，用于将每帧所述基站图像的定位信息转换为站心坐标系下的站心坐标；
第一生成单元，用于根据获取的目标匹配对、预先设定的初始相机内参、预先设定的初始相机外参和所述站心坐标，生成稀疏点云，所述目标匹配对包括从生成的初始匹配对中筛选出的匹配对，所述初始匹配对包括对每两帧基站图像的特征点进行匹配生成的匹配对；
第二生成单元，用于根据预先设定的边界阈值对稀疏点云进行裁剪，生成目标点云；
第三生成单元，用于将所述目标点云反投影至多帧基站图像，生成多帧反投影后的基站图像；
构建单元，用于根据所述多帧反投影后的基站图像，构建基站三维模型。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的三维模型构建方法。
10.一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现权利要求1至7任意一项所述的三维模型构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911399769.4A CN113129422A (zh) | 2019-12-30 | 2019-12-30 | 一种三维模型构建方法、装置、存储介质和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911399769.4A CN113129422A (zh) | 2019-12-30 | 2019-12-30 | 一种三维模型构建方法、装置、存储介质和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113129422A true CN113129422A (zh) | 2021-07-16 |
Family
ID=76768175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911399769.4A Pending CN113129422A (zh) | 2019-12-30 | 2019-12-30 | 一种三维模型构建方法、装置、存储介质和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113129422A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113920274A (zh) * | 2021-09-30 | 2022-01-11 | 广州极飞科技股份有限公司 | 场景点云处理方法及装置、无人机、遥测终端和存储介质 |
| CN117218244A (zh) * | 2023-11-07 | 2023-12-12 | 武汉博润通文化科技股份有限公司 | 一种基于图像识别的3d动画模型智能生成方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130162822A1 (en) * | 2011-12-27 | 2013-06-27 | Hon Hai Precision Industry Co., Ltd. | Computing device and method for controlling unmanned aerial vehicle to capture images |
| CN105513119A (zh) * | 2015-12-10 | 2016-04-20 | 北京恒华伟业科技股份有限公司 | 一种基于无人机的路桥三维重建方法及装置 |
| CN108701373A (zh) * | 2017-11-07 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 基于无人机航拍的三维重建方法、系统及装置 |
| CN109584355A (zh) * | 2018-11-07 | 2019-04-05 | 南京邮电大学 | 基于手机gpu的三维模型快速重建方法 |
-
2019
- 2019-12-30 CN CN201911399769.4A patent/CN113129422A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130162822A1 (en) * | 2011-12-27 | 2013-06-27 | Hon Hai Precision Industry Co., Ltd. | Computing device and method for controlling unmanned aerial vehicle to capture images |
| CN105513119A (zh) * | 2015-12-10 | 2016-04-20 | 北京恒华伟业科技股份有限公司 | 一种基于无人机的路桥三维重建方法及装置 |
| CN108701373A (zh) * | 2017-11-07 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 基于无人机航拍的三维重建方法、系统及装置 |
| CN109584355A (zh) * | 2018-11-07 | 2019-04-05 | 南京邮电大学 | 基于手机gpu的三维模型快速重建方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113920274A (zh) * | 2021-09-30 | 2022-01-11 | 广州极飞科技股份有限公司 | 场景点云处理方法及装置、无人机、遥测终端和存储介质 |
| CN117218244A (zh) * | 2023-11-07 | 2023-12-12 | 武汉博润通文化科技股份有限公司 | 一种基于图像识别的3d动画模型智能生成方法 |
| CN117218244B (zh) * | 2023-11-07 | 2024-02-13 | 武汉博润通文化科技股份有限公司 | 一种基于图像识别的3d动画模型智能生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210141378A1 (en) | Imaging method and device, and unmanned aerial vehicle | |
| CN112085844B (zh) | 面向野外未知环境的无人机影像快速三维重建方法 | |
| US8437501B1 (en) | Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases | |
| JP4685313B2 (ja) | 任意の局面の受動的な体積画像の処理方法 | |
| CN106780729A (zh) | 一种无人机序列影像批处理三维重建方法 | |
| CN111141264B (zh) | 一种基于无人机的城市三维测绘方法和系统 | |
| US8463024B1 (en) | Combining narrow-baseline and wide-baseline stereo for three-dimensional modeling | |
| CN113048980B (zh) | 位姿优化方法、装置、电子设备及存储介质 | |
| CN111829532B (zh) | 一种飞行器重定位系统和重定位方法 | |
| CN114565863B (zh) | 无人机图像的正射影像实时生成方法、装置、介质及设备 | |
| AliAkbarpour et al. | Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies | |
| Bybee et al. | Method for 3-D scene reconstruction using fused LiDAR and imagery from a texel camera | |
| CN108876828A (zh) | 一种无人机图像批处理三维重建方法 | |
| CN108776991A (zh) | 三维建模方法、装置、存储介质和计算机设备 | |
| US8509522B2 (en) | Camera translation using rotation from device | |
| Wendel et al. | Automatic alignment of 3D reconstructions using a digital surface model | |
| CN115423863B (zh) | 相机位姿估计方法、装置及计算机可读存储介质 | |
| CN113129422A (zh) | 一种三维模型构建方法、装置、存储介质和计算机设备 | |
| KR102225321B1 (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
| CN116206050A (zh) | 三维重建方法、电子设备和计算机可读存储介质 | |
| CN114387532A (zh) | 边界的识别方法及其装置、终端、电子设备和无人设备 | |
| CN113610952A (zh) | 一种三维场景重建方法、装置、电子设备和存储介质 | |
| US11776148B1 (en) | Multi-view height estimation from satellite images | |
| CN117197361B (zh) | 实景三维数据库构建方法、电子设备和计算机可读介质 | |
| WO2024083010A9 (zh) | 一种视觉定位方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |