Nothing Special   »   [go: up one dir, main page]

CN112434709A - 基于无人机实时稠密三维点云和dsm的航测方法及系统 - Google Patents

基于无人机实时稠密三维点云和dsm的航测方法及系统 Download PDF

Info

Publication number
CN112434709A
CN112434709A CN202011311288.6A CN202011311288A CN112434709A CN 112434709 A CN112434709 A CN 112434709A CN 202011311288 A CN202011311288 A CN 202011311288A CN 112434709 A CN112434709 A CN 112434709A
Authority
CN
China
Prior art keywords
model
dsm
depth
point cloud
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011311288.6A
Other languages
English (en)
Other versions
CN112434709B (zh
Inventor
赵勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Vision Intelligent Technology Co ltd
Original Assignee
Xi'an Vision Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Vision Intelligent Technology Co ltd filed Critical Xi'an Vision Intelligent Technology Co ltd
Priority to CN202011311288.6A priority Critical patent/CN112434709B/zh
Publication of CN112434709A publication Critical patent/CN112434709A/zh
Application granted granted Critical
Publication of CN112434709B publication Critical patent/CN112434709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明提供基于无人机实时稠密三维点云和DSM的航测方法及系统，方法包括获取无人机飞行过程中相机拍摄得到的原始图像，利用SLAM技术估计该原始图像的相机位姿；对该相机位姿进行优化得到最优位姿；利用最优位姿对连续两帧原始图像进行稠密化，得到深度图；过滤深度图，得到三维点云；利用三维点云生成DOM模型、DEM模型和DSM模型；对DOM模型、DEM模型和DSM模型进行多频段融合，得到全局DEM模型、全局DOM模型和全局DSM模型；根据全局DSM模型生成飞行地图，该方法能够快速地从无人机航拍图像中生成产生稠密三维点云、数字正射影像图和数字地表模型，使得无人机飞行时，边飞行边生成飞行地图。

Description

基于无人机实时稠密三维点云和DSM的航测方法及系统
技术领域
本发明属于计算机图像处理、计算机视觉与遥感测绘技术领域，具体涉及基于无人机实时稠密三维点云和DSM的航测方法及系统。
背景技术
传统航测方法大多是基于SfM技术的重建，无法实现边飞边出地图。这是因为基于SfM(Structure from Motion)的三维模型生成过程中，需要提前准备好所有图像，并且对电脑计算能力要求较高。该方法能够从众多图片中生成拍摄照片的相机位姿以及三维点云，并利用三维点云进行融合，最后产生稠密三维点云、数字正射影像图(DOM)和数字地表模型(DSM),但是现有的技术通常较慢，比如专利CN108765298A。
如果采用基于SLAM的三维模型重建方法，输入无人机拍摄的时序图片，使用前后帧进行特征点提取和匹配，实时估计前后帧的相对位姿，并基于位姿对前后帧进行双目矫正，使其两帧间对应的像素在同一行上，加快逐像素匹配速度。该方法速度快,但是精度一般，对GPS要求比较高，比如专利 CN201880073770.5。
如果采用基于SLAM的DSM生成方法大多需要卫星图，比如专利CN201911164695.6。基于无人机图像生成DSM的方法不多，一般流程是构建全局DSM然后不断对其进行更新，比如专利CN201811046548.4。
发明内容
针对现有技术中的缺陷，本发明提供一种基于无人机实时稠密三维点云和 DSM的航测方法及系统，能够快速地从无人机航拍图像中生成产生稠密三维点云、数字正射影像图(DOM)和数字地表模型(DSM)。
一种基于无人机实时稠密三维点云和DSM的航测方法，包括以下步骤：
获取无人机飞行过程中相机拍摄得到的原始图像，利用SLAM技术估计该原始图像的相机位姿；
对该原始图像的相机位姿进行非线性优化，得到最优位姿；
利用原始图像的最优位姿对连续两帧原始图像进行稠密化，得到深度图；
利用一致性检查过滤所述深度图，得到三维点云；
利用三维点云生成DOM模型、DEM模型和DSM模型；
对DOM模型、DEM模型和DSM模型进行多频段融合，得到全局DEM模型、全局DOM模型和全局DSM模型；
根据所述全局DSM模型生成飞行地图。
优选地，所述利用SLAM技术估计该原始图像的相机位姿具体包括：
从预设的相机标定库中读取所述无人机中相机对应的相机类型，获得畸变参数，利用该畸变参数对所述原始图像进行去畸变处理，获得去畸变图像；
获取原始图像的EXIF信息和GPS信息；
提取去畸变图像中的SIFT特征点；
通过RANSAC方法，对去畸变图像中前后两帧图像的SIFT特征点进行匹配过滤，获取该前后两帧图像中一一对应的第一匹配点；
当不存在三维地图时，通过该第一匹配点计算本质矩阵，对该本质矩阵进行奇异值分解，得到原始图像的相对位姿；利用所述GPS信息，将该相机的相机坐标转换为ECEF坐标系，对第一匹配点进行三角化，得到三维地图点，完成三维地图的初始化；
当存在三维地图时，利用所述三维地图求解新的原始图像的相机位姿。
优选地，所述对该原始图像的相机位姿进行非线性优化，得到最优位姿具体包括：
构建损失函数：重投影误差er和GPS误差eg；
重投影误差er定义如下：
Figure BDA0002789881520000031
其中，
Figure 100002_1
代表原始图像当前帧的SIFT特征点，K为相机内参，Pi是始图像当前帧中SIFT特征点的三维坐标，si为Pi的z值；ξ代表原始图像的相机位姿在李代数下的表示；exp(ξ^)为原始图像的相机位姿；
GPS误差eg的定义如下：
eg＝||tGPS-tSLAM||2；
其中，tGPS指的是原始图像前后两帧的相机坐标转换为ECEF坐标系后的差，tSLAM指的是原始图像前后两帧的位移初值的差；
构建优化函数e：
e＝er+αeg；
其中，α为权系数；
利用LM算法求解优化函数e最小时相机的最优位姿。
优选地，所述利用原始图像的最优位姿对连续两帧原始图像进行稠密化，得到深度图具体包括：
利用连续两帧原始图像的相机位姿构造一个伪双目对，并通过Bouguet极线校正法获得新图像；
提取该新图像中的高梯度点，将该高梯度点在新图像的同一行上进行搜索匹配，获取鲁棒性超过预设值的第二匹配点及其视差；
对获取的第二匹配点进行三角剖分；
根据三角剖分的结果，建立一个先验区域，对先验区域内第二匹配点的视差进行插值，得到视差图；
将所述视差图转换成深度图。
优选地，所述利用一致性检查过滤所述深度图，得到三维点云具体包括：
将所述深度图存储至队列中；
当队列中的深度图数量超过预设值N时，进行一致性检查：将队列中的中间帧作为当前帧，记录当前帧深度图中坐标pi处的像素深度值为di，根据针孔相机模型将坐标pi转换为3D点，并将3D点重新投影到另外N-1个深度图中，从而得到每个视图的2D坐标p′i和深度值d′i如果(di-d′i)≤feq，则判定3D 点匹配一致，否则，删除该3D点；其中，feq为预设值；
将通过一致性检查的像素点的深度设置为其他深度图中一致深度的平均值，所述一致深度的平均值包括根据其他深度图所有通过一致性检查的点求取得到的平均值；
将队列中的最后一个深度图转化为三维点云，并发布该三维点云。
优选地，所述利用三维点云生成DOM模型、DEM模型和DSM模型具体包括：
保留所述三维点云中位置相同、深度超过预设的最小深度的点；
对过滤后的深度图进行Delaunay三角剖分，得到一个图像平面上的二维三角形网格Mimg和三维空间网格Mdepth，将三维网格Mdepth从ECEF坐标系转换为 tile坐标系M′depth；舍弃三维空间网格Mdepth的高程信息，得到一个二维网格 Mortho；
根据预设的插值规则对tile坐标系M′depth进行插值，得到所述DEM模型；
将二维三角形网格Mimg中的纹理投影到二维网格Mortho，得到所述DOM模型；
将所述DEM模型和DOM模型叠加生成所述DSM模型。
优选地，所述插值规则包括：
如果每个tile上的像素中心位置位于tile坐标系M′depth里，则tile上像素的高程值由tile坐标系M′depth顶点的高程值决定；如果每个tile上的像素中心位置位于tile坐标系M′depth的上边缘或左边缘时，对tile上的像素进行插值；
其中tile坐标系M′depth为三角形，三角形的顶点包括完全水平且高于其他边的边；左边缘为三角形中不水平且位于三角形左侧的边；上边缘为三角形中水平的、且边的两个顶点高于第三个顶点的边。
优选地，所述对DOM模型、DEM模型和DSM模型进行多频段融合，得到全局DEM模型、全局DOM模型和全局DSM模型具体包括：
将DEM模型和DOM模型展开形成两个四层的拉普拉斯金字塔，从所述DSM 模型展开形成两个高斯金字塔；通过该两个高斯金字塔计算遮罩金字塔，根据遮罩金字塔将拉普拉斯金字塔缝合在一起，通过将最后缝合的拉普拉斯金字塔恢复全局DEM模型和DOM模型；
将所述全局DEM模型和DOM模型叠加生成所述全局DSM模型。
第二方面，一种基于无人机实时稠密三维点云和DSM的航测系统，包括：
获取单元：用于获取无人机飞行过程中相机拍摄得到的原始图像，利用 SLAM技术估计该原始图像的相机位姿；
优化单元：用于对该原始图像的相机位姿进行非线性优化，得到最优位姿；
三维点云生成单元：用于利用原始图像的最优位姿对连续两帧原始图像进行稠密化，得到深度图；利用一致性检查过滤所述深度图，得到三维点云；
模型生成单元：用于利用三维点云生成DOM模型、DEM模型和DSM模型，对DOM模型、DEM模型和DSM模型进行多频段融合，得到全局DEM模型、全局 DOM模型和全局DSM模型；
地图生成单元：用于根据所述全局DSM模型生成飞行地图。
由上述技术方案可知，本发明提供的基于无人机实时稠密三维点云和DSM 的航测方法及系统，具有以下优点：
1、与现阶段SfM方法相比，速度更快(速度是Pix4D的十倍以上)，并且生成的三维点云更为稠密，对配置要求不高，可以实现无人机飞行时，边飞行边生成飞行地图。
2、输出内容丰富，能实时的产生稠密点云、正摄图像模型和数字表面模型。
3、支持大场景处理，采用cache机制，将处理结果存储在硬盘上，因此能够处理超大场景。
4、相比多摄像头的倾斜摄影，成本低廉。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明实施例一提供的航测方法的流程图。
图2为采用本发明实施例一提供的方法得到的稠密点云。
图3为采用本发明实施例一提供的方法得到的第一种数字正射影像图。
图4为采用本发明实施例一提供的方法得到的第二种数字正射影像图。
图5为采用本发明实施例一提供的方法得到的第三种数字正射影像图。
图6为本发明实施例二提供的航测系统的模块框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
实施例一：
一种基于无人机实时稠密三维点云和DSM的航测方法，参见图1，包括以下步骤：
S1：获取无人机飞行过程中相机拍摄得到的原始图像，利用SLAM技术估计该原始图像的相机位姿；具体包括：
S11：从预设的相机标定库中读取所述无人机中相机对应的相机类型，获得畸变参数，利用该畸变参数对所述原始图像进行去畸变处理，获得去畸变图像；
S12：获取原始图像的EXIF信息和GPS信息；EXIF信息包括图像中包含的对拍摄相机、拍摄时间、角度、地点、角度等描述的信息。该方法还可以通过EXIF信息获取到相机类型，再根据相机类型从相机标定库中查找对应的标定信息；
S13：提取去畸变图像中的SIFT特征点；所述特征点包含了特征点的位置信息和SIFT描述子；SIFT描述子为采用通用GPU加速后的SIFT描述子，效果好，速度快，能够满足实时性要求。
S14：通过RANSAC方法，对去畸变图像中前后两帧图像的SIFT特征点进行匹配过滤，获取该前后两帧图像中一一对应的第一匹配点；
S15：当不存在三维地图时，通过该第一匹配点计算本质矩阵，对该本质矩阵进行奇异值分解(SVD)，得到原始图像的相对位姿；利用所述GPS信息，将该相机的相机坐标从局部坐标系转换为ECEF坐标系，对第一匹配点进行三角化，得到三维地图点，完成三维地图的初始化；
S16：当存在三维地图时，由于已知了前一帧图像第一匹配点的三维坐标，所以利用所述三维地图、PnP算法求解新的原始图像的相机位姿。
S2：对该原始图像的相机位姿进行非线性优化，得到最优位姿；非线性优化主要针对两个相邻的帧。具体包括：
S21：构建损失函数：重投影误差er和GPS误差eg；
重投影误差er定义如下：
Figure BDA0002789881520000081
其中，
Figure 2
代表原始图像当前帧的SIFT特征点，K为相机内参，Pi是始图像当前帧中SIFT特征点的三维坐标，si为Pi的z值；ξ代表原始图像的相机位姿在李代数下的表示；exp(ξ^)为原始图像的相机位姿；
GPS误差eg的定义如下：
eg＝||tGPS-tSLAM||2；
其中，tGPS指的是原始图像前后两帧的相机坐标转换为ECEF坐标系后的差，tSLAM指的是原始图像前后两帧的位移初值的差；GPS误差实质是SLAM提供的位移与GPS观测信息的二范数。
S22：构建优化函数e：
e＝er+αeg；
其中，α为权系数，优选为100；
S23：利用Ceres中的LM算法求解优化函数e最小时相机的最优位姿。
S3：利用原始图像的最优位姿对连续两帧原始图像进行稠密化，得到深度图，即得到精确的深度信息，具体包括：
S31：利用连续两帧原始图像的相机位姿构造一个伪双目对，并通过Bouguet极线校正法(Bouguet’s rectification)获得新图像；该方法用于最大化前后帧的公共区域。矫正后的两张图像的光轴平行，且对应点对的高度相同，这大大提高了匹配效率。
S32：提取该新图像中的高梯度点，将该高梯度点在新图像的同一行上进行搜索匹配，获取鲁棒性超过预设值的第二匹配点及其视差；
S33：对获取的第二匹配点进行三角剖分；
S34：根据三角剖分的结果，建立一个先验区域，对先验区域内第二匹配点的视差进行插值，得到视差图；这些先验区域极大地减少了视差搜索空间，能够在不进行全局优化的情况下产生不错的结果。
S35：将所述视差图转换成深度图。
S4：利用一致性检查过滤所述深度图，得到三维点云。由于视差图不够精确，因此深度图中存在一部分错误。所以该方法可以通过多个连续图像的一致性检验来重新确定深度。一致性反映了像素间的相关性，当相关性较高时，像素深度具有较高的精度。具体包括：
S41：将所述深度图存储至队列中；
S42：当队列中的深度图数量超过预设值N(N通常为奇数，优选为7)时，进行一致性检查：将队列中的中间帧作为当前帧，记录当前帧深度图中坐标pi处的像素深度值为di，根据针孔相机模型将坐标pi转换为3D点，并将3D点重新投影到另外N-1个深度图中，从而得到每个视图的2D坐标p′i和深度值d′i；如果(di-d′i)≤feq，则判定3D点匹配一致，其中，feq为预设值，feq优选为 0.01；否则，删除该3D点；feq优选为0.01。
S43：将通过一致性检查的像素点的深度设置为其他深度图中一致深度的平均值；所述一致深度的平均值包括根据其他深度图所有通过一致性检查的点求取得到的平均值。
S44：除冗余点以供流畅显示。将队列中的最后一个深度图转化为三维点云，并发布该三维点云，例如发布到可视化模块中，利用可视化模块动态看到生成的点云。步骤S44的目的是去除相邻帧中的多余的点，以减少后续地图融合的计算负担。除冗余点步骤与过滤过程类似，包含一个队列，当队列中的帧数超过N时，开始相互校验。对于所有通过一致性校验的点，只保留一个点，将其他的点对深度设置为零。
S5：利用三维点云生成DOM模型、DEM模型和DSM模型；为了提高计算性能，该方法采用tile(即瓦片)来组织数字正射影像图和DSM。一个Tile的定义如下：全球地图分为N个等级，用Nth级表示世界分为2N×2N个方块。因此，可以使用(x,y,z)来唯一地表示一个tile，这个三维向量代表在z等级下第x 列和y行中的tile。本方法中的tile编号方案是用(0：2N-1，0：2N-1)代表地球上经纬度(-180,+85.0511)到(180,-85.0511)。每个tile包含三部分：高程图，纹理图和权重图。每个tile有256×256像素。tile坐标系指的是使用 tile下的像素位置表示世界的坐标系。步骤S5具体包括：
S51：保留所述三维点云中位置相同、深度超过预设的最小深度的点；本方法只关心每个位置的高程信息，为了加快计算速度，仅保留那些位置相同但深度较高的点。
S52：对过滤后的深度图进行Delaunay三角剖分，得到一个图像平面上的二维三角形网格Mimg和三维空间网格Mdepth，将三维网格Mdepth从ECEF坐标系转换为tile坐标系M′depth；舍弃三维空间网格Mdepth的高程信息，得到一个二维网格Mortho；
S53：根据预设的插值规则对tile坐标系M′depth进行插值，得到DEM模型；由于本发明得到的点云足够密集，使用线性插值即可以确保足够的精度，又节约时间，仅对三角形内部的点进行插值。
插值的目的在于对tile坐标系下256*256的一个个tile进行插值填充，经过上述方法已经将三维点云投影到了tile坐标系下的三角网格M′depth。因此需要基于M′depth的结果对tile上的像素进行插值。所述插值规则包括：
如果每个tile上的像素中心位置位于tile坐标系M′depth里，则tile上像素的高程值由tile坐标系M′depth顶点的高程值决定；如果每个tile上的像素中心位置位于tile坐标系M′depth的上边缘或左边缘时，对tile上的像素进行插值；该插值规则确保相邻的三角形绘制一次，从而加快了插值速度。
其中tile坐标系M′depth为三角形，三角形的顶点包括完全水平且高于其他边的边；左边缘为三角形中不水平且位于三角形左侧的边,三角形可以有一条或两条左边缘；上边缘为三角形中水平的、且边的两个顶点高于第三个顶点的边。
S54：由于每个点在图像中的深度和位置都是可用的，所以数字正射影像图的生成变得很简单，基本上属于从透视图到正交图的转换。从步骤52可以看出，图像平面上的Mimg和Mortho是一一对应的，因此本方法只需将Mimg中的纹理投影到Mortho，就可以得到数字正射影像图。
S55：将所述DEM模型和DOM模型叠加生成所述DSM模型。由于此时已经获得了tile坐标系下每个像素点的高程值(DEM模型)以及颜色值(DOM模型)，将两者叠加起来，形成有颜色信息的高程图(DSM模型)。此处在tile坐标系下计算得到的DOM、DEM和DSM，由一个个瓦片构成，瓦片中的每个像素都包含了一个高程值、颜色值和权重值。
权重图的大小与输入图像的大小相同，权重图的确定包括：设置权重图的中心为255，四个角为0；则权重图中每个像素的权重值被设置为 wi＝255×(1-di/dmax)，其中di代表像素距离中心的距离，dmax代表预设的最大距离。
S6：对DOM模型、DEM模型和DSM模型进行多频段融合，得到全局DEM模型、全局DOM模型和全局DSM模型；
具体地，如果新生成的瓦片对应的位置，在全局tile坐标系下没有瓦片，则将该瓦片作为全局tile坐标系下的瓦片。如果新生成的瓦片对应的位置，在全局tile坐标系下已经有了一个瓦片，则需要将两者进行融合。即包括：
S61：该方法以增量的方式将局部tile融合到全局tile中，利用加权多波段渲染算法实现了颜色和深度的平滑过渡。对于每个局部tile，根据位置找到相应的全局tile。如果不存在全局tile坐标系，定义得到的tile坐标系M′depth为全局tile坐标系；
S62：如果存在全局tile坐标系，将新生成的瓦片和已有的瓦片中的DEM 模型和DOM模型展开形成四个拉普拉斯金字塔，从所述DSM模型展开形成两个高斯金字塔；通过该两个高斯金字塔计算遮罩金字塔，根据遮罩金字塔将拉普拉斯金字塔缝合在一起，通过将最后缝合的拉普拉斯金字塔恢复全局DEM模型和DOM模型。将所述全局DEM模型和DOM模型叠加生成所述全局DSM模型。
具体地，所述拉普拉斯金字塔包含5层，每层Ln通过以下步骤计算：1)计算5层高斯金字塔G(img)。2)将Gn和Gn+1的上采样做差得到Ln。
Figure BDA0002789881520000121
这里
Figure BDA0002789881520000122
是卷积符号，
Figure BDA0002789881520000123
是5×5是高斯核。最高级别的L5等于G5。得到四个拉普拉斯金字塔：L(DEM1)、L(ortho1)、L((DEM1)、L(DEMg)L(orthog)和两个高斯金字塔：G(weight1)、G(weightg)。通过通过每个级别上的G(weight1)、G(weightg)计算一个遮罩金字塔。
S7：根据所述全局DSM模型得到飞行地图。
图2为采用本发明方法得到的稠密点云。图3-5为采用本发明方法得到的数字正射影像图。从图2-5中可以看出，通过构建伪双目对来对航测图像进行稠密重建再加上新颖的点云过滤，DSM/DOM生成方法，使得仅基于单目摄像头和可选的GPS信息，就能够快速获得出色的效果。
该方法能够实时处理连续的航拍照片，并增量式地生成稠密点云、DOM和 DSM，使得无人机飞行时，边飞行边生成飞行地图。在该方法中，高效的滤波和插值算法保证了处理速度，而Multi-Band算法则保证了良好的视觉质量。为了处理大规模场景，该方法实现了一个基于最近最少使用(LRU)算法的数据管理系统。它可以根据需要在磁盘和内存之间切换数据。因此，场景大小限制只与硬盘大小有关。
综上所述，该方法具有以下优点：
1、与现阶段SfM方法相比，速度更快(速度是Pix4D的十倍以上)，并且点云更为稠密，对配置要求不高，可以实现无人机飞行时，边飞行边生成飞行地图。
2、输出内容丰富，能实时的产生稠密点云、正摄图像模型和数字表面模型。
3、支持大场景处理，采用cache机制，将处理结果存储在硬盘上，因此能够处理超大场景。
4、相比多摄像头的倾斜摄影，成本低廉。
实施例二：
一种基于无人机实时稠密三维点云和DSM的航测系统，参见图6，包括：
获取单元：用于获取无人机飞行过程中相机拍摄得到的原始图像，利用 SLAM技术估计该原始图像的相机位姿；
优化单元：用于对该原始图像的相机位姿进行非线性优化，得到最优位姿；
三维点云生成单元：用于利用原始图像的最优位姿对连续两帧原始图像进行稠密化，得到深度图；利用一致性检查过滤所述深度图，得到三维点云；
模型生成单元：用于利用三维点云生成DOM模型、DEM模型和DSM模型，对DOM模型、DEM模型和DSM模型进行多频段融合，得到全局DEM模型、全局 DOM模型和全局DSM模型；
地图生成单元：用于根据所述全局DSM模型生成飞行地图。
本发明实施例所提供的系统，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (9)

1.一种基于无人机实时稠密三维点云和DSM的航测方法，其特征在于，包括以下步骤：
获取无人机飞行过程中相机拍摄得到的原始图像，利用SLAM技术估计该原始图像的相机位姿；
对该原始图像的相机位姿进行非线性优化，得到最优位姿；
利用原始图像的最优位姿对连续两帧原始图像进行稠密化，得到深度图；
利用一致性检查过滤所述深度图，得到三维点云；
利用三维点云生成DOM模型、DEM模型和DSM模型；
对DOM模型、DEM模型和DSM模型进行多频段融合，得到全局DEM模型、全局DOM模型和全局DSM模型；
根据所述全局DSM模型生成飞行地图。
2.根据权利要求1所述基于无人机实时稠密三维点云和DSM的航测方法，其特征在于，所述利用SLAM技术估计该原始图像的相机位姿具体包括：
从预设的相机标定库中读取所述无人机中相机对应的相机类型，获得畸变参数，利用该畸变参数对所述原始图像进行去畸变处理，获得去畸变图像；
获取原始图像的EXIF信息和GPS信息；
提取去畸变图像中的SIFT特征点；
通过RANSAC方法，对去畸变图像中前后两帧图像的SIFT特征点进行匹配过滤，获取该前后两帧图像中一一对应的第一匹配点；
当不存在三维地图时，通过该第一匹配点计算本质矩阵，对该本质矩阵进行奇异值分解，得到原始图像的相对位姿；利用所述GPS信息，将该相机的相机坐标转换为ECEF坐标系，对第一匹配点进行三角化，得到三维地图点，完成三维地图的初始化；
当存在三维地图时，利用所述三维地图求解新的原始图像的相机位姿。
3.根据权利要求2所述基于无人机实时稠密三维点云和DSM的航测方法，其特征在于，所述对该原始图像的相机位姿进行非线性优化，得到最优位姿具体包括：
构建损失函数：重投影误差er和GPS误差eg；
重投影误差er定义如下：
Figure FDA0002789881510000021
其中，
Figure 1
代表原始图像当前帧的SIFT特征点，K为相机内参，Pi是始图像当前帧中SIFT特征点的三维坐标，si为Pi的z值；ξ代表原始图像的相机位姿在李代数下的表示；exp(ξ^)为原始图像的相机位姿；
GPS误差eg的定义如下：
eg＝||tGPS-tSLAM||2；
其中，tGPS指的是原始图像前后两帧的相机坐标转换为ECEF坐标系后的差，tSLAM指的是原始图像前后两帧的位移初值的差；
构建优化函数e：
e＝er+αeg；
其中，α为权系数；
利用LM算法求解优化函数e最小时相机的最优位姿。
4.根据权利要求3所述基于无人机实时稠密三维点云和DSM的航测方法，其特征在于，所述利用原始图像的最优位姿对连续两帧原始图像进行稠密化，得到深度图具体包括：
利用连续两帧原始图像的相机位姿构造一个伪双目对，并通过Bouguet极线校正法获得新图像；
提取该新图像中的高梯度点，将该高梯度点在新图像的同一行上进行搜索匹配，获取鲁棒性超过预设值的第二匹配点及其视差；
对获取的第二匹配点进行三角剖分；
根据三角剖分的结果，建立一个先验区域，对先验区域内第二匹配点的视差进行插值，得到视差图；
将所述视差图转换成深度图。
5.根据权利要求4所述基于无人机实时稠密三维点云和DSM的航测方法，其特征在于，所述利用一致性检查过滤所述深度图，得到三维点云具体包括：
将所述深度图存储至队列中；
当队列中的深度图数量超过预设值N时，进行一致性检查：将队列中的中间帧作为当前帧，记录当前帧深度图中坐标pi处的像素深度值为di，根据针孔相机模型将坐标pi转换为3D点，并将3D点重新投影到另外N-1个深度图中，从而得到每个视图的2D坐标p'i和深度值d'i；如果(di-d′i)≤feq，则判定3D点匹配一致，否则，删除该3D点；其中，feq为预设值；
将通过一致性检查的像素点的深度设置为其他深度图中一致深度的平均值，所述一致深度的平均值包括根据其他深度图所有通过一致性检查的点求取得到的平均值；
将队列中的最后一个深度图转化为三维点云，并发布该三维点云。
6.根据权利要求5所述基于无人机实时稠密三维点云和DSM的航测方法，其特征在于，所述利用三维点云生成DOM模型、DEM模型和DSM模型具体包括：
保留所述三维点云中位置相同、深度超过预设的最小深度的点；
对过滤后的深度图进行Delaunay三角剖分，得到一个图像平面上的二维三角形网格Mimg和三维空间网格Mdepth，将三维网格Mdepth从ECEF坐标系转换为tile坐标系M′depth；舍弃三维空间网格Mdepth的高程信息，得到一个二维网格Mortho；
根据预设的插值规则对tile坐标系M′depth进行插值，得到所述DEM模型；
将二维三角形网格Mimg中的纹理投影到二维网格Mortho，得到所述DOM模型；
将所述DEM模型和DOM模型叠加生成所述DSM模型。
7.根据权利要求6所述基于无人机实时稠密三维点云和DSM的航测方法，其特征在于，所述插值规则包括：
如果每个tile上的像素中心位置位于tile坐标系M′depth里，则tile上像素的高程值由tile坐标系M′depth顶点的高程值决定；如果每个tile上的像素中心位置位于tile坐标系M′depth的上边缘或左边缘时，对tile上的像素进行插值；
其中tile坐标系M′depth为三角形，三角形的顶点包括完全水平且高于其他边的边；左边缘为三角形中不水平且位于三角形左侧的边；上边缘为三角形中水平的、且边的两个顶点高于第三个顶点的边。
8.根据权利要求6所述基于无人机实时稠密三维点云和DSM的航测方法，其特征在于，所述对DOM模型、DEM模型和DSM模型进行多频段融合，得到全局DEM模型、全局DOM模型和全局DSM模型具体包括：
将DEM模型和DOM模型展开形成两个四层的拉普拉斯金字塔，从所述DSM模型展开形成两个高斯金字塔；通过该两个高斯金字塔计算遮罩金字塔，根据遮罩金字塔将拉普拉斯金字塔缝合在一起，通过将最后缝合的拉普拉斯金字塔恢复全局DEM模型和DOM模型；
将所述全局DEM模型和DOM模型叠加生成所述全局DSM模型。
9.一种基于无人机实时稠密三维点云和DSM的航测系统，其特征在于，包括：
获取单元：用于获取无人机飞行过程中相机拍摄得到的原始图像，利用SLAM技术估计该原始图像的相机位姿；
优化单元：用于对该原始图像的相机位姿进行非线性优化，得到最优位姿；
三维点云生成单元：用于利用原始图像的最优位姿对连续两帧原始图像进行稠密化，得到深度图；利用一致性检查过滤所述深度图，得到三维点云；
模型生成单元：用于利用三维点云生成DOM模型、DEM模型和DSM模型，对DOM模型、DEM模型和DSM模型进行多频段融合，得到全局DEM模型、全局DOM模型和全局DSM模型；
地图生成单元：用于根据所述全局DSM模型生成飞行地图。
CN202011311288.6A 2020-11-20 2020-11-20 基于无人机实时稠密三维点云和dsm的航测方法及系统 Active CN112434709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011311288.6A CN112434709B (zh) 2020-11-20 2020-11-20 基于无人机实时稠密三维点云和dsm的航测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011311288.6A CN112434709B (zh) 2020-11-20 2020-11-20 基于无人机实时稠密三维点云和dsm的航测方法及系统

Publications (2)

Publication Number Publication Date
CN112434709A true CN112434709A (zh) 2021-03-02
CN112434709B CN112434709B (zh) 2024-04-12

Family

ID=74693240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011311288.6A Active CN112434709B (zh) 2020-11-20 2020-11-20 基于无人机实时稠密三维点云和dsm的航测方法及系统

Country Status (1)

Country Link
CN (1) CN112434709B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094457A (zh) * 2021-04-15 2021-07-09 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
CN113159174A (zh) * 2021-04-21 2021-07-23 云南师范大学 无控制点的dem匹配与形变量探测方法及装置
CN113163139A (zh) * 2021-06-23 2021-07-23 成都飞机工业（集团）有限责任公司 一种高空无人机侦察图像情报实时处理方法
CN113674415A (zh) * 2021-08-26 2021-11-19 自然资源部国土卫星遥感应用中心 利用高分七号和资源三号影像联合制作连续、无空洞dsm的方法
CN113781567A (zh) * 2021-10-08 2021-12-10 西北工业大学 基于三维地图生成的航拍图像目标地理定位方法
CN113776451A (zh) * 2021-11-11 2021-12-10 长江空间信息技术工程有限公司(武汉) 一种基于无人机摄影测量的变形监测自动化方法
CN113963068A (zh) * 2021-10-25 2022-01-21 季华实验室 一种镜像式单像机全向立体视觉传感器全局标定方法
CN114494563A (zh) * 2022-02-14 2022-05-13 北京清晨动力科技有限公司 航拍视频在数字地球上的融合显示方法和装置
CN114630096A (zh) * 2022-01-05 2022-06-14 深圳技术大学 Tof相机点云的稠密化方法、装置、设备及可读存储介质
CN114663596A (zh) * 2022-04-03 2022-06-24 西北工业大学 基于无人机实时仿地飞行方法的大场景建图方法
CN114821372A (zh) * 2022-05-12 2022-07-29 中山大学 基于单目视觉的无人机编队中个体相对位姿测量方法
CN114996658A (zh) * 2022-07-20 2022-09-02 中国空气动力研究与发展中心计算空气动力研究所 一种基于投影的高超声速飞行器气动热预测方法
CN115482269A (zh) * 2022-09-22 2022-12-16 佳都科技集团股份有限公司 一种土方量计算方法、装置、终端设备以及存储介质
WO2023030062A1 (zh) * 2021-09-01 2023-03-09 中移(成都)信息通信科技有限公司 一种无人机的飞行控制方法、装置、设备、介质及程序
CN116310262A (zh) * 2023-05-23 2023-06-23 山东省国土测绘院 面状实体与倾斜三维模型融合方法、系统、介质及设备
CN117911465A (zh) * 2024-03-20 2024-04-19 深圳市森歌数据技术有限公司 一种基于双目立体匹配的自然保护区稠密点云生成方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104236548A (zh) * 2014-09-12 2014-12-24 清华大学 一种微型无人机室内自主导航方法
CN108648270A (zh) * 2018-05-12 2018-10-12 西北工业大学 基于eg-slam的无人机实时三维场景重建方法
CN109949399A (zh) * 2019-03-15 2019-06-28 西安因诺航空科技有限公司 一种基于无人机航拍图像的场景三维重建方法
US20190204084A1 (en) * 2017-09-29 2019-07-04 Goertek Inc. Binocular vision localization method, device and system
CN110223383A (zh) * 2019-06-17 2019-09-10 重庆大学 一种基于深度图修补的植物三维重建方法及系统
CN110501017A (zh) * 2019-08-12 2019-11-26 华南理工大学 一种基于orb_slam2的移动机器人导航地图生成方法
CN110648398A (zh) * 2019-08-07 2020-01-03 武汉九州位讯科技有限公司 基于无人机航摄数据的正射影像实时生成方法及系统
CN110675450A (zh) * 2019-09-06 2020-01-10 武汉九州位讯科技有限公司 基于slam技术的正射影像实时生成方法及系统
CN111199578A (zh) * 2019-12-31 2020-05-26 南京航空航天大学 基于视觉辅助激光雷达的无人机三维环境建模方法
CN111599001A (zh) * 2020-05-14 2020-08-28 星际（重庆）智能装备技术研究院有限公司 基于图像三维重建技术的无人机导航地图构建系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104236548A (zh) * 2014-09-12 2014-12-24 清华大学 一种微型无人机室内自主导航方法
US20190204084A1 (en) * 2017-09-29 2019-07-04 Goertek Inc. Binocular vision localization method, device and system
CN108648270A (zh) * 2018-05-12 2018-10-12 西北工业大学 基于eg-slam的无人机实时三维场景重建方法
CN109949399A (zh) * 2019-03-15 2019-06-28 西安因诺航空科技有限公司 一种基于无人机航拍图像的场景三维重建方法
CN110223383A (zh) * 2019-06-17 2019-09-10 重庆大学 一种基于深度图修补的植物三维重建方法及系统
CN110648398A (zh) * 2019-08-07 2020-01-03 武汉九州位讯科技有限公司 基于无人机航摄数据的正射影像实时生成方法及系统
CN110501017A (zh) * 2019-08-12 2019-11-26 华南理工大学 一种基于orb_slam2的移动机器人导航地图生成方法
CN110675450A (zh) * 2019-09-06 2020-01-10 武汉九州位讯科技有限公司 基于slam技术的正射影像实时生成方法及系统
CN111199578A (zh) * 2019-12-31 2020-05-26 南京航空航天大学 基于视觉辅助激光雷达的无人机三维环境建模方法
CN111599001A (zh) * 2020-05-14 2020-08-28 星际（重庆）智能装备技术研究院有限公司 基于图像三维重建技术的无人机导航地图构建系统及方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094457A (zh) * 2021-04-15 2021-07-09 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
CN113094457B (zh) * 2021-04-15 2023-11-03 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
CN113159174A (zh) * 2021-04-21 2021-07-23 云南师范大学 无控制点的dem匹配与形变量探测方法及装置
CN113159174B (zh) * 2021-04-21 2022-05-06 云南师范大学 无控制点的dem匹配与形变量探测方法及装置
CN113163139A (zh) * 2021-06-23 2021-07-23 成都飞机工业（集团）有限责任公司 一种高空无人机侦察图像情报实时处理方法
CN113674415A (zh) * 2021-08-26 2021-11-19 自然资源部国土卫星遥感应用中心 利用高分七号和资源三号影像联合制作连续、无空洞dsm的方法
CN113674415B (zh) * 2021-08-26 2024-01-09 自然资源部国土卫星遥感应用中心 利用高分七号和资源三号影像联合制作连续、无空洞dsm的方法
WO2023030062A1 (zh) * 2021-09-01 2023-03-09 中移(成都)信息通信科技有限公司 一种无人机的飞行控制方法、装置、设备、介质及程序
CN113781567A (zh) * 2021-10-08 2021-12-10 西北工业大学 基于三维地图生成的航拍图像目标地理定位方法
CN113781567B (zh) * 2021-10-08 2024-05-31 西北工业大学 基于三维地图生成的航拍图像目标地理定位方法
CN113963068A (zh) * 2021-10-25 2022-01-21 季华实验室 一种镜像式单像机全向立体视觉传感器全局标定方法
CN113963068B (zh) * 2021-10-25 2022-08-23 季华实验室 一种镜像式单像机全向立体视觉传感器全局标定方法
CN113776451A (zh) * 2021-11-11 2021-12-10 长江空间信息技术工程有限公司(武汉) 一种基于无人机摄影测量的变形监测自动化方法
CN114630096B (zh) * 2022-01-05 2023-10-27 深圳技术大学 Tof相机点云的稠密化方法、装置、设备及可读存储介质
CN114630096A (zh) * 2022-01-05 2022-06-14 深圳技术大学 Tof相机点云的稠密化方法、装置、设备及可读存储介质
CN114494563A (zh) * 2022-02-14 2022-05-13 北京清晨动力科技有限公司 航拍视频在数字地球上的融合显示方法和装置
CN114663596B (zh) * 2022-04-03 2024-02-23 西北工业大学 基于无人机实时仿地飞行方法的大场景建图方法
CN114663596A (zh) * 2022-04-03 2022-06-24 西北工业大学 基于无人机实时仿地飞行方法的大场景建图方法
CN114821372A (zh) * 2022-05-12 2022-07-29 中山大学 基于单目视觉的无人机编队中个体相对位姿测量方法
CN114996658A (zh) * 2022-07-20 2022-09-02 中国空气动力研究与发展中心计算空气动力研究所 一种基于投影的高超声速飞行器气动热预测方法
CN115482269A (zh) * 2022-09-22 2022-12-16 佳都科技集团股份有限公司 一种土方量计算方法、装置、终端设备以及存储介质
CN116310262A (zh) * 2023-05-23 2023-06-23 山东省国土测绘院 面状实体与倾斜三维模型融合方法、系统、介质及设备
CN117911465A (zh) * 2024-03-20 2024-04-19 深圳市森歌数据技术有限公司 一种基于双目立体匹配的自然保护区稠密点云生成方法
CN117911465B (zh) * 2024-03-20 2024-05-17 深圳市森歌数据技术有限公司 一种基于双目立体匹配的自然保护区稠密点云生成方法

Also Published As

Publication number Publication date
CN112434709B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN112434709B (zh) 基于无人机实时稠密三维点云和dsm的航测方法及系统
CN110648398B (zh) 基于无人机航摄数据的正射影像实时生成方法及系统
CN106651938B (zh) 一种融合高分辨率彩色图像的深度图增强方法
EP3279803B1 (en) Picture display method and device
JP4685313B2 (ja) 任意の局面の受動的な体積画像の処理方法
CN110223383A (zh) 一种基于深度图修补的植物三维重建方法及系统
US20240169674A1 (en) Indoor scene virtual roaming method based on reflection decomposition
CN111815765B (zh) 一种基于异构数据融合的图像三维重建方法
CN109685879B (zh) 多视影像纹理分布的确定方法、装置、设备和存储介质
CN108399631B (zh) 一种尺度不变性的倾斜影像多视密集匹配方法
CN117253029B (zh) 基于深度学习的图像匹配定位方法及计算机设备
CN105466399B (zh) 快速半全局密集匹配方法和装置
CN116977596A (zh) 一种基于多视角图像的三维建模系统及方法
CN112288637A (zh) 无人机航拍图像快速拼接装置及快速拼接方法
CN114627237A (zh) 一种基于实景三维模型的正视影像图生成方法
US10154241B2 (en) Depth map based perspective correction in digital photos
CN111899345A (zh) 一种基于2d视觉图像的三维重建方法
CN113240597B (zh) 基于视觉惯性信息融合的三维软件稳像方法
CN114913297A (zh) 一种基于mvs稠密点云的场景正射影像生成方法
US20240282051A1 (en) Multiresolution truncated neural radiance fields
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
CN109379577B (zh) 一种虚拟视点的视频生成方法、装置及设备
Ma et al. Geometric distortion correction for the underwater images
JP2002092597A (ja) 画像処理方法及び装置
CN116958449B (zh) 城市场景三维建模方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant