CN117557611A - 图像配准方法、装置、电子设备及存储介质 - Google Patents
图像配准方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117557611A CN117557611A CN202311550923.XA CN202311550923A CN117557611A CN 117557611 A CN117557611 A CN 117557611A CN 202311550923 A CN202311550923 A CN 202311550923A CN 117557611 A CN117557611 A CN 117557611A
- Authority
- CN
- China
- Prior art keywords
- target
- relative pose
- image
- feature point
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000012216 screening Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 description 11
- 238000005457 optimization Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000012804 iterative process Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像配准方法、装置、电子设备及存储介质,该方法包括:获取待配准的第一图像和第二图像进行特征点匹配对应的包括多个特征点对的特征点集合;基于特征点集合,迭代筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对的过程,在满足迭代结束条件时获取M个第一集合;在M个第一集合中确定目标集合,基于目标集合所对应的目标特征点对确定第二相对位姿;对第一图像和第二图像进行尺度统一处理确定目标尺度,基于目标尺度和第二相对位姿确定目标相对位姿;基于目标相对位姿确定图像配准的最终相对位姿。本申请可实现便捷且准确地计算图像之间的相对位姿,基于相对位姿实现图像的精确配准。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像配准方法、装置、电子设备及存储介质。
背景技术
在图像拼接场景中,两图之间的相对位姿求解属于重要环节,在获取两图之间的相对位姿之后,基于相对位姿实现准确合理的图像拼接;且求解两图之间的相对位姿,也为AR(Augmented Reality,增强现实)、VR(Virtual Reality,虚拟现实)、MR(Mixed Reality,混合现实)等提供了基础的定位能力,并且可以得到较好的三维建模效果。
目前,采用现有的图像配准方案、点云对齐方案等进行位姿求解,但是由于图像纹理、颜色和点云复杂度等问题影响,并不能在任何情况下都满足匹配的要求。因此如何便捷、准确的获得两图之间的相对位姿以实现图像配准,成为了一个待解决的关键问题。
发明内容
本申请实施例提供一种克服上述问题或者至少部分地解决上述问题的图像配准方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种图像配准方法,包括:
获取待配准的第一图像和第二图像进行特征点匹配对应的特征点集合,所述特征点集合包括多个特征点对;
基于所述特征点集合,迭代筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对的过程,在满足迭代结束条件时获取N次迭代对应的M个第一集合,M小于或者等于N,所述第一集合包括一次对应迭代所筛选出的目标特征点对;
在所述M个第一集合中确定目标集合,基于所述目标集合所对应的目标特征点对确定第二相对位姿;
对所述第一图像和所述第二图像进行尺度统一处理确定目标尺度,并基于所述目标尺度和所述第二相对位姿确定目标相对位姿;
基于所述目标相对位姿确定所述第一图像和所述第二图像进行图像配准的最终相对位姿。
第二方面,本申请实施例提供了一种图像配准装置,包括:
获取模块,用于获取待配准的第一图像和第二图像进行特征点匹配对应的特征点集合,所述特征点集合包括多个特征点对;
处理模块,用于基于所述特征点集合,迭代筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对的过程,在满足迭代结束条件时获取N次迭代对应的M个第一集合,M小于或者等于N,所述第一集合包括一次对应迭代所筛选出的目标特征点对;
第一确定模块,用于在所述M个第一集合中确定目标集合,基于所述目标集合所对应的目标特征点对确定第二相对位姿;
第二确定模块,用于对所述第一图像和所述第二图像进行尺度统一处理确定目标尺度,并基于所述目标尺度和所述第二相对位姿确定目标相对位姿;
第三确定模块,用于基于所述目标相对位姿确定所述第一图像和所述第二图像进行图像配准的最终相对位姿。
第三方面,本申请实施例提供了一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述第一方面所述的图像配准方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的图像配准方法的步骤。
本申请实施例技术方案,在获取第一图像和第二图像进行特征点匹配对应的包括多个特征点对的特征点集合后,在特征点集合中筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对,并重复该过程以通过多次迭代筛选出M个包括目标特征点对的第一集合,在M个第一集合中确定最优的目标集合,根据目标集合对应的目标特征点对确定第二相对位姿,实现基于筛选出的高质量目标特征点对确定第二相对位姿,在对第一图像和第二图像进行尺度统一处理确定目标尺度后,基于目标尺度对第二相对位姿进行尺度调整,以通过尺度调整确定目标相对位姿,基于目标相对位姿确定图像配准的最终相对位姿,可以实现便捷且准确地计算图像之间的相对位姿,基于相对位姿实现图像的精确配准,以在图像拼接场景获得稳定、高效的拼接结果,保证图像拼接的质量,且可以为AR、VR以及MR场景提供基础的定位能力,保证三维建模的效果。
附图说明
图1表示本申请实施例提供的图像配准方法的示意图;
图2表示本申请实施例提供的基于特征点集合经过多次迭代确定M个第一集合的方法流程图;
图3表示本申请实施例提供的在图像拼接场景进行图像配准、获取拼接图像的流程图;
图4表示本申请实施例提供的图像配准装置的示意图;
图5表示本申请实施例提供的电子设备结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。本申请实施例中的多个可以包括两个以及两个以上。
在本申请的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请实施例提供的图像配准方法,针对待配准的图像,便捷且准确地计算图像之间的相对位姿,基于相对位姿进行图像拼接,实现获得稳定、高效的拼接结果。本申请图像配准的对象可以为拍摄的透视图像、全景图像、鱼眼图像等,待配准图像为在不同拍摄点位所获取的图像。
组合计算模块用于计算图像之间的相对位姿进行图像配准,由拼接模块基于配准结果进行图像拼接,组合计算模块和拼接模块可以归属于相互独立的两个设备,如组合计算模块为设备1中的模块、拼接模块为设备2(如移动设备)中的模块,组合计算模块和拼接模块也可以归属于同一设备,如组合计算模块和拼接模块均为移动设备中的模块。
下面对本申请实施例提供的图像配准方法进行介绍,参见图1所示,该方法包括:
步骤101、获取待配准的第一图像和第二图像进行特征点匹配对应的特征点集合,所述特征点集合包括多个特征点对。
本申请实施例提供的第一图像和第二图像为在不同点位拍摄的、待配准图像,针对待配准的第一图像和第二图像,对其进行图像特征点提取,并对所提取的特征点进行特征点匹配,获取包括多个特征点对的特征点集合。每个特征点对包括归属于第一图像的一特征点以及归属于第二图像的一特征点,且两个特征点为相匹配的特征点。
步骤102、基于所述特征点集合,迭代筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对的过程,在满足迭代结束条件时获取N次迭代对应的M个第一集合,M小于或者等于N,所述第一集合包括一次对应迭代所筛选出的目标特征点对。
在通过特征点匹配确定特征点集合之后,在特征点集合中筛选特征点对、基于所筛选的特征点对确定第一图像和第二图像之间的第一相对位姿(初始相对位姿),然后检测第一相对位姿是否满足限制条件,在第一相对位姿不满足限制条件的情况下,结束此次流程,重新在特征点集合中筛选特征点对进行下一次流程,若第一相对位姿满足限制条件,则基于第一相对位姿在特征点集合中筛选目标特征点对,在筛选出目标特征点对后结束此次流程,并重新在特征点集合中筛选特征点对进行下一次流程。
需要说明的是,在基于第一相对位姿在特征点集合中筛选目标特征点对的过程中,需要基于第一相对位姿确定新相对位姿,在新相对位姿满足限制条件时,可以基于新相对位姿在特征点集合中确定目标特征点对,但由于存在新相对位姿不满限制条件的情况,此时需要结束流程,重新在特征点集合中筛选特征点对进行下一次流程。
每次结束流程表征一次迭代结束,在经过N次迭代确定满足迭代结束条件时,获取N次迭代对应的M个第一集合。由于并非每次迭代都可以获取第一集合,因此M的取值小于或者等于N,具体来说:若每次迭代都可以获取第一集合,M的取值等于N,否则M的取值小于N。
步骤103、在所述M个第一集合中确定目标集合,基于所述目标集合所对应的目标特征点对确定第二相对位姿。
在通过上述迭代过程确定M个第一集合之后,可以通过预设打分策略在M个第一集合中确定最优的目标集合,然后根据目标集合中所包括的目标特征点对确定第一图像和第二图像的第二相对位姿,实现基于在特征点集合中筛选出的高质量目标特征点对确定第二相对位姿。
步骤104、对所述第一图像和所述第二图像进行尺度统一处理确定目标尺度,并基于所述目标尺度和所述第二相对位姿确定目标相对位姿。
步骤103所确定的第二相对位姿未考虑第一图像和第二图像的尺度,因此需要对第一图像和第二图像进行尺度统一处理,以确定目标尺度,然后基于目标尺度对第二相对位姿进行尺度调整,以通过尺度调整确定第一图像和第二图像的目标相对位姿。
在对第一图像和第二图像进行尺度统一处理时,可以基于第一图像和第二图像的图像特征点进行尺度统一处理,也可以基于第一图像和第二图像的深度信息进行尺度统一处理。
步骤105、基于所述目标相对位姿确定所述第一图像和所述第二图像进行图像配准的最终相对位姿。
在基于尺度统一确定第一图像和第二图像之间的目标相对位姿之后,可以直接将目标相对位姿确定为进行图像配准的最终相对位姿。
作为可选实施方式,在确定目标相对位姿之后,可以将目标相对位姿与基于其他手段确定的相对位姿信息进行比较,确定出最合理的相对位姿作为最终结果。基于其他手段确定的相对位姿信息可以包括例如基于点云信息确定的相对位姿信息、基于图像语义信息确定的相对位姿信息;且点云信息可以基于深度图确定,也可以基于激光扫描确定。在将目标相对位姿与基于其他手段确定的相对位姿信息进行比较时,可以对目标相对位姿与基于其他手段确定的相对位姿信息进行评分,基于评分结果确定出最合理的相对位姿。
需要说明的是,基于其他手段所确定的相对位姿信息可以为基于现有技术的位姿方案所确定,通常情况下,基于其他手段所确定的相对位姿信息的合理程度小于目标相对位姿的合理程度,将目标相对位姿与基于其他手段确定的相对位姿信息进行比较,目的是进一步地验证目标相对位姿的合理度。
本申请上述实施方案,在获取第一图像和第二图像进行特征点匹配对应的包括多个特征点对的特征点集合后,在特征点集合中筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对,并重复该过程以通过多次迭代筛选出M个包括目标特征点对的第一集合,在M个第一集合中确定最优的目标集合,根据目标集合对应的目标特征点对确定第二相对位姿,实现基于筛选出的高质量目标特征点对确定第二相对位姿,在对第一图像和第二图像进行尺度统一处理确定目标尺度后,基于目标尺度对第二相对位姿进行尺度调整,以通过尺度调整确定目标相对位姿,基于目标相对位姿确定图像配准的最终相对位姿,可以实现便捷且准确地计算图像之间的相对位姿,基于相对位姿实现图像的精确配准,以在图像拼接场景获得稳定、高效的拼接结果,保证图像拼接的质量,且可以为AR、VR以及MR场景提供基础的定位能力,保证三维建模的效果。
下面对获取特征点集合的过程进行介绍,在获取待配准的第一图像和第二图像进行特征点匹配对应的特征点集合时,包括:
对经过垂直矫正的所述第一图像和所述第二图像进行特征点提取;
对所述第一图像对应的特征点和所述第二图像对应的特征点进行初步特征匹配,获取包括特征点对的匹配结果;
基于GMS算法对所述匹配结果中的特征点对进行筛选,确定所述特征点集合。
在对第一图像和第二图像进行特征点提取之前,可以对第一图像和第二图像进行垂直矫正,使得整体图像是垂直的。在完成矫正之后,对矫正之后的第一图像和第二图像进行特征点提取,在进行特征点提取时,可以使用类似ORB(Oriented FAST and RotatedBRIEF,尺度不变特征变化)的方法进行图像特征点提取,还可以采用hahog特征提取算法或者其他特征提取算法进行图像特征点提取。
在通过特征点提取获取第一图像和第二图像分别对应的特征点之后,对第一图像的特征点和第二图像的特征点进行初步特征匹配(暴力匹配),通过初步特征匹配获取匹配结果,匹配结果包括经过初步特征匹配所确定的特征点对。也可以是基于深度学习LoFTR(detector-free local feature matching with Transformers)算法完成特征点提取以及暴力匹配的过程。
在基于初步特征匹配确定包括特征点对的匹配结果之后,基于GMS(Grid-basedMotion Statistics)算法在匹配结果中筛选特征点对,基于筛选出的特征点对生成特征点集合。GMS算法是为了快速提纯匹配集而提出的一种基于网格的运动统计方法,在基于初步匹配获取匹配结果之后,在此基础上基于GMS算法进行特征点对的提纯,以通过特征点匹配、特征点对提纯确定特征点集合。
上述实施方案,在对经过矫正的图像进行特征点提取后、经初步匹配确定包括特征点对的匹配结果,基于GMS算法对匹配结果中的特征点对进行提纯,实现经过两次特征匹配确定出第一图像和第二图像对应的特征点集合。
下面对经过多次迭代确定M个第一集合的过程进行介绍,在基于特征点集合,迭代筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对的过程,在满足迭代结束条件时获取N次迭代对应的M个第一集合时,包括:
在所述特征点集合中筛选K个特征点对,基于所述K个特征点对确定所述第一相对位姿,在所述第一相对位姿不满足所述限制条件时结束本次迭代、继续下一次迭代,在所述第一相对位姿满足所述限制条件时、基于所述第一相对位姿确定新相对位姿;
在所述新相对位姿不满足所述限制条件时结束本次迭代、继续下一次迭代,在所述新相对位姿满足所述限制条件时,基于所述新相对位姿确定本次迭代对应的第一集合、继续下一次迭代;
在迭代次数达到预设次数或者所述特征点集合中特征点对的选取率大于阈值时,停止迭代、获取M个第一集合;
其中,所述预设次数为N次,所述限制条件为相对位姿对应的非主方向的角度小于一设定值。
在首次迭代时,在特征点集合中筛选K个特征点对,如基于8点法在特征点集合中筛选8个特征点对,或者,基于5点法在特征点集合中筛选5个特征点对,或者,基于8点法在特征点集合中筛选8个特征点对并基于5点法在特征点集合中筛选5个特征点对。在筛选出K个特征点对之后,基于所筛选出的K个特征点对确定第一相对位姿。
针对筛选8个特征点对或者筛选5个特征点对的情况,可以基于8个特征点对或者5个特征点对确定4个相对位姿,对所确定的4个相对位姿进行打分,确定最优的一个相对位姿为第一相对位姿。针对筛选8个特征点对和5个特征点对的情况,可以基于8个特征点对确定4个相对位姿、基于5个特征点对确定4个相对位姿,对所确定的8个相对位姿进行打分,确定最优的一个相对位姿为第一相对位姿。
其中,在基于特征点对确定4个相对位姿时,可以利用SVD(Singular ValueDecomposition,奇异值分解)算法或者其他手段得到一系列的相对位姿;在对相对位姿进行打分时,可以将例如辛普森距离作为打分的标准进行打分。
基于相对位姿可确定一个主方向的欧拉角和两个非主方向的欧拉角,在确定第一相对位姿(初始相对位姿)之后,检测第一相对位姿对应的非主方向的角度是否小于一设定值,若小于则表明第一相对位姿满足限制条件,可以继续后续流程,若第一相对位姿不满足限制条件,则首次迭代结束,可以重新在特征点集合中筛选K个特征点对进行下一次迭代,且第二次迭代所筛选的K个特征点对与首次迭代对应的K个特征点对均为随机筛选出的特征点对。
在第一相对位姿满足限制条件时,需要基于第一相对位姿确定新相对位姿。在基于所述第一相对位姿确定新相对位姿时,包括:根据所述第一相对位姿,在所述特征点集合中筛选出与所述第一相对位姿匹配的第一特征点对;基于位姿求解优化算法对所述第一特征点对进行处理,获取所述新相对位姿;其中,所述特征点集合中被选取的特征点对包括所述第一特征点对。
在确定新相对位姿时,首先基于第一相对位姿在特征点集合中筛选出与第一相对位姿匹配的第一特征点对,然后采用位姿求解优化算法对所筛选出的与第一相对位姿匹配的第一特征点对进行位姿优化求解,得到新相对位姿,实现基于特征点对筛选、特征点对位姿优化求解确定新相对位姿。
在确定新相对位姿之后,检测新相对位姿对应的非主方向的角度是否小于一设定值,若小于则表明新相对位姿满足限制条件,可以继续后续流程,若新相对位姿不满足限制条件,则首次迭代结束,继续下一次迭代。在新相对位姿满足限制条件时,需要基于新相对位姿确定本次迭代对应的第一集合,然后继续下一次迭代。
在基于新相对位姿确定本次迭代对应的第一集合时,包括:基于所述新相对位姿,在所述特征点集合中筛选出与所述新相对位姿匹配的第二特征点对,将所述第二特征点对确定为所述目标特征点对,以确定本次迭代对应的第一集合;其中,所述特征点集合中被选取的特征点对包括所述第二特征点对。
首先基于新相对位姿在特征点集合中进行特征点对的筛选,筛选出与新相对位姿匹配的第二特征点对,然后将所筛选出的第二特征点对确定为本次迭代对应的目标特征点对,以获取本次迭代对应的第一集合,实现在基于第一相对位姿确定新相对位姿的基础上,利用新相对位姿进行特征点对的筛选,以获取高质量的特征点对。
重复上述过程,在迭代次数达到预设次数时确定满足迭代结束条件,或者,在特征点集合中的特征点对的选取率大于阈值时确定满足迭代结束条件。在满足迭代结束条件的情况下停止迭代、统计迭代过程对应的M个第一集合。
其中,迭代过程共对应于N次迭代,满足迭代结束条件的预设次数为N次;特征点集合中特征点对的选取率为已经选取的特征点对占特征点集合对应的全部特征点对的百分比,在特征点对的选取率大于阈值时对应的迭代次数为N次。在迭代的初步阶段所筛选的K个特征点对、基于第一相对位姿所筛选出的与第一相对位姿匹配的第一特征点对、基于新相对位姿所筛选出的与新相对位姿匹配的第二特征点对,均作为特征点集合中被选取的特征点对。
作为举例,通过一具体实施流程对迭代过程再次进行介绍,参见图2:
步骤201、在特征点集合中筛选8个特征点对,基于8个特征点对确定第一相对位姿。
步骤202、检测第一相对位姿是否满足限制条件。若不满足限制条件则执行步骤206,若满足限制条件则执行步骤203。
步骤203、根据第一相对位姿,在特征点集合中筛选出与第一相对位姿匹配的第一特征点对,基于位姿求解优化算法对第一特征点对进行处理,获取新相对位姿。
步骤204、检测新相对位姿是否满足限制条件。若不满足限制条件则执行步骤206,若满足限制条件则执行步骤205。
步骤205、基于新相对位姿,在特征点集合中筛选出与新相对位姿匹配的第二特征点对,将第二特征点对确定为目标特征点对、确定本次迭代对应的第一集合,然后执行步骤206。
步骤206、结束当前迭代、继续下一次迭代,返回至步骤201。
在迭代次数达到预设次数时或者特征点集合中特征点对的选取率大于阈值时,结束迭代、获取迭代过程对应的M个第一集合。
上述实施方案,基于第一相对位姿不满足限制条件、新相对位姿不满足限制条件、已获取第一集合的触发条件结束一次迭代,在经过多次迭代确定满足迭代结束条件时,获取N次迭代对应的M个第一集合,实现基于迭代过程在特征点集合中筛选M个第一集合(包括目标特征点对),以便于后续基于所筛选出的目标特征点对重新确定相对位姿。
本申请实施例在确定第二相对位姿时提供一可选实施方案,所述在所述M个第一集合中确定目标集合,基于所述目标集合所对应的目标特征点对确定第二相对位姿,包括:
针对每个第一集合,采用预设打分策略对所述第一集合对应的目标特征点对和新相对位姿进行打分,确定M个分值;
将最优分值对应的第一集合确定为所述目标集合;
基于位姿求解优化算法对所述目标集合中的目标特征点对进行处理,获取所述第二相对位姿。
在基于迭代过程确定M个第一集合之后,针对M个第一集合中的每一个集合,基于预设打分策略对第一集合对应的新相对位姿和第一集合所包括的目标特征点对进行打分,获取各第一集合分别对应的分值。即,打分的对象为新相对位姿和基于新相对位姿确定的目标特征点对。在得到M个分值之后,将M个分值中的最优分值(如最小分值,基于打分策略确定,如打分策略中认为分数越小越合理)对应的第一集合确定为目标集合,实现在M个第一集合中基于评分情况筛选出最优的目标集合。
在确定目标集合之后,基于位姿求解优化算法对目标集合中的目标特征点对进行位姿优化求解,得到第二相对位姿,实现基于集合筛选、特征点对的位姿优化求解确定第二相对位姿。
上述实施方案,在基于迭代过程确定M个第一集合之后,采用评分策略在M个第一集合中筛选出目标集合,对目标集合中的目标特征点对进行位姿优化求解,实现基于筛选出的高质量特征点对确定第一图像和第二图像之间的第二相对位姿。
本申请实施例在对第一图像和第二图像进行尺度统一处理时,可以基于图像深度信息和/或图像语义信息,也可以基于特征点对。在基于特征点对进行尺度统一处理时,包括:
在所述特征点集合中筛选出与所述第二相对位姿匹配的第三特征点对;
基于所述第三特征点对构建3D地图点;
基于所构建的3D地图点对所述第一图像和所述第二图像进行尺度统一处理,确定所述目标尺度。
在基于特征点对进行尺度统一处理时,需要基于第二相对位姿在特征点集合中筛选出与第二相对位姿匹配的第三特征点对,在筛选出与第二相对位姿匹配的第三特征点对之后,根据筛选出的第三特征点对构建3D地图点,每个第三特征点对可构建一对应的3D地图点。然后根据所构建的3D地图点对第一图像和第二图像进行尺度统一处理。
在基于图像深度信息和/或图像语义信息进行尺度统一处理时,可基于第一图像和第二图像分别对应的深度图信息,对二者进行尺度统一;也可以基于第一图像和第二图像分别对应的语义信息(如门对齐,墙线对齐等),对二者进行尺度统一;还可以是在第一图像和第二图像分别对应的深度图信息的基础上,添加第一图像和第二图像分别对应的语义信息,对二者进行尺度统一。基于深度图信息、语义信息进行尺度统一属于现有方案,这里不再详细介绍。
通过基于特征点对进行图像尺度统一,可以在确定第二相对位姿之后,基于与第二相对位姿匹配的特征点对统一待配准图像的尺度,以实现基于筛选出的与图像相对姿态匹配的特征点对统一尺度;通过采用深度图信息和/或语义信息进行尺度统一,可以提供至少一种尺度统一方式。
其中,基于所构建的3D地图点对所述第一图像和所述第二图像进行尺度统一处理,确定所述目标尺度,包括:
基于3D地图点对应的角度信息对所构建的3D地图点进行过滤,确定多个第一3D地图点;
基于目标3D地图点的深度信息确定归一化深度比值scale1,基于scale1对多个第一3D地图点进行归一化,获取多个第一3D地图点分别对应的归一化深度信息,所述目标3D地图点为多个第一3D地图点中深度信息为中间值的3D地图点;
针对每个第一3D地图点,基于所述第一3D地图点对应的归一化深度信息与三角化深度信息的比值确定scale_i,并在多个scale_i中查找中间值确定scale2;
基于scale_i的最大值和最小值确定目标区间,对目标区间进行P等分确定P个子区间,基于各子区间分别对应的scale_i确定各子区间分别对应的均值scale_mean_i;
基于scale2*scale1和scale_mean_i*scale1确定(P+1)个尺度;
计算(P+1)个尺度分别对应的尺度评分,确定目标尺度。
在基于第三特征点对构建3D地图点之后,可针对每个3D地图点,基于3D地图点和其对应的特征点对确定3D地图点对应的角度信息,然后基于3D地图点对应的角度信息对所构建的3D地图点进行过滤,以基于角度信息筛选出角度信息大于一设定角度阈值的3D地图点,实现筛选符合角度条件的第一3D地图点。
在通过筛选确定多个第一3D地图点之后,基于第一3D地图点对应的深度信息,对多个第一3D地图点进行排序,在多个第一3D地图点中确定深度信息为中间值的目标3D地图点,然后基于目标3D地图点的深度信息确定归一化深度比值scale1,基于scale1对多个第一3D地图点进行归一化处理,确定多个第一3D地图点分别对应的归一化深度信息。
第一3D地图点对应的深度信息为第一3D地图点对应的特征点对中的某个特征点的深度信息;归一化深度比值scale1基于目标3D地图点的初始深度信息与归一化深度信息的比值确定,如,目标3D地图点的初始深度信息为2,则scale1为2与1之比,即归一化深度比值scale1为2。在确定scale1之后,基于scale1对多个第一3D地图点进行归一化处理,归一化处理的实际意义为基于第一3D地图点的初始深度信息和scale1的倒数的乘积确定第一3D地图点对应的归一化深度信息。
在对第一3D地图点进行归一化处理后,针对每个第一3D地图点,计算第一3D地图点对应的归一化深度信息与第一3D地图点对应的三角化深度信息的比值,确定第一3D地图点对应的scale_i,scale_i为在图像特征点维度计算出来的深度值和基于深度数据计算出来的深度值的比值。并在多个scale_i中查找中间值确定出scale2。第一3D地图点对应的三角化深度信息为第一3D地图点对应的特征点对中的某个特征点的三角化深度信息,该特征点与用于确定3D地图点的深度信息的特征点属于同一特征点,且求解三角化深度信息的手段为现有技术,这里不再赘述。
在确定多个scale_i之后,对多个scale_i进行排序确定最大值和最小值,基于最大值和最小值确定目标区域(闭区间),然后针对目标区间进行等分确定P个子区间,针对每个子区间,统计该子区间内的scale_i,并计算均值确定该子区间对应的scale_mean_i,由于可能存在子区间内无scale_i的情况,则该子区间对应的scale_mean_i为0,若子区间内包括一个scale_i,则scale_i即为scale_mean_i。
在确定P个scale_mean_i、scale2以及scale1之后,基于scale2*scale1、scale_mean_i*scale1确定(P+1)个尺度。scale1为归一化深度比值,scale2为图像特征点维度的深度值与基于深度数据计算出来的深度值的比值,通过计算scale2*scale1,进行尺度求解;相应的,scale_mean_i为子区间内scale_i的均值,为图像特征点维度的深度值与基于深度数据计算出来的深度值的比值在子区间内的均值,通过计算scale_mean_i*scale1进行尺度求解。
在确定(P+1)个尺度之后,对(P+1)个尺度进行尺度评分,基于评分情况在(P+1)个尺度中确定出最优尺度,将最优尺度确定为目标尺度。在对(P+1)个尺度进行尺度评分时,可以基于现有的尺度评分策略,这里不再详细阐述。
上述对通过尺度统一、确定目标尺度的过程进行了介绍,在确定目标尺度之后,可以根据目标尺度对第一图像和第二图像的第二相对位姿进行尺度调整,确定恢复目标尺度后的目标相对位姿,实现在基于特征点对确定相对姿态的基础上融合尺度情况确定第一图像和第二图像的目标相对位姿。
通常情况下,目标相对位姿为图像配准的最终相对位姿,也可以将目标相对位姿与通过其他手段确定的相对位姿信息进行比较,以确定出合理位姿。
在确定第一图像和第二图像的最终相对位姿之后,基于最终相对位姿可以对第一图像和第二图像进行拼接,也可以基于最终相对位姿为三维场景提供基础定位能力。下面以图像拼接场景应用本申请实施例的图像配准方法为例,对图像拼接的过程进行介绍,参见图3:
步骤301、移动设备在拍摄点位1进行图像采集获取第一图像。
步骤302、移动设备变更拍摄点位,在拍摄点位2进行图像采集获取第二图像。
步骤303、对第一图像和第二图像进行特征点提取、基于提取的特征点进行特征匹配确定包括多个特征点对的特征点集合。
步骤304、基于特征点集合,迭代筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对的过程,在满足迭代结束条件时获取M个第一集合。
步骤305、在M个第一集合中确定目标集合,基于目标集合所对应的目标特征点对确定第二相对位姿。
步骤306、基于与第二相对位姿匹配的特征点对确定目标尺度,基于目标尺度和第二相对位姿确定目标相对位姿。
步骤307、基于目标相对位姿拼接第一图像和第二图像,获取拼接图像。
上述实施流程,可以实现便捷且准确地计算图像之间的相对位姿,以基于相对位姿实现图像的精确配准,进而在图像拼接场景获得稳定、高效的拼接结果。
以上为本申请提供的图像配准方法的整体实施方案,在获取第一图像和第二图像进行特征点匹配对应的包括多个特征点对的特征点集合后,在特征点集合中筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对,并重复该过程以通过多次迭代筛选出M个包括目标特征点对的第一集合,在M个第一集合中确定最优的目标集合,根据目标集合对应的目标特征点对确定第二相对位姿,实现基于筛选出的高质量目标特征点对确定第二相对位姿,在对第一图像和第二图像进行尺度统一处理确定目标尺度后,基于目标尺度对第二相对位姿进行尺度调整,以通过尺度调整确定目标相对位姿,基于目标相对位姿确定图像配准的最终相对位姿,可以实现便捷且准确地计算图像之间的相对位姿,基于相对位姿实现图像的精确配准,以在图像拼接场景获得稳定、高效的拼接结果,保证图像拼接的质量,且可以为AR、VR以及MR场景提供基础的定位能力,保证三维建模的效果。
进一步地,在基于初步匹配确定匹配结果的基础上,采用GMS算法对匹配结果中的特征点对进行提纯,可实现经过两次特征匹配确定特征点集合,保证特征点集合中特征点对的质量;通过基于位姿求解优化算法对目标集合中的目标特征点对进行位姿优化求解,可实现基于集合筛选、特征点对的位姿优化求解确定较优的相对位姿;通过基于目标尺度对第二相对位姿进行尺度调整,确定恢复目标尺度后的目标相对位姿,可实现在基于特征点对确定相对姿态的基础上融合尺度情况确定目标相对位姿。
本申请实施例提供一种图像配准装置,参见图4,该装置包括:
获取模块401,用于获取待配准的第一图像和第二图像进行特征点匹配对应的特征点集合,所述特征点集合包括多个特征点对;
处理模块402,用于基于所述特征点集合,迭代筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对的过程,在满足迭代结束条件时获取N次迭代对应的M个第一集合,M小于或者等于N,所述第一集合包括一次对应迭代所筛选出的目标特征点对;
第一确定模块403,用于在所述M个第一集合中确定目标集合,基于所述目标集合所对应的目标特征点对确定第二相对位姿;
第二确定模块404,用于对所述第一图像和所述第二图像进行尺度统一处理确定目标尺度,并基于所述目标尺度和所述第二相对位姿确定目标相对位姿;
第三确定模块405,用于基于所述目标相对位姿确定所述第一图像和所述第二图像进行图像配准的最终相对位姿。
可选地,所述获取获取包括:
提取子模块,用于对经过垂直矫正的所述第一图像和所述第二图像进行特征点提取;
获取子模块,用于对所述第一图像对应的特征点和所述第二图像对应的特征点进行初步特征匹配,获取包括特征点对的匹配结果;
筛选确定子模块,用于基于GMS算法对所述匹配结果中的特征点对进行筛选,确定所述特征点集合。
可选地,所述处理模块包括:
第一处理子模块,用于在所述特征点集合中筛选K个特征点对,基于所述K个特征点对确定所述第一相对位姿,在所述第一相对位姿不满足所述限制条件时结束本次迭代、继续下一次迭代,在所述第一相对位姿满足所述限制条件时、基于所述第一相对位姿确定新相对位姿;
第二处理子模块,用于在所述新相对位姿不满足所述限制条件时结束本次迭代、继续下一次迭代,在所述新相对位姿满足所述限制条件时,基于所述新相对位姿确定本次迭代对应的第一集合、继续下一次迭代;
第三处理子模块,用于在迭代次数达到预设次数或者所述特征点集合中特征点对的选取率大于阈值时,停止迭代、获取M个第一集合;
其中,所述预设次数为N次,所述限制条件为相对位姿对应的非主方向的角度小于一设定值。
可选地,所述第一处理子模块包括:
筛选单元,用于根据所述第一相对位姿,在所述特征点集合中筛选出与所述第一相对位姿匹配的第一特征点对;
处理获取单元,用于基于位姿求解优化算法对所述第一特征点对进行处理,获取所述新相对位姿;
其中,所述特征点集合中被选取的特征点对包括所述第一特征点对。
可选地,所述第二处理子模块进一步用于:
基于所述新相对位姿,在所述特征点集合中筛选出与所述新相对位姿匹配的第二特征点对,将所述第二特征点对确定为所述目标特征点对,以确定本次迭代对应的第一集合;
其中,所述特征点集合中被选取的特征点对包括所述第二特征点对。
可选地,所述第一确定模块包括:
第一确定子模块,用于针对每个第一集合,采用预设打分策略对所述第一集合对应的目标特征点对和新相对位姿进行打分,确定M个分值;
第二确定子模块,用于将最优分值对应的第一集合确定为所述目标集合;
处理获取子模块,用于基于位姿求解优化算法对所述目标集合中的目标特征点对进行处理,获取所述第二相对位姿。
可选地,所述第二确定模块包括:
筛选子模块,用于在所述特征点集合中筛选出与所述第二相对位姿匹配的第三特征点对;
构建子模块,用于基于所述第三特征点对构建3D地图点;
第三确定子模块,用于基于所构建的3D地图点对所述第一图像和所述第二图像进行尺度统一处理,确定所述目标尺度。
可选地,所述第三确定子模块包括:
过滤确定单元,用于基于3D地图点对应的角度信息对所构建的3D地图点进行过滤,确定多个第一3D地图点;
处理单元,用于基于目标3D地图点的深度信息确定归一化深度比值scale1,基于scale1对多个第一3D地图点进行归一化,获取多个第一3D地图点分别对应的归一化深度信息,所述目标3D地图点为多个第一3D地图点中深度信息为中间值的3D地图点;
第一确定单元,用于针对每个第一3D地图点,基于所述第一3D地图点对应的归一化深度信息与三角化深度信息的比值确定scale_i,并在多个scale_i中查找中间值确定scale2;
第二确定单元,用于基于scale_i的最大值和最小值确定目标区间,对目标区间进行P等分确定P个子区间,基于各子区间分别对应的scale_i确定各子区间分别对应的均值scale_mean_i;
第三确定单元,用于基于scale2*scale1和scale_mean_i*scale1确定(P+1)个尺度;
计算确定单元,用于计算(P+1)个尺度分别对应的尺度评分,确定目标尺度。
可选地,所述第二确定模块进一步用于:
根据所述目标尺度对所述第二相对位姿进行尺度调整,确定恢复所述目标尺度后的目标相对位姿。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例还提供了一种电子设备,包括:处理器,存储器,存储在存储器上并可在处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述图像配准方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
举例如下,图5示出了一种电子设备的实体结构示意图。如图5所示,该电子设备可以包括:处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,处理器510用于执行以下步骤:获取待配准的第一图像和第二图像进行特征点匹配对应的特征点集合,所述特征点集合包括多个特征点对;基于所述特征点集合,迭代筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对的过程,在满足迭代结束条件时获取N次迭代对应的M个第一集合,M小于或者等于N,所述第一集合包括一次对应迭代所筛选出的目标特征点对;在所述M个第一集合中确定目标集合,基于所述目标集合所对应的目标特征点对确定第二相对位姿;对所述第一图像和所述第二图像进行尺度统一处理确定目标尺度,并基于所述目标尺度和所述第二相对位姿确定目标相对位姿;基于所述目标相对位姿确定所述第一图像和所述第二图像进行图像配准的最终相对位姿。处理器510还可以执行本申请实施例中的其他方案,这里不再进一步阐述。
此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述图像配准方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
本领域普通技术人员可以意识到,结合本申请实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (12)
1.一种图像配准方法,其特征在于,包括:
获取待配准的第一图像和第二图像进行特征点匹配对应的特征点集合,所述特征点集合包括多个特征点对;
基于所述特征点集合,迭代筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对的过程,在满足迭代结束条件时获取N次迭代对应的M个第一集合,M小于或者等于N,所述第一集合包括一次对应迭代所筛选出的目标特征点对;
在所述M个第一集合中确定目标集合,基于所述目标集合所对应的目标特征点对确定第二相对位姿;
对所述第一图像和所述第二图像进行尺度统一处理确定目标尺度,并基于所述目标尺度和所述第二相对位姿确定目标相对位姿;
基于所述目标相对位姿确定所述第一图像和所述第二图像进行图像配准的最终相对位姿。
2.根据权利要求1所述的方法,其特征在于,所述获取待配准的第一图像和第二图像进行特征点匹配对应的特征点集合,包括:
对经过垂直矫正的所述第一图像和所述第二图像进行特征点提取;
对所述第一图像对应的特征点和所述第二图像对应的特征点进行初步特征匹配,获取包括特征点对的匹配结果;
基于GMS算法对所述匹配结果中的特征点对进行筛选,确定所述特征点集合。
3.根据权利要求1所述的方法,其特征在于,所述基于所述特征点集合,迭代筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对的过程,在满足迭代结束条件时获取N次迭代对应的M个第一集合,包括:
在所述特征点集合中筛选K个特征点对,基于所述K个特征点对确定所述第一相对位姿,在所述第一相对位姿不满足所述限制条件时结束本次迭代、继续下一次迭代,在所述第一相对位姿满足所述限制条件时、基于所述第一相对位姿确定新相对位姿;
在所述新相对位姿不满足所述限制条件时结束本次迭代、继续下一次迭代,在所述新相对位姿满足所述限制条件时,基于所述新相对位姿确定本次迭代对应的第一集合、继续下一次迭代;
在迭代次数达到预设次数或者所述特征点集合中特征点对的选取率大于阈值时,停止迭代、获取M个第一集合;
其中,所述预设次数为N次,所述限制条件为相对位姿对应的非主方向的角度小于一设定值。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第一相对位姿确定新相对位姿,包括:
根据所述第一相对位姿,在所述特征点集合中筛选出与所述第一相对位姿匹配的第一特征点对;
基于位姿求解优化算法对所述第一特征点对进行处理,获取所述新相对位姿;
其中,所述特征点集合中被选取的特征点对包括所述第一特征点对。
5.根据权利要求3所述的方法,其特征在于,所述基于所述新相对位姿确定本次迭代对应的第一集合,包括:
基于所述新相对位姿,在所述特征点集合中筛选出与所述新相对位姿匹配的第二特征点对,将所述第二特征点对确定为所述目标特征点对,以确定本次迭代对应的第一集合;
其中,所述特征点集合中被选取的特征点对包括所述第二特征点对。
6.根据权利要求3所述的方法,其特征在于,所述在所述M个第一集合中确定目标集合,基于所述目标集合所对应的目标特征点对确定第二相对位姿,包括:
针对每个第一集合,采用预设打分策略对所述第一集合对应的目标特征点对和新相对位姿进行打分,确定M个分值;
将最优分值对应的第一集合确定为所述目标集合;
基于位姿求解优化算法对所述目标集合中的目标特征点对进行处理,获取所述第二相对位姿。
7.根据权利要求1所述的方法,其特征在于,所述对所述第一图像和所述第二图像进行尺度统一处理确定目标尺度,包括:
在所述特征点集合中筛选出与所述第二相对位姿匹配的第三特征点对;
基于所述第三特征点对构建3D地图点;
基于所构建的3D地图点对所述第一图像和所述第二图像进行尺度统一处理,确定所述目标尺度。
8.根据权利要求7所述的方法,其特征在于,所述基于所构建的3D地图点对所述第一图像和所述第二图像进行尺度统一处理,确定所述目标尺度,包括:
基于3D地图点对应的角度信息对所构建的3D地图点进行过滤,确定多个第一3D地图点;
基于目标3D地图点的深度信息确定归一化深度比值scale1,基于scale1对多个第一3D地图点进行归一化,获取多个第一3D地图点分别对应的归一化深度信息,所述目标3D地图点为多个第一3D地图点中深度信息为中间值的3D地图点;
针对每个第一3D地图点,基于所述第一3D地图点对应的归一化深度信息与三角化深度信息的比值确定scale_i,并在多个scale_i中查找中间值确定scale2;
基于scale_i的最大值和最小值确定目标区间,对目标区间进行P等分确定P个子区间,基于各子区间分别对应的scale_i确定各子区间分别对应的均值scale_mean_i;
基于scale2*scale1和scale_mean_i*scale1确定(P+1)个尺度;
计算(P+1)个尺度分别对应的尺度评分,确定目标尺度。
9.根据权利要求1所述的方法,其特征在于,所述基于所述目标尺度和所述第二相对位姿确定目标相对位姿,包括:
根据所述目标尺度对所述第二相对位姿进行尺度调整,确定恢复所述目标尺度后的目标相对位姿。
10.一种图像配准装置,其特征在于,包括:
获取模块,用于获取待配准的第一图像和第二图像进行特征点匹配对应的特征点集合,所述特征点集合包括多个特征点对;
处理模块,用于基于所述特征点集合,迭代筛选特征点对获取第一相对位姿、基于满足限制条件的第一相对位姿筛选目标特征点对的过程,在满足迭代结束条件时获取N次迭代对应的M个第一集合,M小于或者等于N,所述第一集合包括一次对应迭代所筛选出的目标特征点对;
第一确定模块,用于在所述M个第一集合中确定目标集合,基于所述目标集合所对应的目标特征点对确定第二相对位姿;
第二确定模块,用于对所述第一图像和所述第二图像进行尺度统一处理确定目标尺度,并基于所述目标尺度和所述第二相对位姿确定目标相对位姿;
第三确定模块,用于基于所述目标相对位姿确定所述第一图像和所述第二图像进行图像配准的最终相对位姿。
11.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的图像配准方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的图像配准方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311550923.XA CN117557611A (zh) | 2023-11-20 | 2023-11-20 | 图像配准方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311550923.XA CN117557611A (zh) | 2023-11-20 | 2023-11-20 | 图像配准方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117557611A true CN117557611A (zh) | 2024-02-13 |
Family
ID=89818131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311550923.XA Pending CN117557611A (zh) | 2023-11-20 | 2023-11-20 | 图像配准方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117557611A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118115716A (zh) * | 2024-03-05 | 2024-05-31 | 北京大希科技有限公司 | 一种融合视觉和ar技术的高精度定位方法 |
-
2023
- 2023-11-20 CN CN202311550923.XA patent/CN117557611A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118115716A (zh) * | 2024-03-05 | 2024-05-31 | 北京大希科技有限公司 | 一种融合视觉和ar技术的高精度定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111445007B (zh) | 对抗生成神经网络的训练方法及系统 | |
US9521391B2 (en) | Settings of a digital camera for depth map refinement | |
CN111950723B (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
CN109389555B (zh) | 一种全景图像拼接方法及装置 | |
CN113160420B (zh) | 一种三维点云重建的方法、装置、电子设备及存储介质 | |
KR101965878B1 (ko) | 시각적 피처들을 이용한 이미지들의 자동 연결 | |
KR20170091496A (ko) | 양안 시차 영상의 처리 방법 및 장치 | |
CN111161331B (zh) | 一种bim模型和gis模型配准方法 | |
CN117557611A (zh) | 图像配准方法、装置、电子设备及存储介质 | |
CN112633156A (zh) | 车辆检测方法、图像处理装置以及计算机可读存储介质 | |
CN106575447A (zh) | 构建3d结构 | |
US20240257501A1 (en) | Feature map generation method and apparatus, storage medium, and computer device | |
CN112802081A (zh) | 一种深度检测方法、装置、电子设备及存储介质 | |
EP3496042A1 (en) | System and method for generating training images | |
CN112819937B (zh) | 一种自适应多对象光场三维重建方法、装置及设备 | |
CN109708655A (zh) | 导航方法、装置、车辆及计算机可读存储介质 | |
CN108876906A (zh) | 基于点云的全局平面优化建立虚拟三维模型的方法及装置 | |
CN111860287A (zh) | 一种目标检测方法及装置、存储介质 | |
EP3076370B1 (en) | Method and system for selecting optimum values for parameter set for disparity calculation | |
CN106296580A (zh) | 一种图像拼接的方法及装置 | |
KR20150130078A (ko) | 신장 트리 생성 방법 및 장치,스테레오 매칭 방법 및 장치,업 샘플링 방법 및 장치,및 기준 픽셀 생성 방법 및 장치 | |
CN112288748B (zh) | 一种语义分割网络训练、图像语义分割方法及装置 | |
KR101305732B1 (ko) | 비디오 검색을 위한 블록 생성 방법 및 이를 통해 생성된 블록을 기초로 한 질의 처리 방법 | |
CN111126135B (zh) | 一种基于统一划分的特征自适应行人再识别方法 | |
CN115272544B (zh) | 贴图方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |