CN111784622B - 一种基于无人机单目倾斜的图像拼接方法及相关装置 - Google Patents
一种基于无人机单目倾斜的图像拼接方法及相关装置 Download PDFInfo
- Publication number
- CN111784622B CN111784622B CN202010925730.8A CN202010925730A CN111784622B CN 111784622 B CN111784622 B CN 111784622B CN 202010925730 A CN202010925730 A CN 202010925730A CN 111784622 B CN111784622 B CN 111784622B
- Authority
- CN
- China
- Prior art keywords
- image
- coordinate system
- rotation matrix
- photogrammetric
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 114
- 238000012545 processing Methods 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 21
- 238000006073 displacement reaction Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- RDYMFSUJUZBWLH-UHFFFAOYSA-N endosulfan Chemical compound C12COS(=O)OCC2C2(Cl)C(Cl)=C(Cl)C1(Cl)C2(Cl)Cl RDYMFSUJUZBWLH-UHFFFAOYSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种基于无人机单目倾斜的图像拼接方法及相关装置,涉及无人机的图像拼接领域。该方法包括:获取无人机的相机发送的多张序列图像;获取第一图像的像空间‑摄影旋转矩阵;第一图像为多张序列图像中的第一帧图像;根据像空间‑摄影旋转矩阵,获取每张序列图像在摄影测量坐标系下的待拼接图像;根据所有的待拼接图像,获取目标图像;目标图像表征相机在摄影测量坐标系下采集的图像信息。将第一帧序列图像使用对应的像空间‑摄影旋转矩阵进行处理后,使得后续的序列图像确定在摄影测量坐标系下的待拼接图像,所有的待拼接图像使用一致的摄影测量坐标系,避免图像拼接平面出现错位。
Description
技术领域
本申请涉及无人机的图像拼接领域,具体而言,涉及一种基于无人机单目倾斜的图像拼接方法及相关装置。
背景技术
随着自动控制和无线传输等技术的发展,无人机在军事和民用上发展迅速。无人机搭载相机,可以快速的获得地面影像,便于实时对地面区域情况的获取。但是由于单帧图像有限,难以获得整个拍摄区域的情况。在摄影测量领域中,可以利用内业软件事后处理序列图像,获得高精度的正射图像、地形图和三维模型,但是其耗时长,无法实时获得。
视频图像拼接技术利用无人机系统实时传输的序列图像,在地面利用算法增量式获得飞行区域的全景图像。对于一些飞行任务,如公路巡检,河道巡检等,要求无人机不能在正上方飞行,相机无法保持测绘中常用的正摄状态,而是倾斜状态。单相机倾斜摄影带来了很多问题,如无法拟合出地平面,造成图像拼接错位严重;图像之间的单应变换关系错误,导致单应变换后的图像严重失真变形。
发明内容
有鉴于此,本申请的目的在于提供一种基于无人机单目倾斜的图像拼接方法及相关装置。
为了实现上述目的,本申请采用的技术方案如下:
第一方面,本申请提供一种基于无人机单目倾斜的图像拼接方法,所述方法包括:获取无人机的相机发送的多张序列图像;获取第一图像的像空间-摄影旋转矩阵;所述第一图像为所述多张序列图像中的第一帧图像,所述像空间-摄影旋转矩阵表征所述相机拍摄所述第一图像时,所述相机的像空间坐标系相对于摄影测量坐标系的旋转向量;根据所述像空间-摄影旋转矩阵,获取每张所述序列图像在所述摄影测量坐标系下的待拼接图像;根据所有的所述待拼接图像,获取目标图像;所述目标图像表征所述相机在所述摄影测量坐标系下采集的图像信息。
在可选的实施例中,根据所述像空间-摄影旋转矩阵,获取每张所述序列图像在所述摄影测量坐标系下的待拼接图像,包括:获取所述第一图像与第二图像的位移信息;所述第二图像为所述多张序列图像中,除所述第一图像外的任意一张图像;根据所述位移信息,将所述第一图像对应的像空间坐标系设置为图像重建的参考坐标系;所述参考坐标系的x-y平面与所述摄影测量坐标系的x-y平面平行,所述参考坐标系的z轴正方向与所述摄影测量坐标系的z轴负方向相同;根据所述参考坐标系,获取每张所述序列图像对应的待拼接图像。
在可选的实施例中,根据所述参考坐标系,获取每张所述序列图像对应的待拼接图像,包括:获取所述第二图像的倾斜角信息;所述倾斜角信息表征所述相机拍摄所述第二图像时的像空间坐标系的Z轴与所述摄影测量坐标系的Z轴的偏移角度;根据所述倾斜角信息和所述像空间-摄影旋转矩阵,获取坐标旋转矩阵;将所述第二图像按照所述坐标旋转矩阵进行坐标变换,以获取待拼接图像。
在可选的实施例中,所述倾斜角信息通过以下方式获取:
其中,为所述像空间坐标系的Z轴相对于所述摄影测量坐标系的Z轴的倾斜角信息;,为所述像空间坐标系相对于所述摄影测量坐标系的旋转向量,n i 为所述像空间坐标系的Z轴在所述像空间坐标系中对应的向量,为所述像空间坐标系的Z轴在所述摄影测量坐标系对应的向量;为所述摄影测量坐标系的Z轴在所述摄影测量坐标系中对应的向量。
在可选的实施例中,所述坐标旋转矩阵通过以下方式获取:
在可选的实施例中,获取第一图像的像空间-摄影旋转矩阵,包括:获取所述像空间坐标系到摄像机坐标系的第一旋转矩阵;所述摄像机坐标系是以拍摄所述第一图像时,所述相机的中心为原点的空间坐标系;获取所述摄像机坐标系到无人机坐标系的第二旋转矩阵;所述无人机坐标系是以拍摄所述第一图像时,所述无人机的中心为原点的空间坐标系;获取所述无人机坐标系到地理坐标系的第三旋转矩阵;获取所述地理坐标系到所述摄影测量坐标系的第四旋转矩阵;将所述第四旋转矩阵、所述第三旋转矩阵、所述第二旋转矩阵、所述第一旋转矩阵依次相乘,获取所述像空间-摄影旋转矩阵。
第二方面,本申请还提供一种基于无人机单目倾斜的图像拼接装置,所述装置包括:通信模块,用于获取无人机的相机发送的多张序列图像;获取模块,用于获取第一图像的像空间-摄影旋转矩阵;所述第一图像为所述多张序列图像中的第一帧图像,所述像空间-摄影旋转矩阵表征所述相机拍摄所述第一图像时,所述相机的像空间坐标系相对于摄影测量坐标系的旋转向量;处理模块,用于根据所述像空间-摄影旋转矩阵,获取每张所述序列图像在所述摄影测量坐标系下的待拼接图像;所述处理模块还用于根据所有的所述待拼接图像,获取目标图像;所述目标图像表征所述相机在所述摄影测量坐标系下采集的图像信息。
在可选的实施例中,所述处理模块还用于获取所述第一图像与第二图像的位移信息;所述第二图像为所述多张序列图像中,除所述第一图像外的任意一张图像;所述处理模块还用于根据所述位移信息,将所述第一图像对应的像空间坐标系设置为图像重建的参考坐标系;所述参考坐标系的x-y平面与所述摄影测量坐标系的x-y平面平行,所述参考坐标系的z轴正方向与所述摄影测量坐标系的z轴负方向相同;所述处理模块还用于根据所述参考坐标系,获取每张所述序列图像对应的待拼接图像。
第三方面,本申请提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现前述实施例任意一项所述的方法。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现前述实施例任意一项所述的方法。
相较于现有技术,本申请提供一种基于无人机单目倾斜的图像拼接方法及相关装置,涉及无人机的图像拼接领域。所述方法包括:获取无人机的相机发送的多张序列图像;获取第一图像的像空间-摄影旋转矩阵;所述第一图像为所述多张序列图像中的第一帧图像,所述像空间-摄影旋转矩阵表征所述相机拍摄所述第一图像时,所述相机的像空间坐标系相对于摄影测量坐标系的旋转向量;根据所述像空间-摄影旋转矩阵,获取每张所述序列图像在所述摄影测量坐标系下的待拼接图像;根据所有的所述待拼接图像,获取目标图像;所述目标图像表征所述相机在所述摄影测量坐标系下采集的图像信息。将第一帧序列图像使用对应的像空间-摄影旋转矩阵进行处理后,使得后续的序列图像确定在摄影测量坐标系下的待拼接图像,所有的待拼接图像使用一致的摄影测量坐标系,避免图像拼接平面出现错位。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种基于无人机单目倾斜的图像拼接方法的流程示意图;
图2为本申请实施例提供的另一种基于无人机单目倾斜的图像拼接方法的流程示意图;
图3为本申请实施例提供的另一种基于无人机单目倾斜的图像拼接方法的流程示意图;
图4为本申请实施例提供的另一种基于无人机单目倾斜的图像拼接方法的流程示意图;
图5为本申请实施例提供的一种基于无人机单目倾斜的图像拼接系统的方框示意图;
图6为本申请实施例提供的一种基于无人机单目倾斜的图像拼接装置的方框示意图;
图7为本申请实施例提供的一种电子设备的方框示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前的技术方案中,由于相机在倾斜状态下,无法有效确定算法中构建的局部地图与拼接平面,即地面的坐标转换关系,所以导致图像单应计算错误,拼接失真错位严重。
为了至少解决上述问题和背景技术提出的不足,本申请实施例提供一种基于无人机单目倾斜的图像拼接方法,请参见图1,图1为本申请实施例提供的一种基于无人机单目倾斜的图像拼接方法的流程示意图,该图像拼接方法可以包括以下步骤:
S31,获取无人机的相机发送的多张序列图像。
应理解,该序列图像可以具有序列标识,以便获取每张序列图像的位置信息。例如,通过直接地理定位系统获取每张序列对象对应的位置信息和姿态数据:利用载体或任务载荷携带的卫星-惯导组合定位系统提供的位置和姿态数据,实现像片信息在不同坐标系之间的转换,获取像片外方位元素和摄影目标的地理位置。
S32,获取第一图像的像空间-摄影旋转矩阵。
该第一图像为多张序列图像中的第一帧图像,该像空间-摄影旋转矩阵表征相机拍摄第一图像时,相机的像空间坐标系相对于摄影测量坐标系的旋转向量。应理解,无人机的图像处理过程中,包括多种坐标系:像空间坐标系、摄像机坐标系、载体坐标系、局部导航坐标系、像空间辅助坐标系和摄影测量坐标系等。例如,可以使用搭载在无人机上的直接地理定位系统来获取每张序列图像的像空间-摄影旋转矩阵。在一种可能的情况下,该第一图像还可以是多张序列图像中的其它帧图像。
S33,根据像空间-摄影旋转矩阵,获取每张序列图像在摄影测量坐标系下的待拼接图像。
可以理解的,对于每张序列图像均使用像空间-摄影旋转矩阵进行处理,使得相机在倾斜状态下由像空间坐标系变换到摄影测量坐标系中,使得处理前后的图像的x-y平面重合,避免了图像拼接错误。
S34,根据所有的待拼接图像,获取目标图像。
该目标图像表征相机在摄影测量坐标系下采集的图像信息。例如,本申请实施例提供的图像拼接方法,可以使用视觉同步定位与建图(Simultaneous Localization andMapping,SLAM)将重建的相机位姿和三维结构信息均定义在像空间坐标系中,且与初始化时的多张序列图像中的第一帧序列图像的像空间坐标系一致。每张序列图像都会使用第一帧图像对应的旋转矩阵,后续的序列图像进行SLAM重建时,像空间坐标系的x-y平面与摄影测量坐标系的x-y平面保持重合,保证图像拼接平面的准确性。
使用本申请实施例提供的图像拼接方法,将第一帧序列图像使用对应的像空间-摄影旋转矩阵进行处理后,使得后续的序列图像确定在摄影测量坐标系下的待拼接图像,所有的待拼接图像使用一致的摄影测量坐标系,避免图像拼接平面出现错位。
在可选的实施例中,为了获取待拼接图像,在图1的基础上,给出一种可能的实现方式,请参见图2,图2为本申请实施例提供的另一种基于无人机单目倾斜的图像拼接方法的流程示意图,上述的S33可以包括:
S331,获取第一图像与第二图像的位移信息。
该第二图像为多张序列图像中,除第一图像外的任意一张图像。例如,第一图像和第二图像之间可以具有较大的位移。
S332,根据位移信息,将第一图像对应的像空间坐标系设置为图像重建的参考坐标系。
该参考坐标系的x-y平面与摄影测量坐标系的x-y平面平行,参考坐标系的z轴正方向与摄影测量坐标系的z轴负方向相同。
S333,根据参考坐标系,获取每张序列图像对应的待拼接图像。
例如,首先对无人机的相机进行单目初始化处理,利用视觉SLAM将序列图像作为输入,基于运动恢复结构的算法,不断计算三维结构和相机位姿;对于单相机的初始化可以采用以下方案:基于两帧具备足够位移的序列图像,三角化恢复初始三维结构,若第一帧序列图像、第二帧序列图像对应的摄像机矩阵分别为P 1 和P 2 ,两帧序列图像具有n个共视三维点为X i 和n个共视特征点x i ,i=1-n。两帧图像之间的位移T可以表示为:
其中R为两帧序列图像(第一帧序列图像和第二帧序列图像)之间的相对旋转矩阵,其为一个3×3的矩阵;t为两帧序列图像之间的相对位移,其为一个3×1的矩阵,以上均定义在像空间坐标系中。P 1 和P 2 表示为以下公式,P 1 的表示形式说明这种初始化算法将第一帧图像的像空间坐标系设置为整个重建过程中的坐标系:
三角化算法表示为利用投影关系或者摄影测量中的共线方程,即:
应理解,使用P 1 将第一帧图像的像空间坐标系设置为整个重建过程中的坐标系,使得后续的序列图像确定在摄影测量坐标系下的待拼接图像,所有的待拼接图像使用一致的摄影测量坐标系,避免图像拼接平面出现错位。
在可选的实施例中,为了获取待拼接图像,在图2的基础上,给出一种可能的实现方式,请参见图3,图3为本申请实施例提供的另一种基于无人机单目倾斜的图像拼接方法的流程示意图,上述的S333可以包括:
S333a,获取第二图像的倾斜角信息。
该倾斜角信息表征相机拍摄第二图像时的像空间坐标系的Z轴与摄影测量坐标系的Z轴的偏移角度。倾斜角信息可以通过以下方式获取:
其中,为像空间坐标系的Z轴相对于摄影测量坐标系的Z轴的倾斜角信息。,为像空间坐标系相对于摄影测量坐标系的旋转向量,n i 为像空间坐标系的Z轴在像空间坐标系中对应的向量,为像空间坐标系的Z轴在摄影测量坐标系对应的向量。为摄影测量坐标系的Z轴在摄影测量坐标系中对应的向量。如,对于像空间坐标系的Z轴,可以用n i =(0,0,1)T表示,对于摄影测量坐标系中的Z轴可以用n α =(0,0,1)T表示,像空间坐标系中n i 在摄影测量坐标系表示为,为像空间-摄影旋转矩阵。
例如,定义单相机倾斜状态是由像空间坐标系变换到摄影测量坐标系中时,其像空间坐标系的Z轴与摄影测量坐标系的Z轴方向相对旋转角大小。正摄状态的相机的像空间坐标系Z轴是垂直向下的,其与摄影测量坐标系Z轴平行但方向相反,。当相机处于倾斜状态时,由于在无人机航拍应用中不考虑对天空拍摄,所以倾斜角满足:
需要指出的是,由直接地理定位可知,倾斜状态不仅是由于相机发生了位姿变化所引起的无人机的位姿变化,也会导致该倾斜状态的变化,即倾斜角信息的变化。
S333b,根据倾斜角信息和像空间-摄影旋转矩阵,获取坐标旋转矩阵。
S333c,将第二图像按照坐标旋转矩阵进行坐标变换,以获取待拼接图像。
例如,首先对无人机的相机进行单目初始化处理,利用视觉SLAM将序列图像作为输入,基于运动恢复结构的算法,不断计算三维结构和相机位姿;对于单相机的初始化可以采用以下方案:基于两帧具备足够位移的序列图像,三角化恢复初始三维结构,若第一帧序列图像、第二帧序列图像对应的摄像机矩阵分别为P 1 和P 2 ,两帧序列图像具有n个共视三维点为X i 和n个共视特征点x i ,i=1-n。两帧图像之间的位移T可以表示为:
其中R为两帧序列图像(第一帧序列图像和第二帧序列图像)之间的相对旋转矩阵,其为一个3×3的矩阵;t为两帧序列图像之间的相对位移,其为一个3×1的矩阵,以上均定义在像空间坐标系中。P 1 和P 2 表示为以下公式,P 1 的表示形式说明这种初始化算法将第一帧图像的像空间坐标系设置为整个重建过程中的坐标系:
三角化算法表示为利用投影关系或者摄影测量中的共线方程,即:
当初始化的像空间坐标系的相对旋转角为时,相机处于正摄状态,此时的像空间坐标系x-y平面与摄影测量坐标系的x-y平面平行,z轴方向相反。值得注意的是,目前的技术方案中,如果SLAM初始化时相机为正摄状态,则后续序列图像中若有轻微的倾斜角度,由于初始化像空间坐标系不变,所以使用之前的拼接方法仍然可以工作,因为这种情形下,重建所在的像空间坐标系x-y平面与摄影测量坐标系的x-y平面平行,z轴方向平行相反。
当满足,使用单目初始化进行处理,则SLAM重建处于的像空间坐标系,转换到摄影测量坐标系时,不可避免x-y平面与摄影测量坐标系的x-y平面不平行,z轴方向不平行。此时仍然使用现有技术中确定拼接平面的方法,由于像空间坐标系x-y平面与摄影测量坐标系x-y平面已经不再重合,导致图像单应估计错误,拼接图像失真错位。
图像拼接错位失真,是由于SLAM算法重建像空间坐标系x-y平面与摄影测量坐标系x-y平面已经不再重合,导致估计拼接平面错误。本算法的主要目的是将两个平面重合,保持拼图过程中SLAM重建所处坐标系x-y平面与摄影测量坐标系x-y重合、两个坐标系的z轴平行。
X inew1 为将序列图像中的初始化三维点X i 与坐标旋转矩阵相R trans 乘后获取的序列图像在摄影测量坐标系下的三维点。应理解,使用上述方法实现了SLAM重建空间所处的像空间坐标系与摄影测量坐标系一致,在实时拼接过程中,计算拼接平面单应变换时,解决了计算平面与实际拼接平面不一致的问题。
X inew2 为将序列图像中的初始化三维点X i 与像空间-摄影旋转矩阵相乘后获取的序列图像在局部导航坐标系(即,地理坐标系)下的三维点,最终得到的目标图像也变为无人机在局部导航坐标系采集的图像信息。
在可选的实施例中,为了获取每张序列图像的像空间-摄影旋转矩阵,在图1的基础上,给出一种可能的实现方式,请参见图4,图4为本申请实施例提供的另一种基于无人机单目倾斜的图像拼接方法的流程示意图,上述的S32可以包括:
S321,获取像空间坐标系到摄像机坐标系的第一旋转矩阵。
S322,获取摄像机坐标系到无人机坐标系的第二旋转矩阵。
S323,获取无人机坐标系到地理坐标系的第三旋转矩阵。
S324,获取地理坐标系到摄影测量坐标系的第四旋转矩阵。
S325,将第四旋转矩阵、第三旋转矩阵、第二旋转矩阵、第一旋转矩阵依次相乘,获取像空间-摄影旋转矩阵。
其中,是指像空间坐标系到像空间辅助坐标系的旋转矩阵,是指像空间坐标系到摄影测量坐标系的旋转矩阵,像空间辅助坐标系与摄影测量坐标系坐标原点不同但在轴系上平行,故而像空间坐标系分别变换到这两种坐标系的旋转矩阵相等;表示局部导航坐标系(即地理坐标系)到摄影测量坐标系的旋转矩阵,指载体坐标系(即无人机坐标系)到局部导航坐标系(即地理坐标系)的旋转矩阵,是指摄像机坐标系到载体坐标系(即无人机坐标系)的旋转矩阵,指像空间坐标系到摄像机坐标系的转换矩阵。
对于上述的图像拼接方法,本申请实施例提供一种基于无人机单目倾斜的图像拼接系统,请参见图5,图5为本申请实施例提供的一种基于无人机单目倾斜的图像拼接系统的方框示意图,该图像拼接系统包括无人机传感器系统、相机系统、直接地理定位系统和图像拼接模块。其中无人机载体或任务载荷携带的卫星-惯导组合定位系统可以提供的位置和姿态数据,相机系统采集对地面图像(序列图像),直接地理定位系统可以计算当前像片(序列图像对应的像空间坐标系)到大地测量坐标系的变换关系(进而得到像空间-摄影旋转矩阵),图像拼接模块利用以上数据实时拼接获取飞行区域全景图像(目标图像);解决倾斜图像存在的透视变换、图像失真、拼接错位等问题。
应理解,使用本申请实施例提供的基于无人机单目倾斜的图像拼接方法,解决了相机相对地面有大角度倾斜时(-0°到-90°),图像拼接错位严重,精度差的问题;而通过图5示出的图像拼接系统,可以实现倾斜相机飞行区域图像的拼接。在一种可能的实施例中,上述的SLAM可以更换为三维重建(Structure from Motion,SFM)系统。
可以预见的,由于使用本申请实施例提供的基于无人机单目倾斜的图像拼接方法,无人机的相机可以处于倾斜状态下对目标物(如管线、河道和公路等)进行拍摄,无人机在执行飞行巡检任务时,就可以不需要在管线、河道和公路等的上空飞行,而是在目标物的侧方飞行,避免潜在的飞行安全问题。需要注意的是,本申请实施例提供的图像拼接方法可以引入直接地理定位系统,以便根据像空间-摄影旋转矩阵处理序列图像,解决目前的图像拼接方案无法处理倾斜图像的问题。
为了实现上述实施例提供的图像拼接方法,本申请实施例提供一种基于无人机单目倾斜的图像拼接装置,请参见图6,图6为本申请实施例提供的一种基于无人机单目倾斜的图像拼接装置的方框示意图,该图像拼接装置40包括:通信模块41、获取模块42和处理模块43。
通信模块41用于获取无人机的相机发送的多张序列图像;获取模块42用于获取第一图像的像空间-摄影旋转矩阵;所述第一图像为所述多张序列图像中的第一帧图像,所述像空间-摄影旋转矩阵表征所述相机拍摄所述第一图像时,所述相机的像空间坐标系相对于摄影测量坐标系的旋转向量;处理模块43用于根据所述像空间-摄影旋转矩阵,获取每张所述序列图像在所述摄影测量坐标系下的待拼接图像;所述处理模块43还用于根据所有的所述待拼接图像,获取目标图像;所述目标图像表征所述相机在所述摄影测量坐标系下采集的图像信息。
在可选的实施例中,所述处理模块43还用于获取所述第一图像与第二图像的位移信息;所述第二图像为所述多张序列图像中,除所述第一图像外的任意一张图像;所述处理模块43还用于根据所述位移信息,将所述第一图像对应的像空间坐标系设置为图像重建的参考坐标系;所述参考坐标系的x-y平面与所述摄影测量坐标系的x-y平面平行,所述参考坐标系的z轴正方向与所述摄影测量坐标系的z轴负方向相同;所述处理模块还用于根据所述参考坐标系,获取每张所述序列图像对应的待拼接图像。
应理解,通信模块41、获取模块42和处理模块43可以协同实现上述图像拼接方法对应的S31~S34及其可能的子步骤。
本申请实施例提供一种电子设备,如图7,图7为本申请实施例提供的一种电子设备的方框示意图。该电子设备60包括存储器61、处理器62和通信接口63。该存储器61、处理器62和通信接口63相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器61可用于存储软件程序及模块,如本申请实施例所提供的基于无人机单目倾斜的图像拼接方法对应的程序指令/模块,处理器62通过执行存储在存储器61内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口63可用于与其他节点设备进行信令或数据的通信。在本申请中该电子设备60可以具有多个通信接口63。
其中,存储器61可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器62可以是一种集成电路芯片,具有信号处理能力。该处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
电子设备60可以实现本申请提供的任一种基于无人机单目倾斜的图像拼接方法。该电子设备60可以是,但不限于,手机、平板电脑、笔记本电脑、服务器或其它具有处理能力的电子设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上,本申请提供一种基于无人机单目倾斜的图像拼接方法及相关装置,涉及无人机的图像拼接领域。该方法包括:获取无人机的相机发送的多张序列图像;获取第一图像的像空间-摄影旋转矩阵;第一图像为多张序列图像中的第一帧图像,像空间-摄影旋转矩阵表征相机拍摄第一图像时,相机的像空间坐标系相对于摄影测量坐标系的旋转向量;根据像空间-摄影旋转矩阵,获取每张序列图像在摄影测量坐标系下的待拼接图像;根据所有的待拼接图像,获取目标图像;目标图像表征相机在摄影测量坐标系下采集的图像信息。将第一帧序列图像使用对应的像空间-摄影旋转矩阵进行处理后,使得后续的序列图像确定在摄影测量坐标系下的待拼接图像,所有的待拼接图像使用一致的摄影测量坐标系,避免图像拼接平面出现错位。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (7)
1.一种基于无人机单目倾斜的图像拼接方法,其特征在于,所述方法包括:
获取无人机的相机发送的多张序列图像;
获取第一图像的像空间-摄影旋转矩阵;所述第一图像为所述多张序列图像中的第一帧图像,所述像空间-摄影旋转矩阵表征所述相机拍摄所述第一图像时,所述相机的像空间坐标系相对于摄影测量坐标系的旋转向量;
获取所述第一图像与第二图像的位移信息;所述第二图像为所述多张序列图像中,除所述第一图像外的任意一张图像;
根据所述位移信息,将所述第一图像对应的像空间坐标系设置为图像重建的参考坐标系;所述参考坐标系的x-y平面与所述摄影测量坐标系的x-y平面平行,所述参考坐标系的z轴正方向与所述摄影测量坐标系的z轴负方向相同;
获取所述第二图像的倾斜角信息;所述倾斜角信息表征所述相机拍摄所述第二图像时的像空间坐标系的Z轴与所述摄影测量坐标系的Z轴的偏移角度;
根据所述倾斜角信息和所述像空间-摄影旋转矩阵,获取坐标旋转矩阵;
将所述第二图像按照所述坐标旋转矩阵进行坐标变换,以获取每张所述序列图像在所述摄影测量坐标系下的待拼接图像;所述序列图像在像空间坐标系的x-y平面与所述待拼接图像在摄影测量坐标系的x-y平面保持重合;
根据所有的所述待拼接图像,获取目标图像;所述目标图像表征所述相机在所述摄影测量坐标系下采集的图像信息。
4.根据权利要求1所述的方法,其特征在于,获取第一图像的像空间-摄影旋转矩阵,包括:
获取所述像空间坐标系到摄像机坐标系的第一旋转矩阵;所述摄像机坐标系是以拍摄所述第一图像时,所述相机的中心为原点的空间坐标系;
获取所述摄像机坐标系到无人机坐标系的第二旋转矩阵;所述无人机坐标系是以拍摄所述第一图像时,所述无人机的中心为原点的空间坐标系;
获取所述无人机坐标系到地理坐标系的第三旋转矩阵;
获取所述地理坐标系到所述摄影测量坐标系的第四旋转矩阵;
将所述第四旋转矩阵、所述第三旋转矩阵、所述第二旋转矩阵、所述第一旋转矩阵依次相乘,获取所述像空间-摄影旋转矩阵。
5.一种基于无人机单目倾斜的图像拼接装置,其特征在于,所述装置包括:
通信模块,用于获取无人机的相机发送的多张序列图像;
获取模块,用于获取第一图像的像空间-摄影旋转矩阵;所述第一图像为所述多张序列图像中的第一帧图像,所述像空间-摄影旋转矩阵表征所述相机拍摄所述第一图像时,所述相机的像空间坐标系相对于摄影测量坐标系的旋转向量;
处理模块,用于获取所述第一图像与第二图像的位移信息;所述第二图像为所述多张序列图像中,除所述第一图像外的任意一张图像;
所述处理模块还用于根据所述位移信息,将所述第一图像对应的像空间坐标系设置为图像重建的参考坐标系;所述参考坐标系的x-y平面与所述摄影测量坐标系的x-y平面平行,所述参考坐标系的z轴正方向与所述摄影测量坐标系的z轴负方向相同;
所述处理模块还用于获取所述第二图像的倾斜角信息;所述倾斜角信息表征所述相机拍摄所述第二图像时的像空间坐标系的Z轴与所述摄影测量坐标系的Z轴的偏移角度;
所述处理模块还用于根据所述倾斜角信息和所述像空间-摄影旋转矩阵,获取坐标旋转矩阵;
所述处理模块还用于将所述第二图像按照所述坐标旋转矩阵进行坐标变换,以获取每张所述序列图像在所述摄影测量坐标系下的待拼接图像;所述序列图像在像空间坐标系的x-y平面与所述待拼接图像在摄影测量坐标系的x-y平面保持重合;
所述处理模块还用于根据所有的所述待拼接图像,获取目标图像;所述目标图像表征所述相机在所述摄影测量坐标系下采集的图像信息。
6.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现权利要求1-4任意一项所述的方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-4任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010925730.8A CN111784622B (zh) | 2020-09-07 | 2020-09-07 | 一种基于无人机单目倾斜的图像拼接方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010925730.8A CN111784622B (zh) | 2020-09-07 | 2020-09-07 | 一种基于无人机单目倾斜的图像拼接方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111784622A CN111784622A (zh) | 2020-10-16 |
CN111784622B true CN111784622B (zh) | 2021-01-26 |
Family
ID=72762326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010925730.8A Active CN111784622B (zh) | 2020-09-07 | 2020-09-07 | 一种基于无人机单目倾斜的图像拼接方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111784622B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115597516B (zh) * | 2022-10-26 | 2024-10-29 | 华能澜沧江水电股份有限公司 | 一种基于无人机影像的高精度地质裂缝监测方法与系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101354250A (zh) * | 2008-09-08 | 2009-01-28 | 中国测绘科学研究院 | 具有自校验自稳定功能的组合宽角航空数码相机系统 |
US8249390B2 (en) * | 2006-09-04 | 2012-08-21 | Samsung Electronics Co., Ltd. | Method for taking panorama mosaic photograph with a portable terminal |
CN102829763A (zh) * | 2012-07-30 | 2012-12-19 | 中国人民解放军国防科学技术大学 | 基于单目视觉定位的路面图像采集方法及采集系统 |
CN105627991A (zh) * | 2015-12-21 | 2016-06-01 | 武汉大学 | 一种无人机影像实时全景拼接方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1693851A (zh) * | 2005-06-08 | 2005-11-09 | 中国科学院上海技术物理研究所 | 一种航空线阵ccd影像几何粗纠正算法 |
CN109269430B (zh) * | 2018-08-12 | 2020-10-09 | 浙江农林大学 | 基于深度提取模型的多株立木胸径被动测量方法 |
CN109725340B (zh) * | 2018-12-31 | 2021-08-20 | 成都纵横大鹏无人机科技有限公司 | 直接地理定位方法及装置 |
CN109724625B (zh) * | 2019-01-22 | 2021-05-04 | 中国人民解放军61540部队 | 一种光学复合大面阵测绘相机的像差改正方法 |
CN110648283B (zh) * | 2019-11-27 | 2020-03-20 | 成都纵横大鹏无人机科技有限公司 | 图像拼接方法、装置、电子设备和计算机可读存储介质 |
CN110717861B (zh) * | 2019-12-12 | 2020-03-20 | 成都纵横大鹏无人机科技有限公司 | 图像拼接方法、装置、电子设备和计算机可读存储介质 |
-
2020
- 2020-09-07 CN CN202010925730.8A patent/CN111784622B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8249390B2 (en) * | 2006-09-04 | 2012-08-21 | Samsung Electronics Co., Ltd. | Method for taking panorama mosaic photograph with a portable terminal |
CN101354250A (zh) * | 2008-09-08 | 2009-01-28 | 中国测绘科学研究院 | 具有自校验自稳定功能的组合宽角航空数码相机系统 |
CN102829763A (zh) * | 2012-07-30 | 2012-12-19 | 中国人民解放军国防科学技术大学 | 基于单目视觉定位的路面图像采集方法及采集系统 |
CN105627991A (zh) * | 2015-12-21 | 2016-06-01 | 武汉大学 | 一种无人机影像实时全景拼接方法及系统 |
Non-Patent Citations (1)
Title |
---|
无人机影像快速拼接方法研究;高翔;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180615(第6期);I138-1734 * |
Also Published As
Publication number | Publication date |
---|---|
CN111784622A (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110717861B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
CN111784585B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
US11887273B2 (en) | Post capture imagery processing and deployment systems | |
CN110799921A (zh) | 拍摄方法、装置和无人机 | |
CN110022444B (zh) | 无人飞行机的全景拍照方法与使用其的无人飞行机 | |
CN110675450A (zh) | 基于slam技术的正射影像实时生成方法及系统 | |
CN110703805B (zh) | 立体物体测绘航线规划方法、装置、设备、无人机及介质 | |
CN114565863B (zh) | 无人机图像的正射影像实时生成方法、装置、介质及设备 | |
WO2018214778A1 (zh) | 一种虚拟对象的展示方法及装置 | |
CN113361365A (zh) | 定位方法和装置、设备及存储介质 | |
US8509522B2 (en) | Camera translation using rotation from device | |
WO2020198963A1 (zh) | 关于拍摄设备的数据处理方法、装置及图像处理设备 | |
CN115423863B (zh) | 相机位姿估计方法、装置及计算机可读存储介质 | |
CN108801225B (zh) | 一种无人机倾斜影像定位方法、系统、介质及设备 | |
CN113034347A (zh) | 倾斜摄影图像处理方法、装置、处理设备及存储介质 | |
CN111784622B (zh) | 一种基于无人机单目倾斜的图像拼接方法及相关装置 | |
CN116170689A (zh) | 视频生成方法、装置、计算机设备和存储介质 | |
CN111598930B (zh) | 彩色点云生成方法、装置及终端设备 | |
CN113920192A (zh) | 一种视觉定位方法、装置、服务器及计算机可读存储介质 | |
CN113436267A (zh) | 视觉惯导标定方法、装置、计算机设备和存储介质 | |
CN113129422A (zh) | 一种三维模型构建方法、装置、存储介质和计算机设备 | |
CN110148205B (zh) | 一种基于众包影像的三维重建的方法和装置 | |
CN115100026B (zh) | 基于目标对象的标签坐标转换方法、装置、设备及存储介质 | |
CN114187344A (zh) | 一种地图构建方法、装置及设备 | |
CN111415296B (zh) | 一种无人机倾斜摄影的地面分辨率计算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: 7 / F, area a, building 6, No. 200, Tianfu 5th Street, high tech Zone, Chengdu, Sichuan 610000 Patentee after: CHENGDU JOUAV AUTOMATION TECHNOLOGY Co.,Ltd. Country or region after: China Address before: Room 801-805, 8th floor, Building A, No. 200, Tianfu Wujie, Chengdu High-tech Zone, Sichuan Province, 610000 Patentee before: CHENGDU JOUAV AUTOMATION TECHNOLOGY Co.,Ltd. Country or region before: China |