Nothing Special   »   [go: up one dir, main page]

CN115631345A - 一种多目设备的特征匹配方法及多目设备 - Google Patents

一种多目设备的特征匹配方法及多目设备 Download PDF

Info

Publication number
CN115631345A
CN115631345A CN202211289799.1A CN202211289799A CN115631345A CN 115631345 A CN115631345 A CN 115631345A CN 202211289799 A CN202211289799 A CN 202211289799A CN 115631345 A CN115631345 A CN 115631345A
Authority
CN
China
Prior art keywords
image
matched
feature
feature point
common
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211289799.1A
Other languages
English (en)
Inventor
曾杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Electronic Technology Shenzhen Co ltd
Original Assignee
Hisense Electronic Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Electronic Technology Shenzhen Co ltd filed Critical Hisense Electronic Technology Shenzhen Co ltd
Priority to CN202211289799.1A priority Critical patent/CN115631345A/zh
Publication of CN115631345A publication Critical patent/CN115631345A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种多目设备的特征匹配方法及多目设备,用于提高多目设备的特征匹配效率。包括:针对任意一个时刻获取的多个图像,利用特征点提取算法分别对所述多个图像进行特征提取,得到所述多个图像中的各特征点,其中,所述多个图像的数量与多目设备中相机的数量相同;针对所述多个图像中的任意一个图像,根据所述图像的图像标识确定与所述图像相对应的待匹配图像;以及,利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域;将所述图像的共视区域中的各特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行特征点匹配,得到特征匹配结果。

Description

一种多目设备的特征匹配方法及多目设备
技术领域
本申请涉及设备定位技术领域,尤其涉及一种多目设备的特征匹配方法及多目设备。
背景技术
AR(Augmented Reality,增强现实)头显设备和/或VR(Virtual Reality,虚拟现实)头显设备的6DoF功能大多是基于视觉SLAM(Simultaneous Localization andMapping,同步定位与建图)技术。为了扩大头显设备的整体观测视野,会增加头显设备的相机数目并合理调整各相机的结构。目前主流的6DoF VR设备上配置了4个相机,下排2个相机朝下观测,上排2个相机朝上观测,以扩宽整体的观测视野。
多目SLAM设备相对于常规双目SLAM设备的优势在于扩大了整体观测视野,降低了低纹理区域(如白墙、纯色地面等)充斥整个视野而导致的视觉SLAM失效的风险。
现有技术中,多目设备的SLAM特征跟踪方法有特征法和直接法。其中,特征法是对特征点提取描述子,跟踪过程即为特征匹配过程。直接法是对特征点进行光流跟踪,不用提取描述子。跟踪包括帧间跟踪和帧内跟踪,对于帧间跟踪,特征法和直接法都适用。但是,对于帧内跟踪来说,由于光流法不具备旋转特性,适应不了多相机的结构设计,故采用脱离图像空间搜索的特征法来实现。特征法是对两张图像中的各特征点进行遍历,来对两张图像中的各特征点进行匹配,以此确定出匹配结果。所以,现有技术中的特征匹配方式的计算量较大,导致多目设备的特征匹配效率较低。
发明内容
本申请提供了一种多目设备的特征匹配方法及多目设备,用于提高多目设备的特征匹配效率。
第一方面,本申请实施例提供一种多目设备的特征匹配方法,包括:
针对任意一个时刻获取的多个图像,利用特征点提取算法分别对所述多个图像进行特征提取,得到所述多个图像中的各特征点,其中,所述多个图像的数量与多目设备中相机的数量相同;
针对所述多个图像中的任意一个图像,根据所述图像的图像标识确定与所述图像相对应的待匹配图像;以及,
利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域;
将所述图像的共视区域中的各特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行特征点匹配,得到特征匹配结果。
本申请第二方面提供一种多目设备,包括处理器和存储器,所述处理器和所述存储器通过总线连接;
所述存储器中存储有计算机程序,所述处理器被配置为基于所述计算机程序执行以下操作:
针对任意一个时刻获取的多个图像,利用特征点提取算法分别对所述多个图像进行特征提取,得到所述多个图像中的各特征点,其中,所述多个图像的数量与多目设备中相机的数量相同;
针对所述多个图像中的任意一个图像,根据所述图像的图像标识确定与所述图像相对应的待匹配图像;以及,
利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域;
将所述图像的共视区域中的各特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行特征点匹配,得到特征匹配结果。
根据本发明实施例提供的第三方面,提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序用于执行如第一方面所述的方法。
本申请的上述实施例中,根据同一时刻获取的多个图像中的任意一个图像的图像标识确定与所述图像相对应的待匹配图像,然后利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域,最后将所述图像的共视区域中的各特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行特征点匹配,得到特征匹配结果。由此,本实施例中的两个图像的特征匹配只通过两个图像之间的共视区域的特征点来进行匹配,并不需要两张图像全部的特征点来进行匹配,所以,减少了计算量,提高了多目设备的特征匹配效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示例性示出了本申请实施例提供的帧内跟踪和帧间跟踪示意图;
图2示例性示出了本申请实施例提供的应用场景示意图;
图3示例性示出了本申请实施例提供的多目设备的特征匹配方法的流程图之一;
图4示例性示出了本申请实施例提供的图像共视区域示意图;
图5示例性示出了本申请实施例提供的相机共视区域示意图;
图6示例性示出了本申请实施例提供的特征点匹配的流程示意图;
图7示例性示出了本申请实施例提供的为确定中间特征匹配结果的流程示意图;
图8示例性示出了本申请实施例提供的多目设备的特征匹配的流程示意图之二;
图9示例性示出了本申请实施例提供的多目设备的特征匹配装置的结构示意图;
图10示例性示出了本申请实施例提供的标定设备的硬件结构图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请的说明书和权利要求书及上述附图中的术语″第一″、″第二″等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语″包括″和″具有″以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
下面对本申请实施例的思想进行概述。
目前的特征匹配技术中,是对两张图像中的各特征点进行遍历来对两张图像中的各特征点进行匹配,以此确定出匹配结果。并且,如图1所示,多目设备的帧内匹配的图像(例如,第t+1时刻中的Cam0与第t+1时刻的Cam1,第t+1时刻中的Cam0与第t+1时刻的Cam2,第t+1时刻中的Cam0与第t+1时刻的Cam3,第t+1时刻中的Cam1与第t+1时刻的Cam2,第t+1时刻中的Cam1与第t+1时刻的Cam3,第t+1时刻中的Cam2与第t+1时刻的Cam3)的匹配数高于帧间匹配(例如,第t时刻中的Cam0与第t+1时刻的Cam0,第t时刻中的Cam1与第t+1时刻的Cam1,第t时刻中的Cam2与第t+1时刻的Cam2,第t时刻中的Cam3与第t+1时刻的Cam3)的匹配数,特征匹配的总耗时就更加明显。所以,计算量较大,导致多目设备的特征匹配效率较低。
基于现有技术中会多目设备的特征匹配效率较低的问题,本申请实施例提供了一种多目设备的特征匹配方法,根据同一时刻获取的多个图像中的任意一个图像的图像标识确定与所述图像相对应的待匹配图像,然后利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域,最后将所述图像的共视区域中的各特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行特征点匹配,得到特征匹配结果。由此,本实施例中的两个图像的特征匹配只通过两个图像之间的共视区域的特征点来进行匹配,并不需要两张图像全部的特征点来进行匹配,所以,减少了计算量,提高了多目设备的特征匹配效率。
下面结合附图详细描述本申请的实施例。
图2示例性示出了本申请实施例提供的应用场景示意图;如图2所示,该应用场景中是以多目设备为VR设备为例进行说明的。该应用场景中包括VR设备210和存储器220。在一种可能的应用场景中,针对VR设备210任意一个时刻获取的多个图像,VR设备210利用特征点提取算法分别对所述多个图像进行特征提取,得到所述多个图像中的各特征点,其中,所述多个图像的数量与多目设备中相机的数量相同;然后VR设备210针对所述多个图像中的任意一个图像,根据所述图像的图像标识确定与所述图像相对应的待匹配图像,然后VR设备210从存储器220中获取预设的图像与共识区域的对应关系,并利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域;最后VR设备210将所述图像的共视区域中的各特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行特征点匹配,得到特征匹配结果。
其中,本申请中的描述中仅就单个VR设备210以及单个存储器220加以详述,但是本领域技术人员应当理解的是,示出的VR设备210以及单个存储器220旨在表示本申请的技术方案涉及的VR设备210以及存储器220的操作。而非暗示对VR设备210以及单个存储器220的数量、类型或是位置等具有限制。应当注意,如果向图示环境中添加附加模块或从其中去除个别模块,不会改变本申请的示例实施例的底层概念。
需要说明的是,本申请提出的多目设备的特征匹配方法不仅适用于图2所示的应用场景,还适用于任何有多目设备的特征匹配的装置。
下面结合上述描述的应用场景,参考附图来描述本申请示例性实施方式多目设备的特征匹配方法,需要注意的是,上述应用场景仅是为了便于理解本申请的方法和原理而示出,本申请的实施方式在此方面不受任何限制。
如图3所示,为多目设备的特征匹配方法的流程示意图,可包括以下步骤:
步骤301:针对任意一个时刻获取的多个图像,利用特征点提取算法分别对所述多个图像进行特征提取,得到所述多个图像中的各特征点,其中,所述多个图像的数量与多目设备中相机的数量相同;
例如,多目设备为四目设备,所以同一时刻得到的图像的数量为四张图像。
需要说明的是:本实施中的特征提取算法可根据实际情况来进行设置,本实施例在此并不对特征提取算法进行限定。
步骤302:针对所述多个图像中的任意一个图像,根据所述图像的图像标识确定与所述图像相对应的待匹配图像;
在一个实施例中,步骤302可实施为:利用预设的图像匹配映射关系和所述图像的图像标识确定与所述图像相对应的待匹配图像,其中,所述图像匹配映射关系中包括需要进行匹配的图像标识对。
其中,本实施例中的图像标识是拍摄该图像的相机的位置。以四目设备为例,四目设备的相机位置包括左上、左下、右上以及右下。所以,通过该四个相机得到的四张图像的图像标识也分别为:左上图像、左下图像、右上图像以及右下图像。
以前文所述的四目设备为例,本实施例中预设的图像匹配映射关系包括:左下图像-右下图像,左上图像-左下图像,右上图像-右下图像,左上图像-右上图像。但是并不对预设的图像匹配映射关系进行限定,具体的图像匹配映射关系可根据实际情况来进行设置,本实施例在此并不对图像匹配映射关系进行限定。
例如,以前文所述的图像匹配映射关系,确定出左上图像对应的待匹配图像包括左下图像和右上图像。
为了进一步保证特征匹配的准确率,在一个实施例中,执行步骤303之前,确定所述图像和所述待匹配图像为首次确定共视区域。
在一个实施例中,若确定所述图像和所述待匹配图像非首次确定共视区域,则将所述待匹配图像删除。即不需要确定所述图像和所述待匹配图像支架的共视区域。由此,进一步节省了计算量。
例如,确定出左上图像对应的待匹配图像包括左下图像和右上图像。若在这之前,已经确定过右上图像对应的待匹配图像包括左上图像和右下图像后分别基于对应的共视区域进行了特征点匹配。此时,可以得出左上图像和右上图像已经进行过特征点匹配了,所以不需要再进行一次特征点匹配。所以,将右上图像从左上图像对应的待匹配图像中删除。
步骤303:利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域;其中,图像与共视区域的对应关系如表1所示:
Figure BDA0003900887360000071
表1
通过表1可以确定出各图像之间的共视区域在各图像中的位置,且所述图像的共视区域和所述待匹配图像的共视区域是使用栅格来表示的。例如,如图4所示,图4中的图像A和图香B中的灰色区域为图像A和图像B之间的共视区域。并且从图中的可以看出共视区域是使用栅格来进行表示的。
需要说明的是:本实施例中的各图像之间的共视区域的原因是由于拍摄各图像之间的相机存在共视区域,如图5所示,图中的灰色区域为相机A和相机B之间的共视区域。所以,相机A所拍摄的图像和相机B所拍摄的图像之间存在共视区域。且各图像之间的共视区域是提前预设好的。
步骤304:将所述图像的共视区域中的各特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行特征点匹配,得到特征匹配结果。
下面,对特征点匹配的流程进行详细叙述,如图6所示,为特征点匹配的流程示意图,包括以下步骤:
步骤601:按照第一预设顺序对所述图像的共视区域中的各特征点进行遍历;
其中,本实施例中的第一预设顺序可为从左到右、从上到下的顺序,第一预设顺序可根据实际情况来进行设置,本实施在此并不对第一预设顺序进行限定。
步骤602:针对任意一个遍历到的特征点,将所述特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行匹配,得到中间特征匹配结果;
如图7所示,为确定中间特征匹配结果的流程示意图,包括以下步骤:
步骤701:按照第二预设顺序对所述待匹配图像的共视区域中的各待匹配特征点进行遍历;
其中,本实施例中的第二预设顺序与本实施例中的第一预设顺序可以相同也可以不相同,本实施例中的第二预设顺序可根据实际情况来进行设置,本实施例在此并不对第二预设顺序进行限定。
步骤702:针对任意一个遍历到的待匹配特征点,基于所述特征点的特征描述子与所述待匹配特征点的特征描述子,确定所述特征点与所述待匹配特征点是否匹配,若是,则执行步骤703,若否,则执行步骤704,其中,所述特征描述子是利用预设的特征描述算法对特征点进行特征描述后得到的;
在一个实施例中,通过以下方式确定所述特征点与所述待匹配特征点是否匹配:
基于所述特征点的特征描述子与所述待匹配特征点的特征描述子确定所述特征点与所述待匹配特征点之间的距离,若所述待匹配特征点与所述特征点之间的距离为与所述特征点之间的距离最小的待匹配特征点,则确定所述待匹配特征点与所述特征点相匹配。
其中,本实施例中的特征描述算法是SIFT(Scale-invariant featuretransform,尺度不变特征转换)算法,但是具体的特征描述算法可根据实际情况来进行设置,本实施例在此并不对特征描述算法进行限定。
下面介绍下SIFT算法确定特征描述子的具体流程:针对任意一个特征点,首先使用直方图统计该特征点的邻域内像素对应的梯度方向和幅值,幅值最大的方向确定为特征点的主方向,然后将以特征点为中心的邻域旋转至主方向上,随后将旋转后的该邻域区域均匀分成4x4个子区域,并统计每个子区域内8个方向(即上、下、左、右、左上、左下、右上、右下)的梯度方向直方图,最后通过将所有子区域的梯度信息合并起来构成一个一维的特征描述子。即本实施例中的特征描述子是由多个描述子所组成的。其中,可通过公式(1)确定特征点与待匹配特征点之间的距离:
Figure BDA0003900887360000091
其中,d1i为特征点的特征描述子中的第i个描述子,d2i为待匹配特征点的特征描述子中的第i个描述子,n为特征描述子中的描述子的总数量,d为特征待与待匹配特征点之间的距离。
步骤703:将所述特征点和所述待匹配特征点确定为所述中间特征匹配结果;
步骤704:将所述特征点与上一时刻中的目标图像中的各特征点进行匹配,得到匹配特征点,并将所述特征点和所述匹配特征点确定为所述中间匹配结果。
其中,将所述特征点与上一时刻中的目标图像中的各特征点进行匹配为进行帧间匹配。帧间匹配的方式可根据实际情况来进行设置,本实施例在此并不对帧间匹配的方式进行限定。
步骤603:根据各特征点对应的中间特征匹配结果,得到所述特征匹配结果。
其中,将各特征点对应的中间特征匹配结果确定为所述特征匹配结果。
为了进一步连接本申请中的技术方案,下面结合图8进行详细的说明,可包括以下步骤:
步骤801:针对任意一个时刻获取的多个图像,利用特征点提取算法分别对所述多个图像进行特征提取,得到所述多个图像中的各特征点,其中,所述多个图像的数量与多目设备中相机的数量相同;
步骤802:针对所述多个图像中的任意一个图像,利用预设的图像匹配映射关系和所述图像的图像标识确定与所述图像相对应的待匹配图像,其中,所述图像匹配映射关系中包括需要进行匹配的图像标识对;
步骤803:判断所述图像和所述待匹配图像是否为首次确定共视区域,若是,则执行步骤805,若否,则执行步骤804;
步骤804:删除所述待匹配图像;
步骤805:利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域;
步骤806:按照第一预设顺序对所述图像的共视区域中的各特征点进行遍历;
步骤807:针对任意一个遍历到的特征点,按照第二预设顺序对所述待匹配图像的共视区域中的各待匹配特征点进行遍历;
步骤808:针对任意一个遍历到的待匹配特征点,基于所述特征点的特征描述子与所述待匹配特征点的特征描述子,确定所述特征点与所述待匹配特征点是否匹配,若是,则执行步骤809,若否,则执行步骤810;其中,所述特征描述子是利用预设的特征描述算法对特征点进行特征描述后得到的;
步骤809:将所述特征点和所述待匹配特征点确定为所述中间特征匹配结果;
步骤810:将所述特征点与上一时刻中的目标图像中的各特征点进行匹配,得到匹配特征点,并将所述特征点和所述匹配特征点确定为所述中间匹配结果;
步骤811:根据各特征点对应的中间特征匹配结果,得到所述特征匹配结果。
基于相同的发明构思,本公开如上所述的多目设备的特征匹配方法还可以由一种多目设备的特征匹配装置实现。该多目设备的特征匹配的效果与前述方法的效果相似,在此不再赘述。
图9为根据本公开一个实施例的多目设备的特征匹配装置的结构示意图。
如图9所示,本公开的多目设备的特征匹配装置900可以包括特征提取模块910、待匹配图像确定模块920、共视区域确定模块930、特征匹配结果确定模块940。
特征提取模块910,用于针对任意一个时刻获取的多个图像,利用特征点提取算法分别对所述多个图像进行特征提取,得到所述多个图像中的各特征点,其中,所述多个图像的数量与多目设备中相机的数量相同;
待匹配图像确定模块920,用于针对所述多个图像中的任意一个图像,根据所述图像的图像标识确定与所述图像相对应的待匹配图像;
共视区域确定模块930,用于利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域;
特征匹配结果确定模块940,用于将所述图像的共视区域中的各特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行特征点匹配,得到特征匹配结果。
在一个实施例中,所述待匹配图像确定模块920,具体用于:
利用预设的图像匹配映射关系和所述图像的图像标识确定与所述图像相对应的待匹配图像,其中,所述图像匹配映射关系中包括需要进行匹配的图像标识对。
在一个实施例中,所述特征匹配结果确定模块940,具体用于:
按照第一预设顺序对所述图像的共视区域中的各特征点进行遍历;
针对任意一个遍历到的特征点,将所述特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行匹配,得到中间特征匹配结果;
根据各特征点对应的中间特征匹配结果,得到所述特征匹配结果。
在一个实施例中,所述特征匹配结果确定模块940执行所述将所述特征点分别与所述待匹配图像的共视区域中的各特征点进行匹配,得到中间特征匹配结果,具体用于:
按照第二预设顺序对所述待匹配图像的共视区域中的各待匹配特征点进行遍历;
针对任意一个遍历到的待匹配特征点,基于所述特征点的特征描述子与所述待匹配特征点的特征描述子,确定所述特征点与所述待匹配特征点是否匹配,其中,所述特征描述子是利用预设的特征描述算法对特征点进行特征描述后得到的;
若是,则将所述特征点和所述待匹配特征点确定为所述中间特征匹配结果;
若否,则将所述特征点与上一时刻中的目标图像中的各特征点进行匹配,得到匹配特征点,并将所述特征点和所述匹配特征点确定为所述中间匹配结果。
在一个实施例中,所述装置还包括:
判断模块950,用于所述利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域之前,确定所述图像和所述待匹配图像为首次确定共视区域。
在一个实施例中,所述图像的共视区域和所述待匹配图像的共视区域是使用栅格来表示的。
在介绍了本发明示例性实施方式的一种多目设备的特征匹配方法及装置之后,接下来,介绍根据本发明的另一示例性实施方式的多目设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为″电路″、″模块″或″系统″。
在一些可能的实施方式中,根据本发明的多目设备可以至少包括至少一个处理器、以及至少一个计算机存储介质。其中,计算机存储介质存储有程序代码,当程序代码被处理器执行时,使得处理器执行本说明书上述描述的根据本发明各种示例性实施方式的多目设备的特征匹配方法中的步骤。例如,处理器可以执行如图3中所示的步骤301-304。
下面参照图10来描述根据本发明的这种实施方式的多目设备1000。图10显示的多目设备1000仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示,多目设备1000以通用多目设备的形式表现。多目设备1000的组件可以包括但不限于:上述至少一个处理器1001、上述至少一个计算机存储介质1002、连接不同系统组件(包括计算机存储介质1002和处理器1001)的总线1003。
总线1003表示几类总线结构中的一种或多种,包括计算机存储介质总线或者计算机存储介质控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
计算机存储介质1002可以包括易失性计算机存储介质形式的可读介质,例如随机存取计算机存储介质(RAM)1021和/或高速缓存存储介质1022,还可以进一步包括只读计算机存储介质(ROM)1023。
计算机存储介质1002还可以包括具有一组(至少一个)程序模块1024的程序/实用工具1025,这样的程序模块1024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
多目设备1000也可以与一个或多个外部设备1004(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与多目设备1000交互的设备通信,和/或与使得该多目设备1000能与一个或多个其它多目设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1005进行。并且,多目设备1000还可以通过网络适配器1006与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1006通过总线1003与用于多目设备1000的其它模块通信。应当理解,尽管图中未示出,可以结合多目设备1000使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中,本发明提供的一种多目设备的特征匹配方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的多目设备的特征匹配方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取计算机存储介质(RAM)、只读计算机存储介质(ROM)、可擦式可编程只读计算机存储介质(EPROM或闪存)、光纤、便携式紧凑盘只读计算机存储介质(CD-ROM)、光计算机存储介质件、磁计算机存储介质件、或者上述的任意合适的组合。
本发明的实施方式的多目设备的特征匹配的程序产品可以采用便携式紧凑盘只读计算机存储介质(CD-ROM)并包括程序代码,并可以在多目设备上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言一诸如Java、C++等,还包括常规的过程式程序设计语言一诸如″C″语言或类似的程序设计语言。程序代码可以完全地在用户多目设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户多目设备上部分在远程多目设备上执行、或者完全在远程多目设备或服务器上执行。在涉及远程多目设备的情形中,远程多目设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户多目设备,或者,可以连接到外部多目设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘计算机存储介质、CD-ROM、光学计算机存储介质等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读计算机存储介质中,使得存储在该计算机可读计算机存储介质中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种多目设备的特征匹配方法,其特征在于,所述方法包括:
针对任意一个时刻获取的多个图像,利用特征点提取算法分别对所述多个图像进行特征提取,得到所述多个图像中的各特征点,其中,所述多个图像的数量与多目设备中相机的数量相同;
针对所述多个图像中的任意一个图像,根据所述图像的图像标识确定与所述图像相对应的待匹配图像;以及,
利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域;
将所述图像的共视区域中的各特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行特征点匹配,得到特征匹配结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述图像的图像标识确定与所述图像相对应的待匹配图像,包括:
利用预设的图像匹配映射关系和所述图像的图像标识确定与所述图像相对应的待匹配图像,其中,所述图像匹配映射关系中包括需要进行匹配的图像标识对。
3.根据权利要求1所述的方法,其特征在于,所述将所述图像的共视区域中的各特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行特征点匹配,得到特征匹配结果,包括:
按照第一预设顺序对所述图像的共视区域中的各特征点进行遍历;
针对任意一个遍历到的特征点,将所述特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行匹配,得到中间特征匹配结果;
根据各特征点对应的中间特征匹配结果,得到所述特征匹配结果。
4.根据权利要求3所述的方法,其特征在于,所述将所述特征点分别与所述待匹配图像的共视区域中的各特征点进行匹配,得到中间特征匹配结果,包括:
按照第二预设顺序对所述待匹配图像的共视区域中的各待匹配特征点进行遍历;
针对任意一个遍历到的待匹配特征点,基于所述特征点的特征描述子与所述待匹配特征点的特征描述子,确定所述特征点与所述待匹配特征点是否匹配,其中,所述特征描述子是利用预设的特征描述算法对特征点进行特征描述后得到的;
若是,则将所述特征点和所述待匹配特征点确定为所述中间特征匹配结果;
若否,则将所述特征点与上一时刻中的目标图像中的各特征点进行匹配,得到匹配特征点,并将所述特征点和所述匹配特征点确定为所述中间匹配结果。
5.根据权利要求1所述的方法,其特征在于,所述利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域之前,所述方法还包括:
确定所述图像和所述待匹配图像为首次确定共视区域。
6.根据权利要求1~5中任一所述的方法,其特征在于,所述图像的共视区域和所述待匹配图像的共视区域是使用栅格来表示的。
7.一种多目设备,其特征在于,包括处理器和存储器,所述处理器和所述存储器通过总线连接;
所述存储器中存储有计算机程序,所述处理器被配置为基于所述计算机程序执行以下操作:
针对任意一个时刻获取的多个图像,利用特征点提取算法分别对所述多个图像进行特征提取,得到所述多个图像中的各特征点,其中,所述多个图像的数量与多目设备中相机的数量相同;
针对所述多个图像中的任意一个图像,根据所述图像的图像标识确定与所述图像相对应的待匹配图像;以及,
利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域;
将所述图像的共视区域中的各特征点分别与所述待匹配图像的共视区域中的各待匹配特征点进行特征点匹配,得到特征匹配结果。
8.根据权利要求7所述的多目设备,其特征在于,所述处理器执行所述根据所述图像的图像标识确定与所述图像相对应的待匹配图像,具体被配置为:
利用预设的图像匹配映射关系和所述图像的图像标识确定与所述图像相对应的待匹配图像,其中,所述图像匹配映射关系中包括需要进行匹配的图像标识对。
9.根据权利要求7所述的多目设备,其特征在于,所述处理器,还被配置为:
所述利用预设的图像与共视区域的对应关系,分别在所述图像中和所述待匹配图像中确定所述图像和所述待匹配图像之间的共视区域之前,确定所述图像和所述待匹配图像为首次确定共视区域。
10.根据权利要求7~9中任一所述的多目设备,其特征在于,所述图像的共视区域和所述待匹配图像的共视区域是使用栅格来表示的。
CN202211289799.1A 2022-10-20 2022-10-20 一种多目设备的特征匹配方法及多目设备 Pending CN115631345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211289799.1A CN115631345A (zh) 2022-10-20 2022-10-20 一种多目设备的特征匹配方法及多目设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211289799.1A CN115631345A (zh) 2022-10-20 2022-10-20 一种多目设备的特征匹配方法及多目设备

Publications (1)

Publication Number Publication Date
CN115631345A true CN115631345A (zh) 2023-01-20

Family

ID=84906750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211289799.1A Pending CN115631345A (zh) 2022-10-20 2022-10-20 一种多目设备的特征匹配方法及多目设备

Country Status (1)

Country Link
CN (1) CN115631345A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132590A (zh) * 2023-10-24 2023-11-28 威海天拓合创电子工程有限公司 一种基于图像的多板卡缺陷检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132590A (zh) * 2023-10-24 2023-11-28 威海天拓合创电子工程有限公司 一种基于图像的多板卡缺陷检测方法及装置
CN117132590B (zh) * 2023-10-24 2024-03-01 威海天拓合创电子工程有限公司 一种基于图像的多板卡缺陷检测方法及装置

Similar Documents

Publication Publication Date Title
US11263445B2 (en) Method, apparatus and system for human body tracking processing
CN107292949B (zh) 场景的三维重建方法、装置及终端设备
KR102281184B1 (ko) 영상 보정 방법 및 장치
CN111709973B (zh) 目标跟踪方法、装置、设备及存储介质
CN110533694B (zh) 图像处理方法、装置、终端及存储介质
US9959651B2 (en) Methods, devices and computer programs for processing images in a system comprising a plurality of cameras
Bonny et al. Feature-based image stitching algorithms
WO2020233397A1 (zh) 在视频中对目标进行检测的方法、装置、计算设备和存储介质
CN111583118B (zh) 图像拼接方法、装置、存储介质及电子设备
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
Lin et al. Floorplan-jigsaw: Jointly estimating scene layout and aligning partial scans
CN115631345A (zh) 一种多目设备的特征匹配方法及多目设备
US20200042830A1 (en) Method, apparatus and device for evaluating image tracking effectiveness and readable storage medium
CN116760937A (zh) 一种基于多机位的视频拼接方法、装置、设备及存储介质
Lee et al. Multi-view target transformation for pedestrian detection
KR101942646B1 (ko) 영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치
Kim et al. Ep2p-loc: End-to-end 3d point to 2d pixel localization for large-scale visual localization
CN114092720A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN110930437B (zh) 目标跟踪方法和装置
CN112819889A (zh) 位置信息的确定方法及装置、存储介质、电子装置
WO2022205841A1 (zh) 机器人导航方法、装置、终端设备及计算机可读存储介质
US20220084314A1 (en) Method for obtaining multi-dimensional information by picture-based integration and related device
CN115393384A (zh) 基于跨相机的多目标跟踪模型的训练方法及装置
JP2016045837A (ja) 情報処理装置、画像判定方法、及びプログラム
CN111489439B (zh) 一种三维线图重建方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination