Nothing Special   »   [go: up one dir, main page]

CN106778767B - 基于orb和主动视觉的视觉图像特征提取及匹配方法 - Google Patents

基于orb和主动视觉的视觉图像特征提取及匹配方法 Download PDF

Info

Publication number
CN106778767B
CN106778767B CN201611036233.2A CN201611036233A CN106778767B CN 106778767 B CN106778767 B CN 106778767B CN 201611036233 A CN201611036233 A CN 201611036233A CN 106778767 B CN106778767 B CN 106778767B
Authority
CN
China
Prior art keywords
orb
feature
matching
feature points
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611036233.2A
Other languages
English (en)
Other versions
CN106778767A (zh
Inventor
刘珊
郑文锋
曾庆川
杨波
李晓璐
彭小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201611036233.2A priority Critical patent/CN106778767B/zh
Publication of CN106778767A publication Critical patent/CN106778767A/zh
Application granted granted Critical
Publication of CN106778767B publication Critical patent/CN106778767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于ORB和主动视觉的视觉图像特征提取及匹配方法，采用高效快速的ORB特征提取算法提取特征参数，再利用概率统计方法计算出区域特征分布指数，在保证特征点分布均匀的前提下，根据概率选取数目一定的特征点，并且结合主动视觉的原理与应用，计算感兴趣的椭圆搜索域，再采用最近邻匹配算法和RANSAC算法，得到分布均匀且数目稳定的地图特征点，具有计算简单，且匹配效果好，满足系统实时性的要求。

Description

基于ORB和主动视觉的视觉图像特征提取及匹配方法
技术领域
本发明属于计算机视觉图像处理技术领域，更为具体地讲，涉及一种基于ORB和主动视觉的视觉图像特征提取及匹配方法。
背景技术
同时定位和地图构建(SLAM)是自主机器人导航的一项重要研究内容，其目的在于机器人运动的同时，全状态估计出机器人的运动轨迹和环境路标的位置。目前，就算法而言，主要包括EKF-SLAM和基于粒子滤波的SLAM两种方法。在传感方式方面，由于视觉传感器具有特征提取方便、信息量大及成本低等优点，视觉SLAM逐步成为SLAM研究中的主流。
特征提取和匹配是SLAM中两个重要问题。利用特征提取算法提取的特征数目和特征点在图像上的位置分布会对SLAM的最终结果估计效果产生一定的影响。实际上，如果提供越多的特征信息生成的运动估计结果就越稳定，同时这些特征点应该尽可能地覆盖整个图像区域，使SLAM算法能够充分利用获取的图像信息来进行运算。但是，如果建立的地图中的特征点数目超过一定的数量，会严重影响算法的实时性，增加系统的运算成本。目前，比较流行的特征点提取方法包括SIFT、SURF等。在专利《基于ORB特征点的高压杆塔高清图像全景拼接方法》中指出SIFT和SURF特征提取方法会消耗大量时间用于特征提取上，很难满足对实时性要求较高的场合，并且指出采用ORB特征提取算法的运算时间比SIFT算法快两个数量级，比SURF算法快一个数量级。在专利《基于多视角二维图像并结合SIFT算法的三维重建方法》中提出了基于SIFT算法的改进算法，从而得到时间复杂度较低的三维重建。在文献《Improving computational and memory requirements of simulation and mapbuilding algorithms》中指出对于全状态估计的EKF-SLAM而言，特征点数目不断增加，会给EKF带来维数灾难问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于ORB和主动视觉的单目视觉图像特征提取及匹配方法，可以快速得到分布均匀且数目稳定的地图特征点，具有计算简单、匹配效果好，且满足系统实时性的要求。
为实现上述发明目的，本发明一种基于ORB和主动视觉的视觉图像特征提取及匹配方法，其特征在于，包括以下步骤：
(1)、图像预处理
将当前帧的彩色图像转换为灰度图像，再用ORB特征提取算法提取灰度图像的ORB特征点；
(2)、将灰度图像均匀地划分为M×N个栅格区域，再选出
Figure BDA0001153098250000021
值较大的前K个栅格区域
设第i个栅格区域fi中的ORB特征点的个数为ni，其第j个ORB特征点在灰度图像中的位置坐标为fi(uj,vj),i＝1,2...,M×N,j＝1,2,...ni，M、N为常数；
计算第i个栅格区域fi中ni个ORB特征点的位置坐标均值
Figure BDA0001153098250000022
和方差
Figure BDA0001153098250000023
Figure BDA0001153098250000024
Figure BDA0001153098250000025
Figure BDA0001153098250000026
Figure BDA0001153098250000027
统计第i个栅格区域内特征分布参数值
Figure BDA0001153098250000028
Figure BDA0001153098250000029
同理，按照上述方法计算出剩余栅格区域中ORB特征点的位置坐标均值和方差，再统计出每个栅格区域内特征分布参数值，并根据统计的特征分布参数值，选取特征分布参数值较大的前K个栅格区域；
(3)、对选取的K个栅格区域进行特征提取
在选取的K个栅格区域中，按照任意两ORB特征点间距离大于m个像素为原则，在每个栅格区域中任意选取h个ORB特征点，完成对当前帧图像的特征提取；
(4)、采用基于主动视觉搜索算法，在已知的当前地图特征中为步骤(3)提取的每个ORB特征点确定置信度为T％的匹配区域，然后再采用最近邻匹配算法，把每个ORB特征点与匹配区域内的特征点进行特征匹配，得到粗略的匹配特征点；
(5)、利用RANSAC算法消除误匹配特征点得到精确的匹配特征点，再根据精确的匹配特征点对当前地图特征进行更新得到新的地图特征；
(6)、判断新的地图特征的特征点数目是否小于P，如果小于P，则执行步骤(7)；否则执行步骤(8)；
(7)、随机地从余下的M×N-K个栅格区域中选取特征点不为零的区域，再返回执行步骤(3)；
(8)、采用Inverse-depth方法表示地图特征深度信息，执行完后返回步骤(2)直到所有帧图像处理完成，算法执行结束。
本发明的发明目的是这样实现的：
本发明基于ORB和主动视觉的视觉图像特征提取及匹配方法，采用高效快速的ORB特征提取算法提取特征参数，再利用概率统计方法计算出区域特征分布指数，在保证特征点分布均匀的前提下，根据概率选取数目一定的特征点，并且结合主动视觉的原理与应用，计算感兴趣的椭圆搜索域，再采用最近邻匹配算法和RANSAC算法，得到分布均匀且数目稳定的地图特征点，具有计算简单，且匹配效果好，满足系统实时性的要求。
同时，本发明基于ORB和主动视觉的视觉图像特征提取及匹配方法还具有以下有益效果：
(1)、本发明方法提供了基于概率统计的方法，在栅格子区域中计算其特征分布指数，从而使得选取的固定数目的特征点均匀分布的在整个图像中，算法计算量小，实时性好。
(2)、结合主动视觉的方法确定椭圆搜索域，从而避免全局匹配，再结合最近邻匹配和RANSAC算法，大大地提高了匹配精度和时间。
(3)、在图像预处理中采用ORB特征提取算法，在单目图像序列中有很好的效果，并且相比SIFT和SURF算法，运算时间大大缩短，解决了SIFT等在图像特征提取时耗时严重的问题。
(4)、结合上述特征提取方法和特征匹配算法，大大地提高了SLAM系统的稳定性和实时性。
附图说明
图1是本发明基于ORB和主动视觉的视觉图像特征提取及匹配方法流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：
ORB(Oriented Brief)来自于文章《ORB：an efficient alternative to SIFT orSURF》，是一种新的角点检测与特征描述算法。
图1是本发明基于ORB和主动视觉的视觉图像特征提取及匹配方法流程图。
在本实施例中，实验图像是由单目内窥镜采集的心脏软组织表面的图像序列。图像序列分辨率为320×240,每秒拍摄30帧图像，内窥镜的内部参数为：fu＝530.9003,fv＝581.00362,u0＝136.63037,v0＝161.32884,k1＝-0.2865,k2＝0.29524。实验所用的软硬件环境为：Intel(R)Core(TM)i5-2450M@2.5GHz，内存4G，Windows 7系统，并在MATLAB 2012a中实现。实验中的参数选取为：M×N＝5×5，K＝15，m＝20，h＝4，P＝40。
下面结合实例对本发明一种基于ORB和主动视觉的视觉图像特征提取及匹配方法进行详细说明，如图1所示，包括以下步骤：
(1)、图像预处理
将当前帧的单目视觉彩色图像转换为灰度图像，再用ORB特征提取算法提取灰度图像的ORB特征点；
在本实施例中，把彩色图像转换为灰度图像的具体计算方程为：
Gray(x,y)＝0.3R(x,y)+0.59G(x,y)+0.11B(x,y)
其中，(x,y)表示像素点的坐标，其共计提取ORB特征点总数为248个。
(2)、将灰度图像均匀地划分为5×5个栅格区域，再选出
Figure BDA0001153098250000051
值较大的前15个栅格区域
设第i个栅格区域fi中的ORB特征点的个数为ni，其第j个ORB特征点在灰度图像中的位置坐标为fi(uj,vj),i＝1,2...,5×5,j＝1,2,...ni，其中ni为常数；
计算第i个栅格区域fi中ni个ORB特征点的位置坐标均值
Figure BDA0001153098250000052
和方差
Figure BDA0001153098250000053
Figure BDA0001153098250000054
Figure BDA0001153098250000055
Figure BDA0001153098250000056
Figure BDA0001153098250000057
统计第i个栅格区域内特征分布参数值
Figure BDA0001153098250000058
Figure BDA0001153098250000059
同理，按照上述方法计算出剩余栅格区域中ORB特征点的位置坐标均值和方差，再统计出每个栅格区域内特征分布参数值，并根据统计的特征分布参数值，选取特征分布参数值较大的前15个栅格区域，从而保证地图特征均匀；
(3)、对选取的15个栅格区域进行特征提取
在选取的15个栅格区域中，按照任意两ORB特征点间距离大于20个像素为原则，在每个栅格区域中任意选取4个ORB特征点，从而完成对当前帧图像的特征提取，并进一步避免栅格区域内的特征点出现拥挤以及保证特征点数目稳定；
如表1，ORB特征提取算法在提取特征点时明显比SIFT特征提取算法短，而基于栅格ORB特征提取方法在保证提取特征点数目稳定的前提下大大地缩短了提取时间，保证了SLAM系统的实时性。
Figure BDA0001153098250000061
表1
(4)、采用基于主动视觉搜索算法，在已知的当前地图特征中为步骤(3)提取的每个ORB特征点确定置信度为95％(即误差在95％的假设检验区间内)的匹配区域，然后再采用最近邻匹配算法，把每个ORB特征点与匹配区域内的特征点进行特征匹配，得到粗略的匹配特征点；
(5)、利用RANSAC算法消除误匹配特征点得到精确的匹配特征点，再根据精确的匹配特征点对当前地图特征进行更新得到新的地图特征；
在本实施例中，成功匹配的特征点数为57对，如表2所示，基于主动视觉的匹配算法在时间和性能上都优于常用的最近邻匹配算法。
表2是基于主动视觉的匹配算法与流行的最近邻匹配算法时间性能对比。
匹配方法 匹配准确率 匹配时间(s)
最近邻 67％ 1.0520s
基于主动视觉 95％ 0.2215s
表2
(6)、判断新的地图特征的特征点数目是否小于P＝40，如果小于40，则执行步骤(7)；否则执行步骤(8)；
(7)、随机地从余下的M×N-K个栅格区域中选取特征点不为零的区域，再返回执行步骤(3)；
(8)、采用Inverse-depth方法表示地图特征深度信息，执行完后返回步骤(2)直到所有帧图像处理完成，算法执行结束。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于ORB和主动视觉的单目视觉图像特征提取及匹配方法，其特征在于，包括以下步骤：
(1)、图像预处理
将当前帧的彩色图像转换为灰度图像，再用ORB特征提取算法提取灰度图像的ORB特征点；
(2)、将灰度图像均匀地划分为M×N个栅格区域，再选出Ifi值较大的前K个栅格区域
设第i个栅格区域fi中的ORB特征点的个数为ni，其第j个ORB特征点在灰度图像中的位置坐标为fi(uj,vj),i＝1,2...,M×N,j＝1,2,...ni，M、N为常数；
计算第i个栅格区域fi中ni个ORB特征点的位置坐标均值mfi,u,mfi,v和方差vfi,u,vfi,v：
Figure FDA0002512985690000011
Figure FDA0002512985690000012
Figure FDA0002512985690000013
Figure FDA0002512985690000014
统计第i个栅格区域内特征分布参数值
Figure FDA0002512985690000015
Figure FDA0002512985690000016
同理，按照上述方法计算出剩余栅格区域中ORB特征点的位置坐标均值和方差，再统计出每个栅格区域内特征分布参数值，并根据统计的特征分布参数值，选取特征分布参数值较大的前K个栅格区域；
(3)、对选取的K个栅格区域进行特征提取
在选取的K个栅格区域中，按照任意两ORB特征点间距离大于m个像素为原则，在每个栅格区域中任意选取h个ORB特征点，完成对当前帧图像的特征提取；
(4)、采用基于主动视觉搜索算法，在已知的当前地图特征中为步骤(3)提取的每个ORB特征点确定置信度为T％的匹配区域，然后再采用最近邻匹配算法，把每个ORB特征点与匹配区域内的特征点进行特征匹配，得到粗略的匹配特征点；
(5)、利用RANSAC算法消除误匹配特征点得到精确的匹配特征点，再根据精确的匹配特征点对当前地图特征进行更新得到新的地图特征；
(6)、判断新的地图特征的特征点数目是否小于P，如果小于P，则执行步骤(7)；否则执行步骤(8)；
(7)、随机地从余下的M×N-K个栅格区域中选取特征点不为零的区域，再返回执行步骤(3)；
(8)、采用Inverse-depth方法表示地图特征深度信息，执行完后返回步骤(2)直到所有帧图像处理完成，执行结束。
2.根据权利要求1所述的基于ORB和主动视觉的单目视觉图像特征提取及匹配方法，其特征在于，所述置信度取T％＝95％。
CN201611036233.2A 2016-11-15 2016-11-15 基于orb和主动视觉的视觉图像特征提取及匹配方法 Active CN106778767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611036233.2A CN106778767B (zh) 2016-11-15 2016-11-15 基于orb和主动视觉的视觉图像特征提取及匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611036233.2A CN106778767B (zh) 2016-11-15 2016-11-15 基于orb和主动视觉的视觉图像特征提取及匹配方法

Publications (2)

Publication Number Publication Date
CN106778767A CN106778767A (zh) 2017-05-31
CN106778767B true CN106778767B (zh) 2020-08-11

Family

ID=58970334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611036233.2A Active CN106778767B (zh) 2016-11-15 2016-11-15 基于orb和主动视觉的视觉图像特征提取及匹配方法

Country Status (1)

Country Link
CN (1) CN106778767B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689048B (zh) * 2017-09-04 2022-05-31 联想(北京)有限公司 一种检测图像特征点的方法及一种服务器集群
CN108227717B (zh) * 2018-01-30 2021-12-03 中国人民解放军陆军装甲兵学院 基于orb特征的多移动机器人地图融合方法及融合平台
CN112005243A (zh) * 2018-05-04 2020-11-27 华为技术有限公司 用于高级驾驶辅助系统的图像处理装置和方法
CN110895699B (zh) * 2018-09-12 2022-09-13 北京字节跳动网络技术有限公司 用于处理图像的特征点的方法和装置
CN110309834A (zh) * 2019-05-13 2019-10-08 电子科技大学成都学院 用于户外离线导航系统的改进orb-slam算法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708370A (zh) * 2012-05-17 2012-10-03 北京交通大学 一种多视角图像前景目标提取方法及装置
CN102831446A (zh) * 2012-08-20 2012-12-19 南京邮电大学 单目视觉slam中基于图像外观的闭环检测方法
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708370A (zh) * 2012-05-17 2012-10-03 北京交通大学 一种多视角图像前景目标提取方法及装置
CN102831446A (zh) * 2012-08-20 2012-12-19 南京邮电大学 单目视觉slam中基于图像外观的闭环检测方法
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于单目视觉的移动机器人SLAM问题的研究;李捐;《中国优秀硕士学位论文全文数据库信息科技辑》;20140331(第3期);摘要、第3-4章 *

Also Published As

Publication number Publication date
CN106778767A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN109670474B (zh) 一种基于视频的人体姿态估计方法、装置及设备
CN106778767B (zh) 基于orb和主动视觉的视觉图像特征提取及匹配方法
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
CN105869173B (zh) 一种立体视觉显著性检测方法
CN106327507B (zh) 一种基于背景和前景信息的彩色图像显著性检测方法
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN106960449B (zh) 基于多特征约束的异源配准方法
CN106203423B (zh) 一种融合上下文探测的弱结构感知视觉目标跟踪方法
CN106875425A (zh) 一种基于深度学习的多目标追踪系统及实现方法
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
CN105740945A (zh) 一种基于视频分析的人群计数方法
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN110837768A (zh) 一种面向珍稀动物保护的在线检测与识别方法
CN109886218A (zh) 基于超像素统计相异性的sar图像舰船目标检测方法
CN109685827B (zh) 一种基于dsp的目标检测与跟踪方法
CN111488812A (zh) 障碍物位置识别方法、装置、计算机设备和存储介质
CN104715251A (zh) 一种基于直方图线性拟合的显著目标检测方法
CN106355608A (zh) 基于可变权重代价计算与S‑census变换的立体匹配方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN102799646A (zh) 一种面向多视点视频的语义对象分割方法
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN102034115A (zh) 基于马尔可夫随机场模型与非局部先验的图像配准方法
CN103268482A (zh) 一种低复杂度的手势提取和手势深度获取方法
CN104050674B (zh) 一种显著性区域检测方法及装置
CN107093182B (zh) 一种基于特征拐点的人体高度估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant