CN114372510A - 一种基于图像区域分割的帧间匹配slam方法 - Google Patents
一种基于图像区域分割的帧间匹配slam方法 Download PDFInfo
- Publication number
- CN114372510A CN114372510A CN202111540149.5A CN202111540149A CN114372510A CN 114372510 A CN114372510 A CN 114372510A CN 202111540149 A CN202111540149 A CN 202111540149A CN 114372510 A CN114372510 A CN 114372510A
- Authority
- CN
- China
- Prior art keywords
- point
- image
- feature points
- points
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000011218 segmentation Effects 0.000 title claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract 1
- 230000001737 promoting effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像区域分割的帧间匹配slam方法，首先在提取特征点时将图像分割成若干区域并将预设特征点数目均分进每个区域以提升提取的特征点更加具有图像代表性。其次加入评价系统对每个区域进行评价，排除一些对比度较低，不易提取出辨识性强的特征点的区域以获得鲁棒性更强的特征点。最后对数据集进行验证。实验结果表明，改进orb在特征点匹配方面分别比orb‑slam和orb‑slam2提升了4.1％和5.8％；在初始化方面分别提升了111帧与65.4帧；在位姿估计与实时定位方面也取得了更好的效果，能够在不失速度的情况下提升特征点匹配与定位的精度。
Description
技术领域
本发明属于人工智能领域，特别涉及室内外未知环境下基于图像区域分割的帧间匹配slam方法。
背景技术
目前，定位技术呈现百花齐放的趋势，诸如WIFI定位技术，RFID定位技术，红外技术，超声波定位技术，视觉slam技术等。鉴于室内外定位的特殊性与局限性，对定位技术有着特殊的要求。WIFI定位技术已趋成熟，但仍具有受环境影响较大以致定位漂移现象严重，易受同频信号干扰等缺点。RFID定位技术作用距离较短，且不具有通信能力，不易于整合进其他系统，难以做到精准定位。红外定位技术造价较高且受噪音影响较大，很难普及。超声波由于其波的特性导致其在传输过程中衰减从而影响定位精度。视觉slam技术依靠其体积小，造价低，泛用性强，获取信息能力丰富等特点，逐渐成为定位技术的主角。
SLAM(Simultaneous localization and mapping)，译为同时定位与地图构建，旨在将机器人置入完全未知的环境中的一个完全未知的位置进行移动，在移动的过程中通过传感器(相机)进行自身位置定位以及环境探测，最终完成未知环境地图的构建，实现机器人的自主定位与导航。视觉slam根据相机种类不同而分为三种：单目视觉slam，双目视觉slam以及RGB-Dslam。其中单目视觉slam凭借着价格低，使用灵活方便等优势，为人广泛应用。
图像特征点的提取与匹配是slam技术中重要的一环，其提取与匹配的结果将直接影响帧间匹配的优劣，是否真正实现了位姿估计，最终影响跟踪与定位的结果。目前现有的通过帧间关键点的提取与匹配从而实现机器人自身定位的方法关键点描述子的计算非常耗时，几乎无法保证实时性；常因特征点采集过于集中导致忽略场景其他大部分可能有用的图像信息；相机运动到特征点缺失的地方时不能获得足够的场景信息导致匹配中断从而定位失败。
发明内容
本发明的目的在于克服现有技术的上述不足，采用了改进FAST算法(Featuresfrom Accelerated Segment Test)与BRIEF算法(Binary Robust IndependentElementary Features)进行特征点的提取与描述；该方法技术实现过程如下：
S1.1特征点提取
FAST算法的思想是，若某像素点与其一定范围内的大部分连续像素点的亮度大或小，则其可视为待提取的角点，即特征点。在对图像像素点进行遍历时，首先选取当前的像素点P，将其像素值设为Ip。设定半径r等于3的圆，圆周边界上经过16个像素点，设定一个阈值t，对该16个像素点进行检测。若存在连续12(FAST-12)个以上的像素点的像素值同时大于Ip+t或小于Ip-t，则可以认为像素点P为特征点。
每帧图像预设一个数量的特征点的取值。为避免特征点的提取过于集中导致帧间匹配失败从而定位中断，本方法提出一种基于图像区域分割的区域评价方案使得特征点尽可能的布满整帧图像。主要原理为在不降低每帧的特征点提取数目和帧间特征点成功匹配数目以及不影响每帧特征点提取时间的情况下，首先将图像分为几个正方形小区块，将每帧欲提取的特征点数量平均分配进每个区块，保证特征点在图像内均匀分布；再通过阈值思想剔除一部分对比度不明显的，提取特征点后无益于匹配的区块，在剩余区块内进行像素遍历，以期在不增加提取时间的情况下获得更能代表图像的，鲁棒性更强的特征点。
FAST算法相较于SIFT,SURF等传统算法可以大幅提升特征点提取效率，取而代之的是其提取的特征点不具备尺度不变性与旋转不变性。
对于尺度不变性的问题，引入了图像金字塔(Image Pyramid)。其思想是将输入图像以1.2的比例进行降采样，重复七次，加上原始图像共获得8层窗口相同而尺度不同的图像。分别对8层图像进行FAST角点检测，其中在筛选后得到的全部图层中都检测到的特征点就获得了8层不同的尺度。
对于旋转不变性的问题，引入了灰度质心法(Intensity Centroid).其思想是将该特征点O与以其为圆心，半径为R的范围中灰度值的质心的连线作为该特征点的方向，从而获得旋转不变性。首先获得特征点为圆心，半径为R的区域B，计算区域B的距Mpq为
其中(x,y)为区域B中的选点，I(x,y)为点(x,y)的灰度值。之后可以求得区域B的质心C为
连接特征点O与质心C得到方向向量,则特征点方向θ定义为
θ＝arctan(M01/M10) (3)
该方法使得特征点具有了旋转不变性，提升了特征点在不同图像之间的表述的鲁棒性。
S1.2特征点描述
由于orb中每张图像预设提取1000个特征点，还要对每个特征点进行描述，这就导致描述子要兼具不占有大量内存的同时对特征点尽可能详尽的描述。
BRIEF描述子为一段二进制数，可以在保证较高的描述子效率的情况下大幅降低像素间的对比量。
BRIEF算法的思想是在特征点的正方形邻域内随机获取n对点对并比较灰度值:
其中p(x)与p(y)为选取的点对的灰度值。一组点对即构成了一个描述值。
经过n次点对间的运算后即获得了一串长度为n的二进制描述子。n为特征维度，orb算法中取256。为了使描述子更具有描述性，点对x,y都符合的高斯分布。
在进行特征点配对的时候将待配对的两点的描述子进行汉明距离(Hammingdistance)匹配。匹配相似度超过阈值则可认为两特征点相匹配。
与现有技术相比较，本发明在保证匹配质量的情况下通过降低帧间关键点的冗余提取数量从而实现降低运算量，提升方法的实时性；又通过将待提取的特征点经均匀分布到整帧图像中以期获得场景中大部分可能有用的图像信息，保证视频流特征点匹配的连续性。
附图说明
图1为FAST特征点示意图。
图2为brief描述子点对采样方式图。
图3为改进orb方法流程图。
具体实施方式
图1为本FAST特征点提取示意图，参照图1，FAST算法的思想是，若某像素点与其一定范围内的大部分连续像素点的亮度大或小，则其可视为待提取的角点，即特征点。在对图像像素点进行遍历时，首先选取当前的像素点P，将其像素值设为Ip。设定半径r等于3的圆，圆周边界上经过16个像素点，设定一个阈值t，对该16个像素点进行检测。若存在连续12(FAST-12)个以上的像素点的像素值同时大于Ip+t或小于Ip-t，则可以认为像素点P为特征点。
图2为brief描述子点对采样方式，参照图2，brief点对选取方法大致分为五种：
1.在图像块内平均采样；
2.p和q都符合
的高斯分布；
3.p符合
的高斯分布，而q符合
的高斯分布；
4.在空间量化极坐标下的离散位置随机采样；
5.把p固定为(0,0)，q在周围平均采样；
本算法采用第二种采样方法，即p和q都符合
的高斯分布。
图3为整体的算法流程图，本算法实现了精简帧间特征点的匹配并使特征点均匀分布在整帧图像中，完成通过单目输入场景信息的机器人自身定位。具体步骤如下：
(1)将当前输入帧转化为灰度图像，并用高斯滤波对图像进行加权平均处理。
(2)将处理好的图像平分为15×15个与原图像相似的小区块。
(3)3.计算每个区块的灰度标准差σ。
(4)设定一个较低阈值t1，直接舍弃所有σ≤t1的区块。
(5)将剩余每行的区块按照σ的大小进行排序，找到每行中标准差最小的区块S。
σmin＝min{σ1,σ2,…σn}
(6)舍弃σmin所在的区块S。
(7)将其余区块定义为搜索域进行FAST特征点提取。
Claims (1)
1.一种基于图像区域分割的帧间匹配slam方法，其特征在于：实现该方法过程如下：
S1.1特征点提取；
在对图像像素点进行遍历时，首先选取当前的像素点P，将其像素值设为Ip；设定半径r等于3的圆，圆周边界上经过16个像素点，设定一个阈值t，对该16个像素点进行检测；若存在连续12(FAST-12)个以上的像素点的像素值同时大于Ip+t或小于Ip-t，则认为像素点P为特征点；
每帧图像预设一个数量的特征点的取值；在不降低每帧的特征点提取数目和帧间特征点成功匹配数目以及不影响每帧特征点提取时间的情况下，首先将图像分为几个正方形小区块，将每帧欲提取的特征点数量平均分配进每个区块，保证特征点在图像内均匀分布；再通过阈值思想剔除一部分对比度不明显的，提取特征点后无益于匹配的区块，在剩余区块内进行像素遍历，以期在不增加提取时间的情况下获得更能代表图像的，鲁棒性更强的特征点；
引入图像金字塔，将输入图像以1.2的比例进行降采样，重复七次，加上原始图像共获得8层窗口相同而尺度不同的图像；分别对8层图像进行FAST角点检测，其中在筛选后得到的全部图层中都检测到的特征点就获得了8层不同的尺度；
对于旋转不变性的问题，引入灰度质心法，将该特征点O与以其为圆心，半径为R的范围中灰度值的质心的连线作为特征点的方向，获得旋转不变性；首先获得特征点为圆心，半径为R的区域B，计算区域B的距Mpq为
其中(x,y)为区域B中的选点，I(x,y)为点(x,y)的灰度值；之后可以求得区域B的质心C为
连接特征点O与质心C得到方向向量,则特征点方向θ定义为
θ＝arctan(M01/M10) (3)
S1.2特征点描述
由于orb中每张图像预设提取1000个特征点，对每个特征点进行描述；
BRIEF算法在特征点的正方形邻域内随机获取n对点对并比较灰度值：
τ(p:x,y):
其中p(x)与p(y)为选取的点对的灰度值；一组点对即构成一个描述值；
经过n次点对间的运算后即获得了一串长度为n的二进制描述子；n为特征维度，orb算法中取256；点对x,y都符合的高斯分布；
在进行特征点配对的时候将待配对的两点的描述子进行汉明距离匹配；匹配相似度超过阈值则认为两特征点相匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111540149.5A CN114372510A (zh) | 2021-12-15 | 2021-12-15 | 一种基于图像区域分割的帧间匹配slam方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111540149.5A CN114372510A (zh) | 2021-12-15 | 2021-12-15 | 一种基于图像区域分割的帧间匹配slam方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114372510A true CN114372510A (zh) | 2022-04-19 |
Family
ID=81140565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111540149.5A Pending CN114372510A (zh) | 2021-12-15 | 2021-12-15 | 一种基于图像区域分割的帧间匹配slam方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114372510A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345751A (zh) * | 2013-07-02 | 2013-10-09 | 北京邮电大学 | 一种基于鲁棒特征跟踪的视觉定位方法 |
| CN108010045A (zh) * | 2017-12-08 | 2018-05-08 | 福州大学 | 基于orb的视觉图像特征点误匹配提纯方法 |
| CN108171734A (zh) * | 2017-12-25 | 2018-06-15 | 西安因诺航空科技有限公司 | 一种orb特征提取与匹配的方法及装置 |
| CN110322549A (zh) * | 2019-06-12 | 2019-10-11 | 清华大学 | 一种基于图像的三维重建的方法及系统 |
| CN110334762A (zh) * | 2019-07-04 | 2019-10-15 | 华南师范大学 | 一种基于四叉树结合orb和sift的特征匹配方法 |
| CN110414533A (zh) * | 2019-06-24 | 2019-11-05 | 东南大学 | 一种改进orb的特征提取与匹配方法 |
| CN110675437A (zh) * | 2019-09-24 | 2020-01-10 | 重庆邮电大学 | 一种基于改进gms-orb特征的图像匹配方法及存储介质 |
| CN111898428A (zh) * | 2020-06-23 | 2020-11-06 | 东南大学 | 一种基于orb的无人机特征点匹配方法 |
| CN112364881A (zh) * | 2020-04-01 | 2021-02-12 | 武汉理工大学 | 一种进阶采样一致性图像匹配算法 |
| CN112489083A (zh) * | 2020-12-07 | 2021-03-12 | 之江实验室 | 基于orb-slam算法的图像特征点跟踪匹配方法 |
| CN113688816A (zh) * | 2021-07-21 | 2021-11-23 | 上海工程技术大学 | 一种改进orb特征点提取的视觉里程计的计算方法 |
-
2021
- 2021-12-15 CN CN202111540149.5A patent/CN114372510A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345751A (zh) * | 2013-07-02 | 2013-10-09 | 北京邮电大学 | 一种基于鲁棒特征跟踪的视觉定位方法 |
| CN108010045A (zh) * | 2017-12-08 | 2018-05-08 | 福州大学 | 基于orb的视觉图像特征点误匹配提纯方法 |
| CN108171734A (zh) * | 2017-12-25 | 2018-06-15 | 西安因诺航空科技有限公司 | 一种orb特征提取与匹配的方法及装置 |
| CN110322549A (zh) * | 2019-06-12 | 2019-10-11 | 清华大学 | 一种基于图像的三维重建的方法及系统 |
| CN110414533A (zh) * | 2019-06-24 | 2019-11-05 | 东南大学 | 一种改进orb的特征提取与匹配方法 |
| CN110334762A (zh) * | 2019-07-04 | 2019-10-15 | 华南师范大学 | 一种基于四叉树结合orb和sift的特征匹配方法 |
| CN110675437A (zh) * | 2019-09-24 | 2020-01-10 | 重庆邮电大学 | 一种基于改进gms-orb特征的图像匹配方法及存储介质 |
| CN112364881A (zh) * | 2020-04-01 | 2021-02-12 | 武汉理工大学 | 一种进阶采样一致性图像匹配算法 |
| CN111898428A (zh) * | 2020-06-23 | 2020-11-06 | 东南大学 | 一种基于orb的无人机特征点匹配方法 |
| CN112489083A (zh) * | 2020-12-07 | 2021-03-12 | 之江实验室 | 基于orb-slam算法的图像特征点跟踪匹配方法 |
| CN113688816A (zh) * | 2021-07-21 | 2021-11-23 | 上海工程技术大学 | 一种改进orb特征点提取的视觉里程计的计算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109029381B (zh) | 一种隧道裂缝的检测方法、系统及终端设备 | |
| CN102360421B (zh) | 一种基于视频流的人脸识别方法及系统 | |
| CN113076802B (zh) | 基于缺少断开图像样本的变电站开关分合状态图像识别方法 | |
| CN110992263B (zh) | 一种图像拼接方法及系统 | |
| CN114283162B (zh) | 基于对比自监督学习的现实场景图像分割方法 | |
| CN112395957A (zh) | 一种针对视频目标检测的在线学习方法 | |
| CN104036524A (zh) | 一种改进sift算法的快速目标跟踪方法 | |
| CN104063711B (zh) | 一种基于K‑means方法的走廊消失点快速检测算法 | |
| CN104834915B (zh) | 一种复杂云天背景下小红外目标检测方法 | |
| CN110084830B (zh) | 一种视频运动目标检测与跟踪方法 | |
| CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及系统 | |
| Kabbai et al. | Image matching based on LBP and SIFT descriptor | |
| CN112614167A (zh) | 一种结合单偏光与正交偏光图像的岩石薄片图像对齐方法 | |
| CN110009670A (zh) | 基于fast特征提取和piifd特征描述的异源图像配准方法 | |
| CN110675442A (zh) | 一种结合目标识别技术的局部立体匹配方法及系统 | |
| CN110245600A (zh) | 自适应起始快速笔画宽度无人机道路检测方法 | |
| CN107045630B (zh) | 一种基于rgbd的行人检测和身份识别方法及系统 | |
| CN110516527B (zh) | 一种基于实例分割的视觉slam回环检测改进方法 | |
| CN110458019B (zh) | 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 | |
| CN116402690A (zh) | 一种基于多头自注意力机制的高分辨率遥感影像中道路提取方法、系统、设备及介质 | |
| Wei | Vehicle detecting and tracking application based on yolov5 and deepsort for bayer data | |
| Zhang et al. | Reading various types of pointer meters under extreme motion blur | |
| Wang et al. | Vehicle license plate recognition based on wavelet transform and vertical edge matching | |
| CN112528994B (zh) | 一种自由角度车牌检测方法、车牌识别方法和识别系统 | |
| Cai et al. | A target tracking method based on KCF for omnidirectional vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |