CN112991448B - 一种基于颜色直方图的回环检测方法、装置及存储介质 - Google Patents
一种基于颜色直方图的回环检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112991448B CN112991448B CN202110300183.9A CN202110300183A CN112991448B CN 112991448 B CN112991448 B CN 112991448B CN 202110300183 A CN202110300183 A CN 202110300183A CN 112991448 B CN112991448 B CN 112991448B
- Authority
- CN
- China
- Prior art keywords
- color
- image
- loop
- color histogram
- hsv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 239000013598 vector Substances 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000012795 verification Methods 0.000 claims abstract description 14
- 238000012937 correction Methods 0.000 claims abstract description 5
- 239000003086 colorant Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013139 quantization Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 101710183938 Barstar Proteins 0.000 claims 1
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009928 pasteurization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于颜色直方图的回环检测方法、装置及存储介质,其中方法包括:将关键帧的RGB图像转换为灰度图像与HSV彩色图像;对图像提取ORB特征点和LSD线特征;将HSV颜色空间非均匀量化,计算颜色直方图;根据颜色直方图中主颜色向量选出颜色相似图像;对颜色直方图进行归一化,根据巴氏系数选出候选图像集C;再根据词袋模型检测出候选回环;对候选回环进行时间一致性与空间一致性检测验证,选出真正的回环进行回环校正消除累计误差。本发明将图像的全局颜色特征颜色直方图应用于回环检测中,为回环检测算法提供了更丰富的图像信息,提高了回环检测准确率和算法的运算效率,可广泛应用于移动机器人视觉定位与导航领域。
Description
技术领域
本发明涉及移动机器人视觉定位与导航领域,尤其涉及一种基于颜色直方图的回环检测方法、装置及存储介质。
背景技术
得益于计算机与传感器技术的进步,移动机器人技术得到了空前的发展,其应用场景也逐渐的从军用转向商用与民用,其巨大的市场潜力促使了一大批的科技公司投入到移动机器人技术的研究之中。在移动机器人领域,定位与导航技术是最重要的基础技术之一,以视觉或激光为传感器的自主导航机器人以渐进的方式估计机器人的位姿,即在某一时刻的位姿信息是根据前一时刻的位姿信息估计出来的,因此不可避免的会产生误差的积累,而且无法从根本上进行消除,从而导致长时间的定位信息不准。
回环检测技术的提出在很大程度上解决了上述问题,其主要目标是根据传感器采集的信息检测出机器人先后重复经过的某些位置(即检测出机器人运动轨迹中的环形路线),根据这些重复地点的定位信息的对比来消除累计误差。回环检测技术能在很大程度上消除累计误差,极大地提升机器人的定位精度,因此有着非常广泛的应用,几乎成为了机器人定位与导航系统的必备模块之一。
目前较为主流的回环检测算法是词袋模型(Bag-of-Words,BoW),该算法通过将图像中的特征点(SIFT、SURF、ORB等)的描述子聚类成一个个“单词”,用多个单词构成的词袋向量描述一帧图像,然后通过词袋向量之间的差异度量图像间的相似度,从而找出可能存在的回环。词袋模型仅仅使用了图像中的特征点,丢弃了其他信息,没有充分利用图像中的丰富色彩等信息,而且词袋模型需要计算每一个关键帧的单词向量,会增加计算量,降低运行效率。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一,本发明的目的在于提供一种基于颜色直方图的回环检测方法、装置及存储介质。
本发明所采用的技术方案是:
一种基于颜色直方图的回环检测方法,包括以下步骤:
获取关键帧的彩色图像,对获取彩色图像进行颜色处理;
所述颜色处理,包括:
将彩色图像转换为灰度图和HSV图像;
根据灰度图和HSV图像提取ORB特征点和LSD线特征;
对所述HSV图像的HSV颜色空间进行非均匀量化,根据HSV彩色图像获取量化后的颜色直方图;
根据颜色直方图构建图像主颜色向量,根据图像主颜色向量获取与当前关键帧同属一类的图像;
计算当前关键帧与当前关键帧同类图像的颜色直方图之间的巴氏系数,根据巴氏系数构建回环候选图像集;
若回环候选图像集为空,返回获取下一个关键帧的彩色图像,并进行颜色处理;
若回环候选图像集为非空,计算回环候选图像集中所有彩色图像的词袋向量,计算当前关键帧的词袋向量与其他图像帧的词袋向量的相似度,确定检测到相似度超过预设阈值,确定存在回环;
根据相似度获取图像帧,对获得的图像帧进行时间一致性与空间一致性检测验证,若验证通过,判定存在回环,并进行回环校正。
进一步,所述对所述HSV图像的HSV颜色空间进行非均匀量化,根据HSV彩色图像获取量化后的颜色直方图,包括:
将所述HSV图像的HSV颜色空间划分为若干个颜色区间,每个颜色区间对应颜色直方图中的一个区间bin,
根据HSV彩色图计算颜色位于每个bin区间的像素数量,获得一维颜色直方图。
进一步,所述一维颜色直方图通过以下方式获得:
将HSV颜色空间的H分量划分为16个区间、S分量和V分量各划分为4个区间;
将H分量、S分量、V分量进行加权组合后构成一维颜色向量:
G=QSQVH+QVS+V
其中,QS、QV分别为饱和度S和明度V分量的量化等级,一维颜色向量G的取值范围为[0,1,...,255];
通过计算一维颜色向量G获得HSV图像的一维颜色直方图。
进一步,所述根据颜色直方图构建图像主颜色向量,根据图像主颜色向量获取与当前关键帧同属一类的图像,包括:
选取颜色直方图中三个占比最大的颜色值作为图像的主颜色,每个主颜色由一个8位的二进制向量vi表示,将主颜色按顺序组合成一个24位的二进制主颜色向量P:
P=[v1,v2,v3]
根据图像主颜色向量P,采用K-means算法获取与当前关键帧同属一类的图像。
进一步,所述巴氏系数的计算公式为:
其中,p和p′为两幅图像的颜色直方图,巴氏系数ρ的取值范围为[0,1]。
进一步,所述当前关键帧的词袋向量vc与其他图像帧的词袋向量vk的相似度计算公式为:
若s(vc,vk)大于预定阈值,则确定当前关键帧Fc与第k帧Fk之间存在回环;否则不构成回环。
进一步,所述ORB特征点由关键点和BRIEF-32描述子组成;
在提取关键点后,采用四叉树分裂法和非极大值抑制算法对提取的所述关键点进行筛选,以去除边缘效应;
所述BRIEF-32描述子为256位的二进制向量,且二进制向量中的每一位由圆形区域中任意两个像素块的颜色相似度确定;
所述圆形区域以关键点为中心、半径为m个像素;
所述像素块为按照预设方式在所述圆形区域获取的区域。
进一步,对获得的图像帧进行时间一致性检测验证,包括:
获取当前关键帧相邻的若干图像帧,根据获得的图像帧检测是否构成回环,若构成回环,则确定回环满足时间一致性;
对获得的图像帧进行空间一致性检测验证,包括:
计算当前关键帧与构成回环的图像帧之间的位姿变换,若位姿变换的幅度小于阈值,则确定回环满足空间一致性。
本发明所采用的另一技术方案是:
一种基于颜色直方图的回环检测装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是:
一种存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是:本发明将图像的全局颜色特征颜色直方图应用于回环检测中,为回环检测算法提供了更丰富的图像信息,提高了回环检测准确率;另外,对HSV颜色空间进行非等间隔量化后再计算颜色直方图,减小了算法的计算复杂度。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案,下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍,应当理解的是,下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例,对于本领域的技术人员而言,在无需付出创造性劳动的前提下,还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种基于颜色直方图的回环检测方法的流程示意图;
图2是本发明实施例中K-means聚类算法流程图;
图3是本发明实施例中回环时间一致性与空间一致性检测示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1所示,本实施例提供一种基于颜色直方图的回环检测方法,包括以下步骤:
S1、获取关键帧的彩色图像,将彩色图像转换为灰度图和HSV图像。一个视频中可能包含两个或两个以上关键帧。
S2、根据灰度图和HSV图像提取ORB特征点和LSD线特征。
提取的特征点应尽可能均匀的分布在整幅图像中,本实施例采取两种措施保证ORB特征点的均匀分布,其一是对图像分块提取特征点;其二是采用四叉树分裂法和非极大值抑制算法对特征点进行筛选。LSD是图像中的某些直线段特征,其描述子为LBD,是一种二进制描述子。
其中,ORB特征点由FAST关键点和BRIEF描述子组成,同时为了使特征点具备方向不变性,采用像素块几何中心至像素块灰度中心的方向向量表示特征点的方向。
在提取每帧图像的ORB特征点时,图像转换为灰度图和HSV图像,并分别构建图像金字塔。通过建立图像金字塔,在金字塔的每一层都进行特征点的提取,从而形成尺度空间,保证特征点的尺度不变性。
在灰度图像金字塔的每一层中提取FAST关键点;FAST关键点是一种角点,通过比较某一像素点与其临近点的灰度值大小进行判定。
以灰度图中某一像素点p(设其灰度值为Ip)为圆心,在以3个像素单位为半径的圆周上共有16个像素点,设其灰度值为Ii(i=1,2,...,16):
其中:
在本实施例中取阈值T=0.2Ip,若N>N0则认为p点为关键点,N0通常取12或9,本实施例中取N0=9。
为了降低边缘效应,应尽可能的使特征点均匀的分布在整幅图中,在提取关键点之前先把灰度图划分为多个30*30的小区域,分别在各个小区域中提取特征点。设整幅图像共提取了M0个特征点,期望提取特征点数为Mi,则应满足条件M0>M1。
采用灰度质心法为每个关键点计算方向,计算方法如下:
以关键点为中心,选取一个半径为r个像素的圆盘区域Patch,计算出以图像块灰度值为权重的中心点,即灰度质心C:
其中,
假设灰度质心C圆盘几何中心O不重合,则该关键点的方向可以由向量的方向角θ表示:
θ=atan2(m01,m10)。
本实施例选择BRIEF-32描述子,即采用一个256bit的二进制向量对一个特征点进行描述。在以关键点作为中心的31*31像素的图像块中,以机器学习的方式选取256对像素点,设每个像素点坐标为(xi,yi),i=1,2,...,512,构成矩阵D:
为保证特征点描述子的旋转不变性,需要将D矩阵以特征点的方向角θ进行旋转变换:
Dθ=RθD
其中Rθ为特征点的方向角θ的旋转矩阵:
Dθ为旋转之后的像素点的坐标构成的矩阵,设其中的一对像素点坐标分别为(x′i1,y′i1),(x′i2,y′i2),与描述子的第i位Desi相对应。分别在HSV三个单色通道图像中计算以为(x′i1,y′i1),(x′i2,y′i2)中心、以2个像素为半径的圆盘形像素块Patch的像素平均值,计算方法如下:
计算这两个像素块的颜色相似度:
其中,Cdisti为色彩差异,Bdisti为亮度差异。
则描述子的第i位Desi根据如下方法定义:
其中εc、εB分别为色彩差异和亮度差异的阈值,当Cdisti和Bdisti均小于阈值时表示两个像素块色彩相近,描述子对应位取值为1,否则表示两个像素块色彩相异,描述子对应位取值为0。
对256对像素点进行上述运算后即可得到一个256位的二进制向量,即该特征点的R-BRIEF描述子。
S3、对所述HSV图像的HSV颜色空间进行非均匀量化,根据HSV彩色图像获取量化后的颜色直方图。
将HSV颜色空间非均匀量化,并根据HSV彩色图像计算其量化后的一维颜色直方图。HSV颜色空间的量化是将HSV颜色空间划分为若干个小的颜色区间,每个小的颜色区间对应颜色直方图中的一个区间bin,通过计算颜色落在每个bin区间的像素数量得到颜色直方图;由于彩色图像由色调H、饱和度S和明度V三个通道表示,且表示的颜色种类非常多,若不对颜色空间进行量化直接计算颜色直方图,计算量将会非常大。因此本发明先对H、S、V这三个颜色分量按照人眼对颜色的感知进行非等间隔的量化后再计算直方图,以减小算法的计算复杂度,具体量化方法如下:
根据不同色彩在HSV颜色空间中的范围以及人类视觉对色彩的主观感知,将H分量划分为16个区间,S分量和V分量各划分为4个区间:
根据上述的量化等级将H、S、V分量进行加权组合后构成一维颜色向量:
G=QSQVH+QVS+V
其中,QS、QV分别为饱和度S和明度V分量的量化等级,G的取值范围为[0,1,...,255]。
进一步地,通过计算G即可获得HSV图像的一维颜色直方图,其中,颜色直方图的横坐标为G的取值,即经过非均匀量化后整个HSV图像的颜色值,纵坐标为颜色值落在相应区间中的像素数量ni。
S4、根据颜色直方图构建图像主颜色向量,根据图像主颜色向量获取与当前关键帧同属一类的图像。
选取颜色直方图中占比最大的三个颜色值构成一个二进制向量作为图像主颜色向量P,并根据P找出与当前帧同属一类的图像;将颜色直方图中三个占比最大的颜色值作为图像的主颜色,每个颜色值由一个8位的二进制向量vi,i=1,2,3表示,将其按顺序组合成一个24位的二进制主颜色向量P:
P=[v1,v2,v3]
进一步地,如图2所示,采用K-means算法将所有关键帧的主颜色向量P进行分类,并建立K叉树用以提高检索效率。
S5、计算当前关键帧与当前关键帧同类图像的颜色直方图之间的巴氏系数,根据巴氏系数构建回环候选图像集。
对颜色直方图进行归一化,计算当前帧与其同类中各个图像颜色直方图之间的巴氏系数,选出巴氏系数大于阈值的所有图像构成回环候选图像集C;巴氏系数是对两个统计样本之间相似性的一种度量,其计算公式如下:
其中,p和p′为两幅图像的颜色直方图,N=255。巴氏系数ρ的取值范围为[0,1],其值越接近1表示两颜色直方图的相似度越高。
根据预设的阈值在聚类获得的图像帧中选出与当前关键帧颜色直方图相似度较高的图像构成候选图像集C。
S6、若回环候选图像集为空,返回执行步骤S1。若回环候选图像集为非空,计算回环候选图像集中所有彩色图像的词袋向量,计算当前关键帧的词袋向量与其他图像帧的词袋向量的相似度,确定检测到相似度超过预设阈值,确定存在回环。该词袋向量根据ORB特征点和LSD线特征计算获得。
判断候选图像集C是否为空,若图像集C为空,说明历史关键帧中没有与当前帧颜色直方图相近的图像,即当前关键帧不构成回环,返回步骤S1继续检测下一关键帧;若图像集C非空,则说明当前关键帧有可能构成回环,使用词袋模型对当前帧进行进一步的判断;
根据词袋模型计算当前帧与图像集C中所有图像的点特征与线特征词袋向量,计算当前帧词袋向量vc与候选帧词袋向量vk的相似度,计算方法如下:
若s(vc,vk)大于预定阈值,则认为当前帧Fc与第k帧Fk之间存在回环;否则表示当前帧不构成回环。
S7、根据相似度获取图像帧,对获得的图像帧进行时间一致性与空间一致性检测验证,若验证通过,判定存在回环,并进行回环校正。
如图3所示,对可能存在回环的图像帧之间进行时间一致性与空间一致性检测验证。时间一致性验证是根据回环帧的前后各帧之间是否能够连续的检测出相同的回环进行验证,若检测出回环的当前帧的之后几帧仍然可以检测出相同的回环,则认为回环满足时间一致性;空间一致性检测验证是通过计算当前帧与回环帧之间的位姿变换,若位姿变换幅度较小则认为回环满足空间一致性。
进一步地,若检测出的回环能够满足时间一致性与空间一致性,则将其视为真正的回环,并启动回环校正,对回环上的所有关键帧进行全局优化,消除累计误差。
综上所述,本实施例方法相对于现有技术,具有如下有益效果:
(1)将图像的全局颜色特征颜色直方图应用于回环检测中,为回环检测算法提供了更丰富的图像信息,提高了回环检测准确率。
(2)按照人眼对颜色的感知对HSV颜色空间进行非等间隔量化后再计算颜色直方图,减小了算法的计算复杂度。
(3)基于颜色直方图和词袋模型的两级检测策略在一定程度上减少了词袋向量的计算与匹配,提高了算法的运算效率。
本实施例还提供一种基于颜色直方图的回环检测装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上所述方法。
本实施例的一种基于颜色直方图的回环检测装置,可执行本发明方法实施例所提供的一种基于颜色直方图的回环检测方法,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质,存储有可执行本发明方法实施例所提供的一种基于颜色直方图的回环检测方法的指令或程序,当运行该指令或程序时,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的上述描述中,参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于上述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (9)
1.一种基于颜色直方图的回环检测方法,其特征在于,包括以下步骤:
获取关键帧的彩色图像,对获取彩色图像进行颜色处理;
所述颜色处理,包括:
将彩色图像转换为灰度图和HSV图像;
根据灰度图和HSV图像提取ORB特征点和LSD线特征;
对所述HSV图像的HSV颜色空间进行非均匀量化,根据HSV彩色图像获取量化后的颜色直方图;
根据颜色直方图构建图像主颜色向量,根据图像主颜色向量获取与当前关键帧同属一类的图像;
计算当前关键帧与当前关键帧同类图像的颜色直方图之间的巴氏系数,根据巴氏系数构建回环候选图像集;
若回环候选图像集为空,返回获取下一个关键帧的彩色图像,并进行颜色处理;
若回环候选图像集为非空,计算回环候选图像集中所有彩色图像的词袋向量,计算当前关键帧的词袋向量与其他图像帧的词袋向量的相似度,确定检测到相似度超过预设阈值,确定存在回环;
根据相似度获取图像帧,对获得的图像帧进行时间一致性与空间一致性检测验证,若验证通过,判定存在回环,并进行回环校正;
所述根据颜色直方图构建图像主颜色向量,根据图像主颜色向量获取与当前关键帧同属一类的图像,包括:
选取颜色直方图中三个占比最大的颜色值作为图像的主颜色,每个主颜色由一个8位的二进制向量vi表示,将主颜色按顺序组合成一个24位的二进制主颜色向量P:
P=[v1,v2,v3]
根据图像主颜色向量P,采用K-means算法获取与当前关键帧同属一类的图像。
2.根据权利要求1所述的一种基于颜色直方图的回环检测方法,其特征在于,所述对所述HSV图像的HSV颜色空间进行非均匀量化,根据HSV彩色图像获取量化后的颜色直方图,包括:
将所述HSV图像的HSV颜色空间划分为若干个颜色区间,每个颜色区间对应颜色直方图中的一个区间bin,
根据HSV彩色图计算颜色位于每个bin区间的像素数量,获得一维颜色直方图。
3.根据权利要求2所述的一种基于颜色直方图的回环检测方法,其特征在于,所述一维颜色直方图通过以下方式获得:
将HSV颜色空间的H分量划分为16个区间、S分量和V分量各划分为4个区间;
将H分量、S分量、V分量进行加权组合后构成一维颜色向量:
G=QSQVH+QVS+V
其中,Qs、QV分别为饱和度S和明度V分量的量化等级,一维颜色向量G的取值范围为[0,1,…,255];
通过计算一维颜色向量G获得HSV图像的一维颜色直方图。
4.根据权利要求1所述的一种基于颜色直方图的回环检测方法,其特征在于,所述巴氏系数的计算公式为:
其中,p和p′为两幅图像的颜色直方图,巴氏系数ρ的取值范围为[0,1]。
5.根据权利要求1所述的一种基于颜色直方图的回环检测方法,其特征在于,所述当前关键帧的词袋向量vc与其他图像帧的词袋向量vk的相似度计算公式为:
若s(vc,vk)大于预定阈值,则确定当前关键帧Fc与第k帧Fk之间存在回环;否则不构成回环。
6.根据权利要求1所述的一种基于颜色直方图的回环检测方法,其特征在于,
所述ORB特征点由关键点和BRIEF-32描述子组成;
在提取关键点后,采用四叉树分裂法和非极大值抑制算法对提取的所述关键点进行筛选,以去除边缘效应;
所述BRIEF-32描述子为256位的二进制向量,且二进制向量中的每一位由圆形区域中任意两个像素块的颜色相似度确定;
所述圆形区域以关键点为中心、半径为m个像素;
所述像素块为按照预设方式在所述圆形区域获取的区域。
7.根据权利要求1所述的一种基于颜色直方图的回环检测方法,其特征在于,
对获得的图像帧进行时间一致性检测验证,包括:
获取当前关键帧相邻的若干图像帧,根据获得的图像帧检测是否构成回环,
若构成回环,则确定回环满足时间一致性;
对获得的图像帧进行空间一致性检测验证,包括:
计算当前关键帧与构成回环的图像帧之间的位姿变换,若位姿变换的幅度小于阈值,则确定回环满足空间一致性。
8.一种基于颜色直方图的回环检测装置,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现权利要求1-7任一项所述的一种基于颜色直方图的回环检测方法。
9.一种存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110300183.9A CN112991448B (zh) | 2021-03-22 | 2021-03-22 | 一种基于颜色直方图的回环检测方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110300183.9A CN112991448B (zh) | 2021-03-22 | 2021-03-22 | 一种基于颜色直方图的回环检测方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112991448A CN112991448A (zh) | 2021-06-18 |
CN112991448B true CN112991448B (zh) | 2023-09-26 |
Family
ID=76334255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110300183.9A Active CN112991448B (zh) | 2021-03-22 | 2021-03-22 | 一种基于颜色直方图的回环检测方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112991448B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118038103B (zh) * | 2024-04-11 | 2024-06-14 | 南京师范大学 | 基于改进动态扩展模型自适应算法的视觉回环检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003244469A (ja) * | 2002-02-19 | 2003-08-29 | Nisca Corp | 画像判定装置、画像読み取り装置、画像判定方法、プログラム、プログラムを記録した記憶媒体 |
CN103392185A (zh) * | 2010-12-30 | 2013-11-13 | 派尔高公司 | 用于视频取证搜索的颜色相似性分类 |
CN107025668A (zh) * | 2017-03-30 | 2017-08-08 | 华南理工大学 | 一种基于深度相机的视觉里程计的设计方法 |
CN110047142A (zh) * | 2019-03-19 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机三维地图构建方法、装置、计算机设备及存储介质 |
CN110188809A (zh) * | 2019-05-22 | 2019-08-30 | 浙江大学 | 一种基于图像分块的回环检测方法 |
CN112507778A (zh) * | 2020-10-16 | 2021-03-16 | 天津大学 | 一种基于线特征的改进词袋模型的回环检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8326028B2 (en) * | 2007-12-26 | 2012-12-04 | Hitachi Computer Peripherals Co., Ltd. | Dropout color processing method and processing apparatus using same |
JP5217886B2 (ja) * | 2008-10-14 | 2013-06-19 | 富士通株式会社 | ループバック装置及びミラーリング方法 |
US10636114B2 (en) * | 2018-08-04 | 2020-04-28 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for scan-matching oriented visual slam |
-
2021
- 2021-03-22 CN CN202110300183.9A patent/CN112991448B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003244469A (ja) * | 2002-02-19 | 2003-08-29 | Nisca Corp | 画像判定装置、画像読み取り装置、画像判定方法、プログラム、プログラムを記録した記憶媒体 |
CN103392185A (zh) * | 2010-12-30 | 2013-11-13 | 派尔高公司 | 用于视频取证搜索的颜色相似性分类 |
CN107025668A (zh) * | 2017-03-30 | 2017-08-08 | 华南理工大学 | 一种基于深度相机的视觉里程计的设计方法 |
CN110047142A (zh) * | 2019-03-19 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机三维地图构建方法、装置、计算机设备及存储介质 |
CN110188809A (zh) * | 2019-05-22 | 2019-08-30 | 浙江大学 | 一种基于图像分块的回环检测方法 |
CN112507778A (zh) * | 2020-10-16 | 2021-03-16 | 天津大学 | 一种基于线特征的改进词袋模型的回环检测方法 |
Non-Patent Citations (3)
Title |
---|
基于图优化的单目视觉SLAM关键技术研究;杜鹏飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20181215(第12期);第4章 * |
基于数字地标图的室内自定位方法研究;方榕;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210115(第01期);第三章 * |
基于视觉的四旋翼无人机室内自主导航系统的研究与实现;张鹏;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200115(第01期);第3-4章 * |
Also Published As
Publication number | Publication date |
---|---|
CN112991448A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106960446B (zh) | 一种面向无人艇应用的水面目标检测跟踪一体化方法 | |
CN109753914B (zh) | 一种基于深度学习的车牌字符识别方法 | |
CN112614187B (zh) | 回环检测方法、装置、终端设备和可读存储介质 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN105205486B (zh) | 一种车标识别方法及装置 | |
US11200451B2 (en) | Object recognition method and apparatus | |
CN105404884B (zh) | 图像分析方法 | |
US9275447B2 (en) | Method and system for describing image region based on color histogram | |
US8406535B2 (en) | Invariant visual scene and object recognition | |
WO2019071739A1 (zh) | 人脸活体检测方法、装置、可读存储介质及终端设备 | |
CN107590442A (zh) | 一种基于卷积神经网络的视频语义场景分割方法 | |
CN108197604A (zh) | 基于嵌入式设备的快速人脸定位跟踪方法 | |
US9904868B2 (en) | Visual attention detector and visual attention detection method | |
CN110659550A (zh) | 交通标志牌识别方法、装置、计算机设备和存储介质 | |
CN114693983B (zh) | 基于图像-实例对齐网络的训练方法和跨域目标检测方法 | |
CN112633294A (zh) | 基于感知哈希的显著性区域检测方法、设备及存储设备 | |
CN110958467B (zh) | 视频质量预测方法和装置及电子设备 | |
CN111091583B (zh) | 长期目标跟踪方法 | |
CN104732534B (zh) | 一种图像中显著目标的抠取方法及系统 | |
Lecca et al. | Comprehensive evaluation of image enhancement for unsupervised image description and matching | |
CN112991448B (zh) | 一种基于颜色直方图的回环检测方法、装置及存储介质 | |
US20230386023A1 (en) | Method for detecting medical images, electronic device, and storage medium | |
US20170053399A1 (en) | Method and apparatus for processing block to be processed of urine sediment image | |
Gupta et al. | A scheme for attentional video compression | |
WO2022168274A1 (ja) | 情報処理装置、選択出力方法、及び選択出力プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |