CN108090919B - 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 - Google Patents
一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 Download PDFInfo
- Publication number
- CN108090919B CN108090919B CN201810002543.5A CN201810002543A CN108090919B CN 108090919 B CN108090919 B CN 108090919B CN 201810002543 A CN201810002543 A CN 201810002543A CN 108090919 B CN108090919 B CN 108090919B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- scale
- superpixel
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003287 optical effect Effects 0.000 title claims abstract description 35
- 238000001914 filtration Methods 0.000 title claims abstract description 19
- 230000003044 adaptive effect Effects 0.000 title claims description 14
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 230000008859 change Effects 0.000 claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 22
- 238000006073 displacement reaction Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 4
- 230000004044 response Effects 0.000 claims description 37
- 238000012937 correction Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 claims description 5
- 230000001419 dependent effect Effects 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 4
- GIYXAJPCNFJEHY-UHFFFAOYSA-N N-methyl-3-phenyl-3-[4-(trifluoromethyl)phenoxy]-1-propanamine hydrochloride (1:1) Chemical compound Cl.C=1C=CC=CC=1C(CCNC)OC1=CC=C(C(F)(F)F)C=C1 GIYXAJPCNFJEHY-UHFFFAOYSA-N 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000006872 improvement Effects 0.000 abstract description 4
- 238000005206 flow analysis Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，通过超像素分析的策略实现目标的外观重构，将目标分割成超像素块并聚类成超像素中心，计算每个超像素中心的光流分析像素点的位移变化，预测出目标的运动偏移量和尺度变化；基于预测出的参数，在新一帧图像中循环采样后，对每个样本均采用引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，检测出目标的准确位置和尺度；最后，通过在线双SVM检测模型对检测结果进行检测校正，对低置信度的位置实施校正，最终精确定位目标位置并得到目标准确尺度。该发明克服目标跟踪过程中存在的尺度变化、遮挡、形变、运动模糊等跟踪难题，实现实时的高精度目标跟踪。
Description
技术领域
本发明涉及图像处理与分析技术领域，具体涉及一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法。
背景技术
计算机技术与人工智能的充分结合不仅促进了计算机科学领域的发展，还极大地方便了人们的日常生活。作为引领计算机走向智能化的重要领域，计算机视觉技术引起了社会广泛的关注。而视觉目标跟踪技术作为计算机视觉的一项关键组成成分，可广泛应用于人机交互、行人和车辆监控、无人机航行等诸多场合。由于目标跟踪算法具有极为广泛的应用前景，近几年来国内外研究人员在此领域提出大量先进的目标跟踪算法，极大地促进了视觉目标跟踪领域的发展与进步，大体上可以分成两类：生成式跟踪算法通常是先学习目标的外观模型，然后从众多候选模型中寻找与目标模型匹配度最高的对应目标区域；判别式跟踪算法是把目标跟踪近似看作二分类任务，即通过完成目标前景和背景分类的任务实现目标地持续跟踪。
生成式跟踪算法的关键在于对目标的外观进行准确地重构，并在跟踪过程中不断地学习目标的外观变化，从而在线更新外观模型，达到实时跟踪目标的目的。此类方法充分利用了图像的信息，能精确地拟合目标的外观模型，但在实际应用中，跟踪目标的外观通常没有特定的表现形式且容易发生外观显著变化从而容易导致目标跟踪丢失。判别式跟踪算法的基本思路是通过在线学习，获取前景目标与背景的分界面，降低计算成本而提升计算效率。此类方法虽已能取得较好的跟踪性能，但对训练样本的依赖程度相对较高，主要考虑的是样本特征的选取与表示，而忽略了对目标外观的有效重构，不能有效提取目标的完整信息。
此外，随着目标跟踪研究的不断深入，近年来，基于核函数的目标跟踪方法得到极大的发展，并表现出了优异的跟踪性能和较强的鲁棒性。这种方法在广义上属于判别式跟踪算法，通过在目标的邻近区域循环采样得到大量的正负样本训练分类器，并引入核函数和傅里叶分析，从而实现时间消耗少、速度快的目标跟踪。
虽然目标跟踪技术发展很快，但当前目标跟踪过程中仍存在诸多极富挑战性的问题，如环境光照变化、遮挡、形变、运动模糊和旋转等，上述跟踪难题是目标跟踪算法仍需克服的难点。
发明内容
本发明的目的是为了解决现有技术中目标跟踪过程中普遍存在的尺度变化、遮挡、形变、运动模糊等跟踪难题，提供一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，实现实时的高精度目标跟踪。
本发明的目的可以通过采取如下技术方案达到：
一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，所述的方法包括下列步骤：
S1、输入视频序列的第一帧图像后，根据用户的指定确定跟踪目标所在的区域，利用SLIC算法重构目标的外观模型，对目标进行超像素分割，并用k-means聚类算法聚类成若干个超像素中心；然后，计算上述每一超像素中心的L-K光流，从而在下一帧图像中找到与之对应的每一像素点；之后根据相邻两帧图像的对应像素点的位置，分析像素点的位移变化，进而预测出需要跟踪目标的运动偏移量和尺度变化；
S2、基于上一步骤中预测出的目标运动偏移量在下一帧图像中进行循环采样后，将目标跟踪的任务分解成两个子任务:目标位置检测和目标尺度检测；对每个样本均使用引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，通过傅里叶分析计算每个样本的置信图响应值并得到最大响应值对应的位置，检测出目标的准确位置；之后，在最大响应值对应的位置，分别用不同尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，得到最大尺度响应值，进而检测出目标的准确尺度；
S3、采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正，输出目标跟踪结果。
进一步地，所述的采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正的过程如下：随着目标的持续运动，在跟踪结果置信度较高的位置，对目标进行采样，从而将这些可靠的目标表观信息用于建立检测模型，训练两个SVM；在跟踪结果置信度较低时，SVM检测模型对目标进行检测，以对低置信度的位置实施校正，从而实现对目标跟踪结果的优化或重新初始化，并进行下一轮的目标跟踪。
进一步地，所述的步骤S1具体包括：
S101、第一帧图像确定需要跟踪的目标后，以目标区域的指定倍数为搜索区域，并将搜索区域变换到CIELAB颜色空间中；
S102、根据搜索区域的像素数量N和聚类中心数量k，将搜索区域等像素间隔
划分，并在网格上随机初步选定k个聚类中心的位置；
S103、计算每个聚类中心3×3像素邻域内所有像素点的梯度值，将聚类中心移至该邻域内梯度最小值对应处，而对于每个像素，在其2S×2S邻域内用k-means算法聚类到距离最近的像素中心类；重复上述过程直至误差收敛，得到超像素分割后能够表征目标信息的超像素中心Ci；
S104、计算上述每个超像素中心的L-K光流后,找到下一帧图像中与之对应的光流点Oi；根据相邻两帧图像的对应像素点的位置，用公式(1)计算并得到像素点的位移变化量序列：
其中，X和Y分别是位移变化的横、纵坐标序列，Ci.x和Ci.y分别是超像素中心的横、纵坐标，以及Oi.x和Oi.y分别是对应光流点的横、纵坐标，n是相邻帧中能够匹配到的光流对数量，abs(·)是代表绝对值计算，因此，利用超像素光流法预测出的跟踪目标的运动偏移量(Δx,Δy)为：
(Δx,Δy)＝(median(X),median(Y)) (2)
其中median(·)是求中值运算；
S105、根据式(3)分别计算当前帧图像中每一个超像素中心与其余超像素中心的欧氏距离对Dr，以及下一帧图像中每一个光流点与其余光流点的欧氏距离对Dp：
其中dist(·)是计算欧式距离，因此，利用超像素光流法预测出的跟踪目标的尺度变化因子Sf为：
进一步地，所述的步骤S2具体包括：
S201、根据预测出的目标运动偏移量(Δx,Δy)，在获取的新一帧大小为N×M图像块z中以px+Δx,y+Δy循环移位进行循环采集样本，则区域内的所有样本为px,y，(x,y)∈{0,...,N-1}×{0,...,M-1}；
S202、对每个样本均使用基于高斯核的相关滤波目标跟踪方法，完成目标位置检测于是转化为最小化代价函数ε：
其中，r(x,y)是目标的回归模型，φ是对Hilbert空间的映射，λ1是正则化系数，因此式(5)的闭式解为：
w＝∑x,yα(x,y)φ(px,y) (6)
其中系数α为：
其中，A是相关滤波模型系数，
是离散傅里叶变化运算，核函数kp＝κ(p,p)；
S203、根据式(8)计算图像块z置信图的
响应值为：
其中，
是目标位置滤波模型，⊙是Hadamart乘积运算，因此，新一帧图像中检测到的目标中心Ct在置信图
中最大响应值对应的位置，以及自适应历史学习因子δ为：
其中，δ0是初始化学习因子参数，t是帧数的索引值，以及max(·)是求最大值运算；
S204、完成目标尺度检测：在目标中心Ct的对应位置小邻域范围内循环采样后，训练目标外观相关滤波器Rs，根据步骤S1中预测出的目标尺度变化因子Sf和式(10)求得当前帧中目标的尺度变化步长Ss为：
Ss＝(Ss,0-1)+Sf (10)
其中，Ss,0是初始尺度步长参数，然后以Sf为基准，根据尺度变化步长Ss得到目标实际尺度范围Φ为
Φ＝{Sf±(Ss×i)} (11)
其中，i＝{0,1,...,(L-1)/2}，L是尺度范围Φ中可能的尺度个数；
S205、将尺度范围Φ中的各尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，并得到卷积响应值
因此，新一帧图像中检测到的准确的目标尺度为卷积响应最大值对应的尺度；
S206、利用自适应学习因子δ学习历史可靠正样本根据式(12)分别更新目标位置滤波模型
和相关滤波模型系数
准备下一帧目标的跟踪：
进一步地，所述的步骤S3具体包括：
S301、若步骤S201中捕获的是第一帧图像，由于第一帧中目标信息已知，则可认为该结果是最可靠的，因此根据目标位置循环采样并提取其特征Ψ，以及提取历史可靠正样本的特征Υ，用于建立双SVM检测模型；
S302、根据样本特征Ψ，利用双SVM校正方法的优化目标为：
其中，ω是权重向量，C是常数，ξi是松弛变量，xi是特征向量，yi为正负标签以及b是偏置值；
S303、当再捕获新一帧图像并完成跟踪后，双SVM检测模型对跟踪结果的可靠性进行检测校正：提取样本特征Ψ，根据式(14)计算出对应的分数序列值：
γs＝ωT×Ψ+b (14)
找出最大分数值对应的图像块；
S304、根据式(8)重新计算此图像块置信图的响应值记为
而步骤S203中检测出的目标中心Ct在置信图中的最大响应值记为
若满足下式：
其中λ2是响应值校正倍率，则说明双SVM检测模型检测出的目标结果相较于初步的目标跟踪结果更为可靠，实现了对目标跟踪结果的优化目的，校正后的跟踪结果为最终的目标跟踪结果；若不满足式(15)，则说明双SVM检测模型校正失败，初步的目标跟踪结果即为最终的目标跟踪结果；
S305、双SVM检测模型对跟踪结果的可靠性进行检测校正后，分别对两个SVM进行训练：对于第一个SVM，检测校正结束后即采用passive-aggressive在线学习策略进行更新，计算铰链损失函数lhinge：
lhinge＝max(0,1-yi×xi×ω),i＝1,2,...,m (16)
权重向量ω直接根据式(17)更新为：
对于第二个SVM，则在检测校正失败后才进行更新，结合历史可靠正样本和当前帧中的正样本根据式(13)重新训练出权重向量ω和偏置值b。
进一步地，所述的步骤S101中以目标区域的1.4倍为搜索区域。
进一步地，所述的历史可靠正样本为样本块置信图的
响应值大于阈值θ1的样本。
本发明相对于现有技术具有如下的优点及效果：
1)对重构跟踪目标而言，通过超像素分析策略将目标分割成有意义的超像素块并聚类成超像素中心，能够充分获取目标的外观和内部信息，利用超像素点的位移变化来预测目标的运动偏移量和尺度变化，使得后续精准跟踪更易实现。
2)对在线跟踪目标而言，通过引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，能够准确地定位出目标位置及尺度，使得目标跟踪过程更为鲁棒。
3)对跟踪结果检测校正而言，通过在线的双SVM检测模型对低置信度的位置实施校正，得到最准确的目标中心位置和目标尺度，大大提高了目标跟踪的准确度。
附图说明
图1是本发明基于超像素光流和自适应学习因子改进的核相关滤波目标跟踪方法的流程框图；
图2是基于超像素光流法预测出目标运动偏移量和尺度变化的流程框图；
图3是利用改进后的核相关滤波器确定目标新位置和新尺度的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1至图3所示，本实施例公开一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，解决当前目标跟踪过程中普遍存在的尺度变化、遮挡、形变、运动模糊等跟踪难题，实现实时的高精度目标跟踪；包括以下三个步骤：
S1、输入视频序列的第一帧图像后，根据用户的指定确定跟踪目标所在的区域，利用SLIC算法重构目标的外观模型，对目标进行超像素分割，并用k-means聚类算法聚类成若干个超像素中心；然后，计算上述每一超像素中心的L-K光流，从而在下一帧图像中找到与之对应的每一像素点；之后根据相邻两帧图像的对应像素点的位置，分析像素点的位移变化，进而预测出需要跟踪目标的运动偏移量和尺度变化；
其中，步骤S1具体包括以下子步骤：
S101、第一帧确定需要跟踪的目标后，以目标区域的指定倍数为搜索区域，并将搜索区域变换到CIELAB颜色空间中；
示例性地，本实施例中以目标区域的1.4倍为搜索区域。
S102、根据搜索区域的像素数量N和聚类中心数量k，将搜索区域等像素间隔
划分，并在网格上随机初步选定k个聚类中心的位置；
S103、计算每个聚类中心3×3像素邻域内所有像素点的梯度值，将聚类中心移至该邻域内梯度最小值对应处，而对于每个像素，在其2S×2S邻域内用k-means算法聚类到距离最近的像素中心类；重复上述过程直至误差收敛(即每个像素点的聚类中心不再变化)，得到超像素分割后能够表征目标信息的超像素中心Ci；
S104、接着，计算上述每个超像素中心的L-K光流后,找到下一帧图像中与之对应的光流点Oi；根据相邻两帧图像的对应像素点的位置，用公式(1)计算并得到像素点的位移变化量序列：
其中，X和Y分别是位移变化的横、纵坐标序列；Ci.x和Ci.y分别是超像素中心的横、纵坐标，以及Oi.x和Oi.y分别是对应光流点的横、纵坐标；n是相邻帧中能够匹配到的光流对数量，abs(·)是代表绝对值计算。因此，利用超像素光流法预测出的跟踪目标的运动偏移量(Δx,Δy)为：
(Δx,Δy)＝(median(X),median(Y)) (2)
其中median(·)是求中值运算。
S105、最后，根据式(3)分别计算当前帧图像中每一个超像素中心与其余超像素中心的欧氏距离对Dr，以及下一帧图像中每一个光流点与其余光流点的欧氏距离对Dp：
其中dist(·)是计算欧式距离。因此，利用超像素光流法预测出的跟踪目标的尺度变化因子Sf为：
S2、基于步骤S1中预测出的目标运动偏移量在下一帧图像中进行循环采样后，将目标跟踪的任务分解成两个子任务:目标位置检测和目标尺度检测；对每个样本均使用引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，通过傅里叶分析计算每个样本的置信图响应值并得到最大响应值对应的位置，检测出目标的准确位置；之后，在最大响应值对应的位置，分别用不同尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，得到最大尺度响应值，进而检测出目标的准确尺度；
其中，步骤S2具体包括以下子步骤：
S201、根据预测出的目标运动偏移量(Δx,Δy)，在获取的新一帧大小为N×M图像块z中以px+Δx,y+Δy循环移位进行循环采集样本，则区域内的所有样本为px,y，(x,y)∈{0,...,N-1}×{0,...,M-1}；
S202、对每个样本均使用基于高斯核的相关滤波目标跟踪方法，完成目标位置检测于是转化为最小化代价函数ε：
其中，r(x,y)是目标的回归模型，φ是对Hilbert空间的映射，λ1是正则化系数。因此式(5)的闭式解为：
w＝∑x,yα(x,y)φ(px,y) (6)
其中系数α为：
其中，A是相关滤波模型系数，
是离散傅里叶变化运算，核函数kp＝κ(p,p)。
S203、接着，根据式(8)计算图像块z置信图的
响应值为：
其中，
是目标位置滤波模型，⊙是Hadamart乘积运算。因此，新一帧图像中检测到的目标中心Ct在置信图
中最大响应值对应的位置，以及自适应历史学习因子δ为：
其中，δ0是初始化学习因子参数，t是帧数的索引值，以及max(·)是求最大值运算。
S204、其次完成目标尺度检测：在目标中心Ct的对应位置小邻域范围内循环采样后，训练目标外观相关滤波器Rs；根据第一步中预测出的目标尺度变化因子Sf和式(10)求得当前帧中目标的尺度变化步长Ss为：
Ss＝(Ss,0-1)+Sf (10)
其中，Ss,0是初始尺度步长参数。然后以Sf为基准，根据尺度变化步长Ss得到目标实际尺度范围Φ为
Φ＝{Sf±(Ss×i)} (11)
其中，i＝{0,1,...,(L-1)/2}，L是尺度范围Φ中可能的尺度个数。
S205、将尺度范围Φ中的各尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，并得到卷积响应值
因此，新一帧图像中检测到的准确的目标尺度为卷积响应最大值对应的尺度。
S206、最后，利用自适应学习因子δ学习历史可靠正样本(样本块置信图的
响应值大于阈值θ1认为是可靠正样本)，根据式(12)分别更新目标位置滤波模型
和相关滤波模型系数
准备下一帧目标的跟踪：
S3、在输出目标跟踪结果(目标位置和目标尺度)前，采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正，即：随着目标的持续运动，在跟踪结果置信度较高的位置，对目标进行采样，从而将这些可靠的目标表观信息用于建立检测模型，训练两个SVM；在跟踪结果置信度较低时，SVM检测模型对目标进行检测，以对低置信度的位置实施校正，从而实现对目标跟踪结果的优化或重新初始化，并进行下一轮的目标跟踪。
其中，步骤S3具体包括以下子步骤：
S301、若步骤S201中捕获的是第一帧图像，由于第一帧中目标信息已知，则可认为该结果是最可靠的，因此根据目标位置循环采样并提取其特征Ψ，以及提取历史可靠正样本的特征Υ，用于建立双SVM检测模型；
S302、根据样本特征Ψ，利用双SVM校正方法的优化目标为：
其中，ω是权重向量，C是常数，ξi是松弛变量，xi是特征向量，yi为正负标签以及b是偏置值。
S303、当再捕获新一帧图像并完成跟踪后，双SVM检测模型对跟踪结果的可靠性进行检测校正：提取样本特征Ψ，根据式(14)计算出对应的分数序列值：
γs＝ωT×Ψ+b (14)
找出最大分数值对应的图像块。
S304、根据式(8)重新计算此图像块置信图的响应值记为
而步骤S203中检测出的目标中心Ct在置信图中的最大响应值记为
若满足下式：
其中λ2是响应值校正倍率。则说明双SVM检测模型检测出的目标结果相较于初步的目标跟踪结果更为可靠，实现了对目标跟踪结果的优化目的，校正后的跟踪结果为最终的目标跟踪结果。若不满足式(15)，则说明双SVM检测模型校正失败，初步的目标跟踪结果即为最终的目标跟踪结果。
S305、双SVM检测模型对跟踪结果的可靠性进行检测校正后，分别对两个SVM进行训练：对于第一个SVM，检测校正结束后即采用passive-aggressive在线学习策略进行更新，计算铰链损失函数lhinge：
lhinge＝max(0,1-yi×xi×ω),i＝1,2,...,m (16)
权重向量ω直接根据式(17)更新为：
对于第二个SVM，则在检测校正失败后才进行更新，结合历史可靠正样本和当前帧中的正样本根据式(13)重新训练出权重向量ω和偏置值b。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (4)
1.一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的方法包括下列步骤：
S1、输入视频序列的第一帧图像后，根据用户的指定确定跟踪目标所在的区域，利用SLIC算法重构目标的外观模型，对目标进行超像素分割，并用k-means聚类算法聚类成若干个超像素中心；然后，计算上述每一超像素中心的L-K光流，从而在下一帧图像中找到与之对应的每一像素点；之后根据相邻两帧图像的对应像素点的位置，分析像素点的位移变化，进而预测出需要跟踪目标的运动偏移量和尺度变化；所述的步骤S1具体包括：
S101、第一帧图像确定需要跟踪的目标后，以目标区域的指定倍数为搜索区域，并将搜索区域变换到CIELAB颜色空间中；
S102、根据搜索区域的像素数量N和聚类中心数量k，将搜索区域等像素间隔
划分，并在网格上随机初步选定k个聚类中心的位置；
S103、计算每个聚类中心3×3像素邻域内所有像素点的梯度值，将聚类中心移至该邻域内梯度最小值对应处，而对于每个像素，在其2S×2S邻域内用k-means算法聚类到距离最近的像素中心类；重复上述过程直至误差收敛，得到超像素分割后能够表征目标信息的超像素中心Ci；
S104、计算上述每个超像素中心的L-K光流后,找到下一帧图像中与之对应的光流点Oi；根据相邻两帧图像的对应像素点的位置，用公式(1)计算并得到像素点的位移变化量序列：
其中，X和Y分别是位移变化的横、纵坐标序列，Ci.x和Ci.y分别是超像素中心的横、纵坐标，以及Oi.x和Oi.y分别是对应光流点的横、纵坐标，n是相邻帧中能够匹配到的光流对数量，abs(·)是代表绝对值计算，因此，利用超像素光流法预测出的跟踪目标的运动偏移量(Δx,Δy)为：
(Δx,Δy)＝(median(X),median(Y)) (2)
其中median(·)是求中值运算；
S105、根据式(3)分别计算当前帧图像中每一个超像素中心与其余超像素中心的欧氏距离对Dr，以及下一帧图像中每一个光流点与其余光流点的欧氏距离对Dp：
其中dist(·)是计算欧式距离，因此，利用超像素光流法预测出的跟踪目标的尺度变化因子Sf为：
S2、基于上一步骤中预测出的目标运动偏移量在下一帧图像中进行循环采样后，将目标跟踪的任务分解成两个子任务:目标位置检测和目标尺度检测；对每个样本均使用引入自适应学习因子改进后的基于高斯核的相关滤波目标跟踪方法，通过傅里叶分析计算每个样本的置信图响应值并得到最大响应值对应的位置，检测出目标的准确位置；之后，在最大响应值对应的位置，分别用不同尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，得到最大尺度响应值，进而检测出目标的准确尺度；所述的步骤S2具体包括：
S201、根据预测出的目标运动偏移量(Δx,Δy)，在获取的新一帧大小为N×M图像块z中以px+Δx,y+Δy循环移位进行循环采集样本，则区域内的所有样本为px,y，(x,y)∈{0,...,N-1}×{0,...,M-1}；
S202、对每个样本均使用基于高斯核的相关滤波目标跟踪方法，完成目标位置检测于是转化为最小化代价函数ε：
其中，r(x,y)是目标的回归模型，φ是对Hilbert空间的映射，λ1是正则化系数，因此式(5)的闭式解为：
w＝∑x,yα(x,y)φ(px,y) (6)
其中系数α为：
其中，A是相关滤波模型系数，
是离散傅里叶变化运算，核函数kp＝κ(p,p)；
S203、根据式(8)计算图像块z置信图的
响应值为：
其中，
是目标位置滤波模型，⊙是Hadamart乘积运算，因此，新一帧图像中检测到的目标中心Ct在置信图
中最大响应值对应的位置，以及自适应历史学习因子δ为：
其中，δ0是初始化学习因子参数，t是帧数的索引值，以及max(·)是求最大值运算；
S204、完成目标尺度检测：在目标中心Ct的对应位置小邻域范围内循环采样后，训练目标外观相关滤波器Rs，根据步骤S1中预测出的目标尺度变化因子Sf和式(10)求得当前帧中目标的尺度变化步长Ss为：
Ss＝(Ss,0-1)+Sf (10)
其中，Ss,0是初始尺度步长参数，然后以Sf为基准，根据尺度变化步长Ss得到目标实际尺度范围Φ为
Φ＝{Sf±(Ss×i)} (11)
其中，i＝{0,1,...,(L-1)/2}，L是尺度范围Φ中可能的尺度个数；
S205、将尺度范围Φ中的各尺度的目标区域框与上一帧跟踪的目标区域进行相关卷积，并得到卷积响应值
因此，新一帧图像中检测到的准确的目标尺度为卷积响应最大值对应的尺度；
S206、利用自适应学习因子δ学习历史可靠正样本根据式(12)分别更新目标位置滤波模型
和相关滤波模型系数
准备下一帧目标的跟踪：
S3、采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正，输出目标跟踪结果；所述的步骤S3具体包括：
S301、若步骤S201中捕获的是第一帧图像，由于第一帧中目标信息已知，则可认为该结果是最可靠的，因此根据目标位置循环采样并提取其特征Ψ，以及提取历史可靠正样本的特征Υ，用于建立双SVM检测模型；
S302、根据样本特征Ψ，利用双SVM校正方法的优化目标为：
其中，ω是权重向量，C是常数，ξi是松弛变量，xi是特征向量，yi为正负标签以及b是偏置值；
S303、当再捕获新一帧图像并完成跟踪后，双SVM检测模型对跟踪结果的可靠性进行检测校正：提取样本特征Ψ，根据式(14)计算出对应的分数序列值：
γs＝ωT×Ψ+b (14)
找出最大分数值对应的图像块；
S304、根据式(8)重新计算此图像块置信图的响应值记为
而步骤S203中检测出的目标中心Ct在置信图中的最大响应值记为
若满足下式：
其中λ2是响应值校正倍率，则说明双SVM检测模型检测出的目标结果相较于初步的目标跟踪结果更为可靠，实现了对目标跟踪结果的优化目的，校正后的跟踪结果为最终的目标跟踪结果；若不满足式(15)，则说明双SVM检测模型校正失败，初步的目标跟踪结果即为最终的目标跟踪结果；
S305、双SVM检测模型对跟踪结果的可靠性进行检测校正后，分别对两个SVM进行训练：对于第一个SVM，检测校正结束后即采用passive-aggressive在线学习策略进行更新，计算铰链损失函数lhinge：
lhinge＝max(0,1-yi×xi×ω),i＝1,2,...,m (16)
权重向量ω直接根据式(17)更新为：
对于第二个SVM，则在检测校正失败后才进行更新，结合历史可靠正样本和当前帧中的正样本根据式(13)重新训练出权重向量ω和偏置值b。
2.根据权利要求1所述的一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的采用在线双SVM检测模型对跟踪结果的可靠性进行检测校正的过程如下：随着目标的持续运动，在跟踪结果置信度较高的位置，对目标进行采样，从而将这些可靠的目标表观信息用于建立检测模型，训练两个SVM；在跟踪结果置信度较低时，SVM检测模型对目标进行检测，以对低置信度的位置实施校正，从而实现对目标跟踪结果的优化或重新初始化，并进行下一轮的目标跟踪。
3.根据权利要求1所述的一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的步骤S101中以目标区域的1.4倍为搜索区域。
4.根据权利要求1所述的一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法，其特征在于，所述的历史可靠正样本为样本块置信图的
响应值大于阈值θ1的样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810002543.5A CN108090919B (zh) | 2018-01-02 | 2018-01-02 | 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810002543.5A CN108090919B (zh) | 2018-01-02 | 2018-01-02 | 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108090919A CN108090919A (zh) | 2018-05-29 |
| CN108090919B true CN108090919B (zh) | 2020-12-22 |
Family
ID=62181500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810002543.5A Active CN108090919B (zh) | 2018-01-02 | 2018-01-02 | 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108090919B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064491A (zh) * | 2018-04-12 | 2018-12-21 | 江苏省基础地理信息中心 | 一种自适应分块的核相关滤波跟踪方法 |
| CN109033944B (zh) * | 2018-06-07 | 2021-09-24 | 西安电子科技大学 | 一种全天空极光图像分类与关键局部结构定位方法及系统 |
| CN108830209B (zh) * | 2018-06-08 | 2021-12-17 | 西安电子科技大学 | 基于生成对抗网络的遥感图像道路提取方法 |
| CN108830812B (zh) * | 2018-06-12 | 2021-08-31 | 福建帝视信息科技有限公司 | 一种基于网格结构深度学习的视频高帧率重制方法 |
| CN110705334A (zh) * | 2018-07-09 | 2020-01-17 | 翔升（上海）电子技术有限公司 | 目标追踪方法、装置、设备和介质 |
| CN110751671B (zh) * | 2018-07-23 | 2022-08-19 | 中国科学院长春光学精密机械与物理研究所 | 一种基于核相关滤波与运动估计的目标跟踪方法 |
| CN109034088A (zh) * | 2018-08-06 | 2018-12-18 | 北京邮电大学 | 一种无人机信号探测方法及装置 |
| CN109117794A (zh) * | 2018-08-16 | 2019-01-01 | 广东工业大学 | 一种运动目标行为跟踪方法、装置、设备及可读存储介质 |
| CN109215061B (zh) * | 2018-11-06 | 2022-04-19 | 广东工业大学 | 一种人脸毛孔跟踪方法及系统 |
| CN109615640B (zh) * | 2018-11-19 | 2021-04-30 | 北京陌上花科技有限公司 | 相关滤波目标跟踪方法及装置 |
| CN109584277A (zh) * | 2018-12-07 | 2019-04-05 | 上海应用技术大学 | 一种基于二次搜索的核相关滤波跟踪方法 |
| CN109816611B (zh) | 2019-01-31 | 2021-02-12 | 北京市商汤科技开发有限公司 | 视频修复方法及装置、电子设备和存储介质 |
| CN109886280B (zh) * | 2019-02-21 | 2022-05-31 | 西安微电子技术研究所 | 一种基于核相关滤波的异源图像目标匹配方法 |
| CN110033006B (zh) * | 2019-04-04 | 2022-03-29 | 华设设计集团股份有限公司 | 基于颜色特征非线性降维的车辆检测跟踪方法 |
| CN110458017B (zh) * | 2019-07-08 | 2022-02-18 | 浙江大华技术股份有限公司 | 目标跟踪的尺度估计方法以及相关装置 |
| CN112489077A (zh) * | 2019-09-12 | 2021-03-12 | 阿里巴巴集团控股有限公司 | 目标跟踪方法、装置及计算机系统 |
| CN110827313B (zh) * | 2019-09-19 | 2023-03-03 | 深圳云天励飞技术股份有限公司 | 快速光流跟踪方法及相关设备 |
| CN110827324B (zh) * | 2019-11-08 | 2023-05-26 | 江苏科技大学 | 一种视频目标跟踪方法 |
| CN110929620B (zh) * | 2019-11-15 | 2023-04-07 | 浙江大华技术股份有限公司 | 目标跟踪方法、装置及存储装置 |
| CN111105444B (zh) * | 2019-12-31 | 2023-07-25 | 哈尔滨工程大学 | 一种适用于水下机器人目标抓取的连续跟踪方法 |
| CN111291630A (zh) * | 2020-01-17 | 2020-06-16 | 天津大学 | 基于联合预测-检测-修正框架的长期目标跟踪算法 |
| CN111311641B (zh) * | 2020-02-25 | 2023-06-09 | 重庆邮电大学 | 一种无人机目标跟踪控制方法 |
| CN116228817B (zh) * | 2023-03-10 | 2023-10-03 | 东南大学 | 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法 |
| CN116664559B (zh) * | 2023-07-28 | 2023-11-03 | 深圳市金胜电子科技有限公司 | 基于机器视觉的内存条损伤快速检测方法 |
| CN116774590B (zh) * | 2023-08-17 | 2023-11-07 | 山东金彭新能源科技有限公司 | 一种影响干扰用自适应调控方法及系统 |
| CN117593211B (zh) * | 2023-12-15 | 2024-09-24 | 书行科技(北京)有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9373036B1 (en) * | 2015-01-16 | 2016-06-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Collaborative distance metric learning for method and apparatus visual tracking |
| CN106022263A (zh) * | 2016-05-19 | 2016-10-12 | 西安石油大学 | 一种融合特征匹配和光流法的车辆跟踪方法 |
-
2018
- 2018-01-02 CN CN201810002543.5A patent/CN108090919B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9373036B1 (en) * | 2015-01-16 | 2016-06-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Collaborative distance metric learning for method and apparatus visual tracking |
| CN106022263A (zh) * | 2016-05-19 | 2016-10-12 | 西安石油大学 | 一种融合特征匹配和光流法的车辆跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| Exploiting superpixel and hybrid hash for kernel-based visual tracking;Guile Wu, Wenxiong Kang;《Pattern Recognition》;20170309;第68卷;第175-190页 * |
| Visual tracking utilizing robust complementary learner and adaptive refiner;Rui Shi, Guile Wu, Wenxiong Kang, Zhiyong Wang, David Dagan Feng;《Neurocomputing》;20170510;第260卷;第367-377页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108090919A (zh) | 2018-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108090919B (zh) | 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 | |
| CN108154118B (zh) | 一种基于自适应组合滤波与多级检测的目标探测系统及方法 | |
| Von Stumberg et al. | Gn-net: The gauss-newton loss for multi-weather relocalization | |
| CN108986140B (zh) | 基于相关滤波和颜色检测的目标尺度自适应跟踪方法 | |
| CN104200495B (zh) | 一种视频监控中的多目标跟踪方法 | |
| CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
| CN109800692B (zh) | 一种基于预训练卷积神经网络的视觉slam回环检测方法 | |
| CN108647694B (zh) | 基于上下文感知和自适应响应的相关滤波目标跟踪方法 | |
| CN111311647B (zh) | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 | |
| Xu et al. | MSACon: Mining spatial attention-based contextual information for road extraction | |
| CN111523447B (zh) | 车辆跟踪方法、装置、电子设备及存储介质 | |
| Lu et al. | Learning transform-aware attentive network for object tracking | |
| CN113505634B (zh) | 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法 | |
| Garg et al. | Look no deeper: Recognizing places from opposing viewpoints under varying scene appearance using single-view depth estimation | |
| CN103985143A (zh) | 基于字典学习的视频中判别性在线目标跟踪方法 | |
| CN111009005A (zh) | 几何信息与光度信息相结合的场景分类点云粗配准方法 | |
| Zheng et al. | Online depth image-based object tracking with sparse representation and object detection | |
| Wang et al. | Small vehicle classification in the wild using generative adversarial network | |
| CN105825201A (zh) | 视频监控中的运动目标跟踪方法 | |
| CN109241981B (zh) | 一种基于稀疏编码的特征检测方法 | |
| Taylor et al. | Pose-sensitive embedding by nonlinear nca regression | |
| CN113420648A (zh) | 一种具有旋转适应性的目标检测方法及系统 | |
| CN110555406B (zh) | 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法 | |
| CN113033356A (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
| CN117765363A (zh) | 一种基于轻量型记忆库的图像异常检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220520 Address after: 510530 No. 39, Ruihe Road, Huangpu District, Guangzhou, Guangdong Patentee after: Guangzhou Guangda Innovation Technology Co.,Ltd. Address before: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District Patentee before: SOUTH CHINA University OF TECHNOLOGY |
|
| TR01 | Transfer of patent right |