CN110245566A - 一种基于背景特征的红外目标远距离追踪方法 - Google Patents
一种基于背景特征的红外目标远距离追踪方法 Download PDFInfo
- Publication number
- CN110245566A CN110245566A CN201910407137.1A CN201910407137A CN110245566A CN 110245566 A CN110245566 A CN 110245566A CN 201910407137 A CN201910407137 A CN 201910407137A CN 110245566 A CN110245566 A CN 110245566A
- Authority
- CN
- China
- Prior art keywords
- infrared
- target
- imaging
- feature
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003331 infrared imaging Methods 0.000 claims abstract description 123
- 238000003384 imaging method Methods 0.000 claims abstract description 88
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 abstract description 13
- 239000000284 extract Substances 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于背景特征的红外目标远距离追踪方法,获取自然场景下目标环境三维场景信息,通过实时采集红外成像,对红外成像和可见光成像背景纹理的共现性特征识别并提取,对红外成像和可见光成像进行纹理特征匹配,再通过实时采集红外成像下场景信息,结合自然环境的可见光成像与目标的位置关系,实施仿射变换处理得到红外成像下目标位置预估区域;最后进行精细目标检测,提升目标识别追踪精度;一方面,即使飞行器拍摄目标区域很小,也能够通过环境背景对目标进行准确的识别和定位;另一方面,如果红外目标进行红外伪装,其特征被杂波所掩盖,但其环境背景特征难以被掩盖,故通过背景特征进行红外识别定位能够有效对其实现定位和跟踪。
Description
技术领域
本发明属于图像处理目标跟踪领域,涉及一种红外成像目标识别与追踪的方法,尤其涉及一种基于背景特征的红外目标远距离追踪方法。
背景技术
目前,红外制导是飞行器制导的主要方式之一,可以有效地在不同气候条件下引导攻击,抗干扰性强。红外目标的识别在导航和精确制导中具有重要意义,如何提高红外目标识别的精准度一直是制导研究的难题。其中主要的难点在于,一方面,在飞行器制导过程中逐步接近目标,需要在一个很大的距离范围内都能够可靠地识别和追踪目标,然而远距离时目标显示的面积很小,甚至只有仅仅的几个像素,难以进行可靠地识别。另一方面,红外制导相对于可见光信号,红外信号的纹理特征较弱,难于应用自然场景分析中的高效率纹理图像检测算子,在复杂的地面环境背景中,打击目标难以被准确地识别,此外目标还有可能进行红外伪装,造成识别效率低下。
现有的制导飞行和瞄准方案中,基于模式识别的目标自动识别和飞行中人工介入识别都是可用的技术手段。但远距离时目标微弱和目标伪装的问题依然存在,是红外目标成像制导中亟需解决的关键理论和技术问题的关键。
在对红外目标通过算法自动识别的同时,为进一步提高目标识别与追踪精度,现有红外目标的自动化识别系统通常引入人工介入识别,即人在回路,由操作员通过电视屏幕远程观察,在自动识别的基础上通过指令实时引导修正飞行器姿态,实现更精准的红外目标识别。然而,人工介入识别精度严重依赖于操作员的观察能力和决策水平。
因此,红外目标识别中的远距离、成像形态多变目标的自动识别以及目标选择和导航优化等是提高末端自动制导精确性的关键研究问题,尚未有较为完善的解决方案提出。
发明内容
本发明的目的在于提供一种基于背景特征的红外目标远距离追踪方法,针对红外成像中远距离、成像形态多变目标的自动识别问题,进行精细目标检测,提升目标识别追踪精度,解决现有远距离红外目标自动识别问题中目标像素过小,形态变化复杂模糊难以识别的问题。
本发明的技术方案如下:一种基于背景特征的红外目标远距离追踪方法,包括以下步骤:
S1,对目标周围环境红外辐射强度建模和复杂自然环境建模,事先对目标周围环境进行侦察,利用测量手段获取目标和背景的绝对和相对位置关系信息,利用摄像手段获取自然环境的可见光成像;根据可见光成像描述的目标和环境背景信息,确定飞行器红外成像的导航信息;从而令飞行器在飞行制导过程中实时对其周围环境拍摄采集红外成像;
S2,对S1所采集自然环境的可见光成像以及红外成像进行特征表达,实现可见光成像以及红外成像从图像域到参量空间的转换;即实现红外成像和自然环境的可见光成像的特征表达;
S3,将S2完成的红外成像的特征表达与自然环境的可见光成像的特征表达结合提取共现性特征;选择共现性特征作为匹配特征点,通过仿射变换和关系传递,将可见光成像中背景候选参考点和目标坐标及相对位置关系传递到红外成像中来,计算获得红外成像各帧背景候选参考点和目标点的估计坐标;
S4,基于远距离运动的红外成像配准,在采用S3所述的特征描述方法得到稳定特征点的基础上,在连续相邻红外成像帧中,获得共同存在的特征点作为稳定参考点,根据稳定参考点求解前后相邻红外成像帧的坐标对应关系,对相邻红外成像帧进行仿射变换,将红外成像上一帧中的稳定参考点坐标传递到当前帧,得到红外成像当前帧中候选参考点的估计坐标;
S5,在S1已经采集获得的自然环境的可见光成像中获取到背景特征和目标的绝对和相对位置关系基础上,以及飞行器制导实时获取红外成像的视频帧;通过S3所述方法,将红外成像与可见光成像匹配将可见光成像中背景候选参考点目标坐标及相对位置关系传递红外成像中来,计算获得红外成像各帧背景候选参考点和目标点的估计坐标;将S3和S4对于候选参考点和目标点的估计坐标进行联合判决,如果相邻帧传递与可见光成像传递输出结果一致,则所述输出结果为目标位置,如果相邻帧传递与可见光成像传递输出结果不一致,则将更新候选参考点,重新估计目标位置,直至输出结果一致,则完成基于背景特征的红外目标远距离识别与追踪。
S1中在自然环境中侦察记录,从而完成自然环境建模和红外场景模拟,辅以摄像或测量情报来源的基础上,获得目标与环境背景的关系信息。
S1中,事先对目标周围环境进行侦察,利用摄像手段获取所需信息,然后对目标周围环境进行侦察,在不同时间、拍摄距离、风力、阴雨天气下,通过拍摄、测量或地图获取目标周围环境信息,然后对目标周围环境进行三维场景建模或红外场景模拟,从而获取先验知识;并依据先验将环境背景变化范围简化为简单有效的运动参量;
S2中,通过对红外成像进行特征表达初步提取红外成像和可见光成像中大尺度特征,即局部范围内的纹理,通过高斯梯度、LOG特征、Haar特征、MSER特征、SIFT特征、MSER 特征或LBP特征对红外成像和可见光成像进行特征表达。
S3中,对红外成像和可见光成像进行纹理特征匹配,通过仿射变换和关系传递得到目标位置所在区域的估计,具体如下:
S31,对红外和可见光成像通过稳定的匹配特征点进行配准,获得仿射关系矩阵;
S32,确定采集的自然环境中环境背景中候选参考点,构造所述候选参考点与目标的位置关系函数;
S33,红外成像和可见光成像中候选参考点的匹配进行仿射变换后,可见光成像下候选参考点与目标点经过仿射变换传递到红外成像中,对候选参考点经过位置关系函数计算,获得红外成像各帧背景候选参考点和目标点的估计坐标。
S3中,在参量空间中用高斯梯度特征、LOG特征、Haar特征、MSER特征、SIFT特征、LBP特征或MSER纹理检测算子寻找用于红外和可见光成像中共同存在的共现性特征,将其作为用于红外与可见光成像的匹配特征点。
S3中,对自然环境的可见光成像提取组合描述特征,先通过MSER多区域中心坐标关系的粗匹配后,在每个对应MSER区域块中,识别其相同参数配置下的SIFT特征描述算子,与红外成像中抽取特征构成关系对,将可见光成像中背景候选参考点和目标坐标及相对位置关系传递到红外成像中来,计算获得红外成像各帧背景候选参考点和目标点的估计坐标。
S3中,计算场景实时采集的红外成像中MSER区域特征,对红外成像进行二值化,在MSER筛选区域中提取SIFT特征,利用不同的参数高斯核与图像做卷积运算,生成不同尺度的影像,
利用多尺度影像的差分得到高斯金字塔,
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*Img(x,y)
在临近的两层金字塔以及所在层局部就近的比较,搜索出极值点,并去掉其中低对比度和不稳定的边缘特征点,再利用梯度方向直方图计算出关键点主方向,关键点主方向只保留 180°,对称方向视为相同方向,得到MSER区域内提取的SIFT组合特征,从而进一步获取关键点位置信息,即实现共现性特征提取。
S4具体包括:
1)通过使用稳定的纹理描述算子,检测红外成像相邻帧稳定参考点,获取仿射变换矩阵,对红外成像相邻帧仿射变换,实现相邻帧的配准;
2)通过红外成像相邻帧关系,通过可见光成像中获取的候选参考点与目标点位置关系函数,对前帧红外成像通过与可见光成像仿射传递所得的候选参考点获取目标点估计坐标。
与现有技术相比,本发明至少具有以下有益效果:
本发明获取自然场景下目标环境三维场景信息,通过实时采集红外成像,对红外成像和可见光成像背景纹理的共现性特征识别并提取,对红外成像和可见光成像进行纹理特征匹配,通过仿射变换和关系传递得到目标位置所在区域的估计;根据目标背景场景特征信息,精细识别目标所在位置;目标远距离追踪任务中红外成像面积很小,但环境背景特征在大尺度上具有显著性;将目标周围环境信息、以及与目标的绝对和相对位置关系引入到红外目标远距离追踪中,形成基于红外目标把环境背景特征融合的追踪方法;一方面,即使飞行器拍摄目标区域很小,也能够通过环境背景对目标进行准确的识别和定位;另一方面,如果红外目标进行红外伪装,其特征被杂波所掩盖,但其环境背景特征难以被掩盖,故通过背景特征进行红外识别定位能够有效对其实现定位和跟踪;此外,基于将自然环境可见光成像与红外成像特征的结合,从而对目标进行识别和跟踪,可以进一步提升远距离红外目标的识别精度。
附图说明:
图1为本发明方法的主要框架图。
图2为采集的自然场景与红外成像差异对比图。
图3为红外与可见光成像共现性特征中匹配特征点提取示意图。
图4为本发明方法的红外与可见光成像匹配示意图。
图5为相邻帧红外成像稳定参考点提取及相邻帧配准示意图。
图6为本发明方法的红外目标远距离识别结果图。
具体实施方式:
为了使本发明的目的、技术方案和优点更加清楚,下面将结合本发明的具体实施方案和附图做进一步详细描述。另显然,所描述的实施例仅是本发明的部分实施例,而不是全部的应用场景。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明的保护范围。
参考图1,本发明提供了一种基于背景特征的红外目标远距离追踪方法,该方法包括:
S1,对目标周围环境红外辐射强度建模和复杂自然环境建模,事先对目标周围环境进行侦察,利用测量手段获取目标和背景的绝对和相对位置关系信息,利用摄像手段获取自然环境的可见光成像;飞行器在飞行制导过程中,实时对其周围环境采集红外成像;具体的,事先对目标周围环境进行侦察,在不同时间、拍摄距离、风力、阴雨天气下,通过拍摄、测量或地图获取目标周围环境信息,然后对目标周围环境进行三维场景建模或红外场景模拟,从而获取先验知识;并依据先验将环境背景变化范围简化为简单有效的运动参量;此外,飞行器在飞行知道过程中,根据可见光成像描述的目标和环境背景信息,确定红外成像的导航信息,并同步对周围环境拍摄采集红外成像;在本实施例中,自然场景的可见光成像由飞行器同步集采,其与红外成像位置以及角度关系近似,具体对比示意图如图2所示。
S2,对S1所采集自然环境的可见光成像以及红外成像进行特征表达,实现可见光成像以及红外成像从图像域到参量域的转换;通过对红外成像进行特征表达,初步提取红外成像中大尺度特征,即周围环境局部范围内的纹理;通过对红外成像进行特征表达初步提取红外成像和可见光成像中大尺度特征,即局部范围内的纹理,通过高斯梯度、LOG特征、Haar特征、MSER 特征、SIFT特征、MSER特征或LBP特征对红外成像和可见光成像进行特征表达;本发明通过高斯梯度或高斯拉普拉斯梯度特征对红外成像进行特征表达,实现红外成像从图像域到参量空间的转换;
其中,高斯梯度算子如下:
高斯拉普拉斯梯度算子如下:
其中,d∈{x,y}分别代表水平和垂直方向,为卷积算子,g(x,y|σ)为标准差σ的高斯函数;
S3,将S2完成的红外成像特征表达与自然环境的可见光成像的特征表达结合提取共现性特征;选择共现性特征作为匹配特征点,对红外成像和可见光成像进行纹理特征匹配,从而通过仿射变换和关系传递,将可见光成像中背景候选参考点和目标坐标及相对位置关系传递到红外成像中来,计算获得红外成像各帧背景候选参考点和目标点的估计坐标;
本发明使用MSER和SIFT组合特征作为红外和可见光成像的共现性特征描述算子;计算场景实时采集的红外成像中MSER区域特征,对红外成像进行二值化,在阈值选取从0到255,经历从全黑到全白的过程;其中部分连通区域面积随阈值上升变化很小的区域为:
其中,Qi表示第i个连通区域的面积,Δ为微小阈值变化,当v(i)小于阈值Ti时即视为候选目标区域,记录多个候选区域位置特征为(xi,yi,ai,bi,θi),其中,ai和bi分别为MSER区域椭圆的长半轴和短半轴,θi为长半轴与x轴顺时针夹角;在MSER筛选区域中提取SIFT特征,利用不同的参数高斯核与图像做卷积运算,生成不同尺度的影像,
利用多尺度影像的差分得到高斯金字塔,
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*Img(x,y)
在临近的两层金字塔以及所在层局部就近的比较,搜索出极值点,并去掉其中低对比度和不稳定的边缘特征点,再利用梯度方向直方图计算出关键点主方向,由于红外和可见光成像原理差异,其边界相同但方向可能对称相反,因此关键点主方向只保留180°,对称方向视为相同方向,这样记录所在MSER区域内提取的SIFT组合特征为(xij,yij,mij,αij),其中,i表示第i个MSER区域,j表示第j个特征点,mij表示特征点梯度模值,αij表示特征点的方向特征;从而进一步获取关键点位置信息,即实现共现性特征提取;
对S1中采集的自然环境的可见光成像提取组合描述特征,先通过MSER多区域中心坐标关系的粗匹配后,在每个对应MSER区域块中,识别其相同参数配置下的SIFT特征描述算子,与红外成像中抽取特征构成关系对,记为其中,表示红外成像候选参考点坐标,表示自然环境可见光成像候选参考点坐标;在红外和可见光成像中的连续多帧中,其共同存在特征点即作为红外与可见光成像关联的匹配特征点,将可见光成像中背景候选参考点和目标坐标及相对位置关系传递到红外成像中来,计算获得红外成像各帧背景候选参考点和目标点的估计坐标,如图3所示;通过匹配特征点对红外和可见光成像匹配,如图4所示,获得红外成像与可见光成像的对应关系。
S3中,在参量空间中采用用高斯梯度特征、LOG特征、Haar特征、MSER特征、SIFT 特征、LBP特征或MSER纹理检测算子寻找用于红外和可见光成像中共同存在的共现性特征,将其作为用于红外与可见光成像的匹配特征点。
S4,基于远距离运动的红外成像配准,在检测得到MSER和SIFT组合特征作为稳定特征点的基础上,在连续相邻红外成像帧中,获得共同存在的特征点作为稳定参考点,根据稳定参考点求解前后相邻红外成像帧的坐标对应关系,对相邻红外成像帧进行仿射变换,将红外成像上一帧中的稳定参考点坐标传递到当前帧,得到红外成像当前帧中的估计坐标;
在S3检测得到的特征点的基础上,对连续相邻红外成像帧中,获得共同存在的特征点作为稳定参考点,其中第j对为其中表示为上一帧红外成像稳定参考点坐标,表示为当前帧红外成像稳定参考点坐标;根据稳定参考点求解前后相邻红外成像帧的坐标对应关系,对相邻红外成像帧进行仿射变换;
仿射变换是通过对原坐标轴缩放和旋转实现线性变换和平移的一种特殊的映射;其变换矩阵如下:
其中,λ为尺度变换参数,θ为旋转角度,tx和ty分别为x和y方向的偏移量;特征点到特征点的映射关系如下:
可以将上式化简为:
如图5所示,对8个稳定参考点求解6个未知参数的过程,通过最小二乘法,构造计算式:
构造上式的均方误差为:
通过获取仿射矩阵,实现运动视野红外视频到静止视野红外视频的转换;仿射变换可重新表示与变换矩阵M相乘形式,即u'=Mu,获得用于匹配的稳定参考点之后任一匹配坐标对 (u',u)便是已知的,由于在自然环境中,稳定参考点坐标对(u',u)都对应于同一真实位置v,通过仿射变换使得前后相邻的红外成像得到同一视角,其相邻帧仿射示意图如图5所示;
S5,参考图6,在S4完成候选参考点在红外成像相邻帧传递到同一视角下之后,在S1已经采集获得的自然环境可见光成像中获取到背景特征和目标的绝对和相对位置关系基础上,以及S2中飞行器制导实时获取红外成像视频帧;通过S3所述方法,将红外成像与可见光成像匹配将可见光成像中背景候选参考点目标坐标及相对位置关系传递红外成像中来,计算获得红外成像各帧背景候选参考点和目标点的估计坐标;将S3和S4对于候选参考点和目标点的估计坐标进行联合判决,如果输出结果一致,则目标检测的可靠性高;否则将更新候选参考点,重新估计目标位置,直至输出结果一致,则完成基于背景特征的红外目标远距离识别与追踪;
具体的,在S1中已经获取了自然场景中目标与环境背景的相关位置关系,在S3共现性特征选取过程中,将红外成像与自然环境下采集的可见光成像以匹配特征点进行匹配,之后,获取匹配参考点对将可见光成像中背景的候选参考点{A(l),B(l),C(l),D(l)}的绝对位置坐标和与目标{E(l),F(l)}的相对位置关系 E(l)=f1(A(l),B(l),C(l),D(l)),F(l)=f2(A(l),B(l),C(l),D(l));通过S4所述仿射变换将候选参考点传递到红外成像中来对应个点{A(r),B(r),C(r),D(r)},如下:
其中,Mr2l是红外成像与可见光成像通过匹配特征点求解的变换矩阵,k取值为{A,B,C,D,E,F}等六个坐标,通过函数f1(·)和f2(·)估计目标点E(r)和F(r)坐标。
另外,通过红外成像相邻帧关系,计算相邻帧候选参考点{A(t),B(t),C(t),D(t)}和目标点 {E(t),F(t)}传递坐标,通过仿射变换传递红外成像下一相邻帧得到第二组坐标关系:
获得{E(t+1),F(t+1)}第二组估计坐标;将两组估计结果共同构成目标融合判决;判决结果如图6 所示,如果相邻帧传递与可见光成像传递输出结果一致,则所述输出结果为目标位置,如果相邻帧传递与可见光成像传递输出结果不一致,则将更新候选参考点,重新估计目标位置,直至输出结果一致,则完成基于背景特征的红外目标远距离识别与追踪。
以上所述为本发明的具体实施例及所运用的技术原理,若依本发明的构想所作的改变,其所产生的功能作用仍未超出说明书及附图所包含的内容,仍应属本发明的保护范围。
Claims (9)
1.一种基于背景特征的红外目标远距离追踪方法,其特征在于,包括以下步骤:
S1,对目标周围环境红外辐射强度建模和复杂自然环境建模,事先对目标周围环境进行侦察,利用测量手段获取目标和背景的绝对和相对位置关系信息,利用摄像手段获取自然环境的可见光成像;根据可见光成像描述的目标和环境背景信息,确定飞行器红外成像的导航信息;从而令飞行器在飞行制导过程中实时对其周围环境拍摄采集红外成像;
S2,对S1所采集自然环境的可见光成像以及红外成像以稳定的特征描述算子进行表达;即实现红外成像和自然环境的可见光成像的特征表达;
S3,将S2完成的红外成像的特征表达与自然环境的可见光成像的特征表达结合提取共现性特征;选择共现性特征作为匹配特征点,通过仿射变换和关系传递,将可见光成像中背景候选参考点和目标坐标及相对位置关系传递到红外成像中来,计算获得红外成像各帧背景候选参考点和目标点的估计坐标;
S4,基于远距离运动的红外成像配准,在采用S3所述的特征描述方法得到稳定特征点的基础上,在连续相邻红外成像帧中,获得共同存在的特征点作为稳定参考点,根据稳定参考点求解前后相邻红外成像帧的坐标对应关系,对相邻红外成像帧进行仿射变换,将红外成像上一帧中的稳定参考点坐标传递到当前帧,得到红外成像当前帧中候选参考点的估计坐标;
S5,在S1已经采集获得的自然环境的可见光成像中获取到背景特征和目标的绝对和相对位置关系基础上,以及飞行器制导实时获取红外成像的视频帧;通过S3所述方法,将红外成像与可见光成像匹配将可见光成像中背景候选参考点目标坐标及相对位置关系传递红外成像中来,计算获得红外成像各帧背景候选参考点和目标点的估计坐标;将S3和S4对于候选参考点和目标点的估计坐标进行联合判决,如果相邻帧传递与可见光成像传递输出结果一致,则所述输出结果为目标位置,如果相邻帧传递与可见光成像传递输出结果不一致,则将更新候选参考点,重新估计目标位置,直至输出结果一致,则完成基于背景特征的红外目标远距离识别与追踪。
2.根据权利要求1所述基于背景特征的红外目标远距离追踪方法,其特征在于,S1中在自然环境中侦察记录,从而完成自然环境建模和红外场景模拟,辅以摄像或测量情报来源的基础上,获得目标与环境背景的关系信息。
3.根据权利要求1所述基于背景特征的红外目标远距离追踪方法,其特征在于,S1中事先对目标周围环境进行侦察,在不同时间、拍摄距离、风力、阴雨天气下,通过拍摄、测量或地图获取目标周围环境信息,然后对目标周围环境进行三维场景建模或红外场景模拟,从而获取先验知识;并依据先验将环境背景变化范围简化为简单有效的运动参量。
4.根据权利要求1所述基于背景特征的红外目标远距离追踪方法,其特征在于,S2中,通过对红外成像进行特征表达初步提取红外成像和可见光成像中大尺度特征,即局部范围内的纹理,通过高斯梯度、LOG特征、Haar特征、MSER特征、SIFT特征、MSER特征或LBP特征对红外成像和可见光成像进行特征表达。
5.根据权利要求1所述基于背景特征的红外目标远距离追踪方法,其特征在于,S3中,对红外成像和可见光成像进行纹理特征匹配,通过仿射变换和关系传递得到目标位置所在区域的估计,具体如下:
S31,对红外和可见光成像通过稳定的匹配特征点进行配准,获得仿射关系矩阵;
S32,确定采集的自然环境中环境背景中候选参考点,构造所述候选参考点与目标的位置关系函数;
S33,红外成像和可见光成像中候选参考点的匹配进行仿射变换后,可见光成像下候选参考点与目标点经过仿射变换传递到红外成像中,对候选参考点经过位置关系函数计算,获得红外成像各帧背景候选参考点和目标点的估计坐标。
6.根据权利要求1所述基于背景特征的红外目标远距离追踪方法,其特征在于,S3中,在参量空间中用高斯梯度特征、LOG特征、Haar特征、MSER特征、SIFT特征、LBP特征或MSER纹理检测算子寻找用于红外和可见光成像中共同存在的共现性特征,将其作为用于红外与可见光成像的匹配特征点。
7.根据权利要求6所述基于背景特征的红外目标远距离追踪方法,其特征在于,S3中,对自然环境的可见光成像提取组合描述特征,先通过MSER多区域中心坐标关系的粗匹配后,在每个对应MSER区域块中,识别其相同参数配置下的改良SIFT特征描述算子,与红外成像中抽取特征构成关系对,将可见光成像中背景候选参考点和目标坐标及相对位置关系传递到红外成像中来,计算获得红外成像各帧背景候选参考点和目标点的估计坐标。
8.根据权利要求7所述基于背景特征的红外目标远距离追踪方法,其特征在于,S3中,计算场景实时采集的红外成像中MSER区域特征,对红外成像进行二值化,在MSER筛选区域中提取改良SIFT特征,利用不同的参数高斯核与图像做卷积运算,生成不同尺度的影像,
利用多尺度影像的差分得到高斯金字塔,
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*Img(x,y)
在临近的两层金字塔以及所在层局部就近的比较,搜索出极值点,并去掉其中低对比度和不稳定的边缘特征点,再利用梯度方向直方图计算出关键点主方向,关键点主方向只保留180°,对称方向视为相同方向,得到MSER区域内提取的SIFT组合特征,从而进一步获取关键点位置信息,即实现共现性特征提取。
9.根据权利要求1所述基于背景特征的红外目标远距离追踪方法,其特征在于,S4具体包括:
1)通过使用稳定的纹理描述算子,检测红外成像相邻帧稳定参考点,获取仿射变换矩阵,对红外成像相邻帧仿射变换,实现相邻帧的配准;
2)通过红外成像相邻帧关系,通过可见光成像中获取的候选参考点与目标点位置关系函数,对前帧红外成像通过与可见光成像仿射传递所得的候选参考点获取目标点估计坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910407137.1A CN110245566B (zh) | 2019-05-16 | 2019-05-16 | 一种基于背景特征的红外目标远距离追踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910407137.1A CN110245566B (zh) | 2019-05-16 | 2019-05-16 | 一种基于背景特征的红外目标远距离追踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110245566A true CN110245566A (zh) | 2019-09-17 |
CN110245566B CN110245566B (zh) | 2021-07-13 |
Family
ID=67884104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910407137.1A Active CN110245566B (zh) | 2019-05-16 | 2019-05-16 | 一种基于背景特征的红外目标远距离追踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110245566B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111563559A (zh) * | 2020-05-18 | 2020-08-21 | 国网浙江省电力有限公司检修分公司 | 一种成像方法、装置、设备及存储介质 |
CN113240741A (zh) * | 2021-05-06 | 2021-08-10 | 青岛小鸟看看科技有限公司 | 基于图像差异的透明物体追踪方法、系统 |
CN113920325A (zh) * | 2021-12-13 | 2022-01-11 | 广州微林软件有限公司 | 一种基于红外图像特征点减少物体识别图像量的方法 |
CN115861162A (zh) * | 2022-08-26 | 2023-03-28 | 宁德时代新能源科技股份有限公司 | 定位目标区域的方法、装置及计算机可读存储介质 |
WO2024174511A1 (zh) * | 2023-02-24 | 2024-08-29 | 云南电网有限责任公司玉溪供电局 | 一种低照度下红外-可见光图像的特征互补图像处理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7483551B2 (en) * | 2004-02-24 | 2009-01-27 | Lockheed Martin Corporation | Method and system for improved unresolved target detection using multiple frame association |
CN102855621A (zh) * | 2012-07-18 | 2013-01-02 | 中国科学院自动化研究所 | 一种基于显著区域分析的红外与可见光遥感图像配准方法 |
CN106485245A (zh) * | 2015-08-24 | 2017-03-08 | 南京理工大学 | 一种基于可见光和红外图像的全天候目标实时跟踪方法 |
CN107330436A (zh) * | 2017-06-13 | 2017-11-07 | 哈尔滨工程大学 | 一种基于尺度判据的全景图像sift优化方法 |
CN108037543A (zh) * | 2017-12-12 | 2018-05-15 | 河南理工大学 | 一种监测低空无人飞行器的多谱红外成像检测跟踪方法 |
CN108351654A (zh) * | 2016-02-26 | 2018-07-31 | 深圳市大疆创新科技有限公司 | 用于视觉目标跟踪的系统和方法 |
-
2019
- 2019-05-16 CN CN201910407137.1A patent/CN110245566B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7483551B2 (en) * | 2004-02-24 | 2009-01-27 | Lockheed Martin Corporation | Method and system for improved unresolved target detection using multiple frame association |
CN102855621A (zh) * | 2012-07-18 | 2013-01-02 | 中国科学院自动化研究所 | 一种基于显著区域分析的红外与可见光遥感图像配准方法 |
CN106485245A (zh) * | 2015-08-24 | 2017-03-08 | 南京理工大学 | 一种基于可见光和红外图像的全天候目标实时跟踪方法 |
CN108351654A (zh) * | 2016-02-26 | 2018-07-31 | 深圳市大疆创新科技有限公司 | 用于视觉目标跟踪的系统和方法 |
CN107330436A (zh) * | 2017-06-13 | 2017-11-07 | 哈尔滨工程大学 | 一种基于尺度判据的全景图像sift优化方法 |
CN108037543A (zh) * | 2017-12-12 | 2018-05-15 | 河南理工大学 | 一种监测低空无人飞行器的多谱红外成像检测跟踪方法 |
Non-Patent Citations (1)
Title |
---|
陈文: "基于可见光和红外热像仪的双目视觉运动目标跟踪", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111563559A (zh) * | 2020-05-18 | 2020-08-21 | 国网浙江省电力有限公司检修分公司 | 一种成像方法、装置、设备及存储介质 |
CN111563559B (zh) * | 2020-05-18 | 2024-03-29 | 国网浙江省电力有限公司检修分公司 | 一种成像方法、装置、设备及存储介质 |
CN113240741A (zh) * | 2021-05-06 | 2021-08-10 | 青岛小鸟看看科技有限公司 | 基于图像差异的透明物体追踪方法、系统 |
US11645764B2 (en) | 2021-05-06 | 2023-05-09 | Qingdao Pico Technology Co., Ltd. | Image difference-based method and system for tracking a transparent object |
CN113920325A (zh) * | 2021-12-13 | 2022-01-11 | 广州微林软件有限公司 | 一种基于红外图像特征点减少物体识别图像量的方法 |
CN115861162A (zh) * | 2022-08-26 | 2023-03-28 | 宁德时代新能源科技股份有限公司 | 定位目标区域的方法、装置及计算机可读存储介质 |
CN115861162B (zh) * | 2022-08-26 | 2024-07-26 | 宁德时代新能源科技股份有限公司 | 定位目标区域的方法、装置及计算机可读存储介质 |
WO2024174511A1 (zh) * | 2023-02-24 | 2024-08-29 | 云南电网有限责任公司玉溪供电局 | 一种低照度下红外-可见光图像的特征互补图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110245566B (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021196294A1 (zh) | 一种跨视频人员定位追踪方法、系统及设备 | |
CN110245566B (zh) | 一种基于背景特征的红外目标远距离追踪方法 | |
Chen et al. | Building change detection with RGB-D map generated from UAV images | |
CN115439424A (zh) | 一种无人机航拍视频图像智能检测方法 | |
CN109949361A (zh) | 一种基于单目视觉定位的旋翼无人机姿态估计方法 | |
CN109903313A (zh) | 一种基于目标三维模型的实时位姿跟踪方法 | |
WO2020252974A1 (zh) | 一种针对运动状态下的多目标对象追踪方法和装置 | |
CN104700404A (zh) | 一种果实定位识别方法 | |
JP2015181042A (ja) | 移動オブジェクトの検出及び追跡 | |
Torabi et al. | Local self-similarity-based registration of human ROIs in pairs of stereo thermal-visible videos | |
CN114973028B (zh) | 一种航拍视频图像实时变化检测方法及系统 | |
CN112613397B (zh) | 多视角光学卫星遥感影像目标识别训练样本集构建方法 | |
CN111967337A (zh) | 一种基于深度学习和无人机影像的管道线变化检测方法 | |
CN107301420A (zh) | 一种基于显著性分析的热红外影像目标探测方法 | |
CN110334701A (zh) | 数字孪生环境下基于深度学习和多目视觉的数据采集方法 | |
Yuan et al. | Combining maps and street level images for building height and facade estimation | |
CN117274627A (zh) | 一种基于图像转换的多时相积雪遥感图像匹配方法及系统 | |
CN112197705A (zh) | 一种基于视觉和激光测距的果实定位方法 | |
CN113642430B (zh) | 基于VGG+NetVLAD的地下停车场高精度视觉定位方法及系统 | |
Peppa et al. | Handcrafted and learning-based tie point features-comparison using the EuroSDR RPAS benchmark datasets | |
Zhao et al. | Scalable building height estimation from street scene images | |
CN111833384A (zh) | 一种可见光和红外图像快速配准方法及装置 | |
CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
Li et al. | DBC: deep boundaries combination for farmland boundary detection based on UAV imagery | |
CN113421286B (zh) | 一种动作捕捉系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |