CN112489089A - 一种微型固定翼无人机机载地面运动目标识别与跟踪方法 - Google Patents

Abstract

本发明公开一种微型固定翼无人机机载地面运动目标识别与跟踪方法，包括：步骤1，基于机载实时图像对目标进行识别，得到目标的类别信息与初始位置信息；步骤2，基于机载实时序列图像、目标的类别信息与初始位置信息对目标进行跟踪，得到目标的实时位置信息；步骤3，基于目标的实时位置信息进行验证，若验证通过则将当前的实时位置信息作为最终位置信息输出，否则返回步骤1。通过结合目标检测和目标跟踪的并行框架，实现对地面目标的低帧率检测识别、快速关联跟踪以及严格精准验证，不仅在保证目标检测识别精度的前提下实现机载实时目标时序跟踪，也能够适应跟踪目标过程中出现的目标频繁进出视野、光照及观测视角不断变化等场景。

Description

一种微型固定翼无人机机载地面运动目标识别与跟踪方法

技术领域

本发明涉及空微型固定翼无人机对地目标识别与跟踪技术领域，具体是一种微型固定翼无人机机载地面运动目标识别与跟踪方法。

背景技术

在微型无人机飞行过程中，利用机载视觉系统实现对地面运动目标的实时识别与跟踪，在微型无人机的民用和军用领域皆具有巨大的应用需求和潜力。在微型固定翼无人机的飞行过程中，常伴随着自身或目标的高速运动，观测目标的视角、光照强度时刻发生着剧烈的变化。此外，微型无人机的负载能力严重受限，从而导致无法搭载性能优越的传感器以及处理器。总的来说，基于高动态且光照复杂的环境，在机载感知精度和计算性能严重受限的条件下，实现对地运动目标的实时识别与跟踪具有巨大的挑战。当前，经典的目标识别与跟踪算法通常需要较强的计算能力支撑，无法在机载嵌入式处理器上达到实时的效果，需要设计一种轻量级的地面运动目标识别与跟踪方法，在不消耗过多计算资源的前提下，实现机载对地目标的实时识别与跟踪。

发明内容

针对上述现有技术中存在的一项或多项不足，本发明提供一种微型固定翼无人机机载地面运动目标识别与跟踪方法，具有高精度与强鲁棒性。

为实现上述目的，本发明提供一种微型固定翼无人机机载地面运动目标识别与跟踪方法，包括如下步骤：

步骤1，基于机载实时图像对目标进行识别，得到目标的类别信息与初始位置信息；

步骤2，基于机载实时序列图像、目标的类别信息与初始位置信息对目标进行跟踪，得到目标的实时位置信息；

步骤3，基于目标的实时位置信息进行验证，若验证通过则输出目标的类别信息，并将当前的实时位置信息作为最终位置信息输出，否则返回步骤1。

作为上述技术方案的进一步改进，步骤1中，所述基于机载实时图像对目标进行识别，具体为：

步骤1.1，基于谱残差显著性检测算法构建显著图金字塔模型，并基于显著图金字塔模型提取机载实时图像中不同尺度的低分辨率目标候选区域；

步骤1.2，结合机载实时图像，根据低分辨率目标候选区域，提取对应的高分辨率目标候选区域；

步骤1.3，对高分辨目标候选区域进行逐个分类，获取目标区域，进而得到目标的类别信息与初始位置信息。

作为上述技术方案的进一步改进，步骤1.1中，所述基于显著图金字塔模型提取机载实时图像中不同尺度的低分辨率目标候选区域，具体为：

以机载实时图像为原图建立分辨率依次递减的图像金字塔；

基于谱残差显著性检测算法得到图像金字塔中的所有图像的初始显著性图；

并将所有的初始显著性图统一至原图I的分辨率，并以加权的方式进行求和叠加，生成最终的显著图，即机载实时图像中不同尺度的低分辨率目标候选区域。

作为上述技术方案的进一步改进，所述基于谱残差显著性检测算法得到图像金字塔中的所有图像的初始显著性图，具体为:

首先，获取图像I的振幅谱A(I)和相位谱P(I)，并对振幅谱取对获得log谱L(I)：

L(I)＝log(A(I))

随后，构建如下均值滤波器h_n(I)：

式中，n为图像log谱L(I)的行数或列数；

再计算谱残差R(I)：

R(I)＝L(I)-h_n(I)L(I)

最后，进行指数变换和傅里叶反变换，并进行一次高斯模糊滤波处理输出最终的显著性图S(I)：

S(I)＝g(·)F^-1[exp(R(I)+P(I))]²

式中，g(·)表示高斯滤波器。

作为上述技术方案的进一步改进，步骤1.3中，采用浅层神经网络对高分辨目标候选区域进行逐个分类。

作为上述技术方案的进一步改进，步骤2中，所述基于机载实时序列图像、目标的类别信息与初始位置信息对目标进行跟踪，具体为：

步骤2.1，获取步骤1中的识别结果，对未处于跟踪状态的目标进行KCF跟踪器初始化；

步骤2.2，对于处于跟踪状态的目标，根据实时序列图像，采用KCF算法进行目标图像跟踪。

作为上述技术方案的进一步改进，步骤3中，所述基于目标的实时位置信息进行验证，具体为：

基于直方图对比方法，对目标的实时位置信息对应的跟踪结果进行高频验证；

利用分类器，对目标的实时位置信息对应跟踪结果进行低频验证；

若高频验证与低频验证均通过，则判定为验证通过，否则判定为验证不通过。

作为上述技术方案的进一步改进，所述基于直方图对比方法，对目标的实时位置信息对应的跟踪结果进行高频验证，具体为：

设当前为i时刻，机载实时序列图像中第i帧图像的跟踪结果为

首先，分别计算关键帧和跟踪结果

的直方图，其中，关键帧为上一个验证通过的跟踪结果

随后，估计关键帧和跟踪结果

的直方图之间的欧式距离，并通过该欧式距离高于阈值η则判定通过高频验证，并将跟踪结果

更新至关键帧，否则判定不通过。

作为上述技术方案的进一步改进，考虑到目标离图像边界越近，脱离视野概率越大的状况，设置动态阈值η，为：

式中，bound(I_i)表示机载实时序列图像中第i帧图像I_i的边界，

表示

中心与图像I_i边界的最小图像距离，η_max和η_min则分别为η的下界和上界，(c_x,c_y)为图像I_i的中心坐标。

与现有技术相比，本发明提供的一种微型固定翼无人机机载地面运动目标识别与跟踪方法的有益效果为：通过设计一种结合目标检测和目标跟踪的并行框架，实现对地面目标的低帧率检测识别、快速关联跟踪以及严格精准验证。相比传统方法，不仅能够在保证一定目标检测识别精度的前提下实现机载实时目标时序跟踪，同时也能够适应固定翼无人机跟踪目标过程中出现的目标频繁进出视野、光照及观测视角不断变化等场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例中地面目标区域提取检测/跟踪并行框架的并行框架图；

图2为本发明实施例中地面目标检测的模块图；

图3为本发明实施例中适应多尺度目标的显著性图金字塔原理图；

图4为本发明实施例中AlexNet网络结构图；

图5为本发明实施例中轻量级目标分类网络结构图；

图6为本发明实施例中跟踪结果验证过程示意图；

图7为本发明实施例中五类跟踪结果示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本实施例提出的一种微型固定翼无人机机载地面运动目标识别与跟踪方法，其总体框架设计如下：

为了实现准确、稳定且实时的地面目标识别与跟踪提取，设计了一种结合目标检测器和目标跟踪器的并行框架。如图1所示，该并行框架主要涉及检测器、跟踪器和验证器3个模块。检测器用于检测目标在图像中的区域。该模块对整幅图像进行处理，因而较为耗时，输出帧率较低。检测结果用于初始化跟踪器，即作为跟踪器的首帧目标。完成初始化的跟踪器则立即开始对目标进行实时跟踪。该模块利用序列图像对目标进行跟踪，在精确性和实时性方面相比检测器皆具有较为明显的优势。然而，跟踪器往往不具备感知视野中目标丢失的能力，即当目标脱离摄像机视野后，跟踪器依然输出错误的跟踪结果。考虑到上述现状，本实施例设计了验证器对跟踪结果进行验证。只有通过验证，跟踪结果才能作为最终的目标区域输出。若验证失败，则跟踪器停止目标跟踪，直到检测器再次检测到目标从而完成跟踪器的初始化，跟踪过程方可恢复。

严格来说，单个检测器即可代替上述并行框架实现图像中目标区域的提取。然而在微型固定翼无人机实际应用中，搭载的轻型嵌入式处理器计算能力严重受限。因此，算法的运行效率是十分关键的指标。在上述并行框架下，目标区域提取的帧率是由跟踪器和验证器的运行效率决定的。而目标跟踪算法和区域验证算法通常具备良好的实时性能，从而保证了目标区域提取算法的高效性。除此之外，在具备稳定序列图像输入的条件下，跟踪器的跟踪精度能够保持较高水准。综上所述，该并行框架展现出了较强的实时性和较高的目标识别与跟踪精度。整个目标识别与跟踪方法包括三个阶段：

第一阶段为地面目标检测：基于机载实时图像对目标进行识别，得到目标的类别信息与初始位置信息，该类别信息与初始位置信息即为上述检测器输出的检测结果。即，输入：机载实时图像；输出：目标的类别信息与初始位置信息。

针对目标检测算法运算效率相对较低的现状，本实施例设计了如图2所示的检测器。该检测器首先提取出多个目标候选区域，从而剔除部分背景区域；随后对各候选区域进行分类获得最终检测结果。针对目标候选区域提取问题，考虑到实际应用中原始图像分辨率较高的情况，直接提取图像特征图实现候选区域提取运算量较大，而提取候选区域并不需要丰富的目标细节。因此，首先对原始高分辨率的机载实时图像图像进行降采样操作，获得低分辨率图像，用于后续的目标候选区域提取。然而，目标细节的丰富程度严重影响目标分类的准确性，因此，根据低分辨率目标候选区域，获取其对应的高分辨率原始图像区域，作为分类模块的输入。虽然高分辨率区域势必带来更多的运算量，但目标候选区域通常较小，造成的运算量增多并不明显。总的来说，该检测器针对图像细节在不同环节的不同需求，运用多种分辨率图像实现目标检测，既保证了检测的准确性，同时也大幅度减少了运算量。

候选区域提取模块旨在尽可能地删减背景区域，提取包含所有目标的区域。该模块需要对整幅图像进行处理，因此，运算量依然是该模块设计过程中关注的重点。通常情况下，目标相对背景具有明显的区分度，并且较为显著。依据上述特性，采用了实时性较强的谱残差显著性检测算法，针对该方法在区域尺度适应性方面的不足，提出了显著图金子塔模型，提升了算法对不同尺度显著性区域的适应性。

检测图像中的显著性区域通常将问题转化为目标特殊性质的检测，比如目标的边缘特征、颜色特征、纹理特征等。而对于不同的目标，上述特征显然是存在区别的。因此，找到一种通用的特征作为显著性检测器的依据是不现实的。基于谱残差的显著性检测器通过寻找背景的通用特性，提取背景区域，并将其剔除，从而获取显著性区域。该方法依据自然图像统计特性具备的变换不变性：即将图像从原来的空间坐标系变换至频域坐标系中，图像在空间中具有的统计特性在频域中仍然保留，利用图像的频域表达，实现背景区域的提取。其流程主要分为如下4个步骤：首先，分别计算图像I的振幅谱A(I)和相位谱P(I)；其次，对幅值取对数获得log谱L(I)：

L(I)＝log(A(I))

随后，构建如下均值滤波器h_n(I)：

通常n取值为3，并计算谱残差R(I)：

R(I)＝L(I)-h_n(I)L(I)

最后，进行指数变换和傅里叶反变换，并进行一次高斯模糊滤波处理输出最终的显著性图S(I)：

S(I)＝g(·)F^-1[exp(R(I)+P(I))]²

其中g(·)表示高斯滤波器。

根据上述谱残差原理，长条形目标中间部分的振幅谱容易在计算谱残差过程中弱化，从而造成在傅里叶反变换后其显著性区域一分为二。为解决上述问题，根据输入图像I，构建了如图3所示的分辨率依次递减的图像金字塔M(I)；随后分别输入至谱残差显著性检测器中，从而获得多分辨率显著性图金字塔S’(I)；最后，将各层显著性图统一至原始分辨率，并以加权的方式进行求和叠加，生成最终的显著性图S(I):

S(I)＝λ₁S′₁(I)+λ₂S′₂(I)+…λ_mS′_m(I)

其中S′_i(I)表示显著性图金字塔第i层统一至原始分辨率后的显著性图。系数组{λ_i|i＝1,2,…,m}的数值分别表示对应尺度目标所占的比重。

在获得显著性区域后，需对它们进行分类。传统的分类方法大多通过检测人工预定义的特征完成。常见的人工预定义特征包括边缘、颜色、角点、平面等。其中，较为经典的方法如利用经典的SIFT、SURF或ORB角点特征结合支持向量机实现的目标分类。然而，这类方法对于环境光照、观测视角的变化较为敏感，鲁棒性较差。近年来兴起的基于卷积神经网络的目标分类算法，在精确性和鲁棒性方面相比传统方法皆展现出了非常明显的优势。当前，较为经典的目标分类神经网络，如VGGNet、GoogLeNet、ResNet皆通过构造深层次的网络实现对目标的精确分类。这些网络的运行需要进行大量的运算，因此通常需要GPU的支持。显然，上述网络无法直接在计算资源匮乏的平台上实现实时运行。综上所述，以卷积神经网络为基础，构建浅层目标分类网络，在计算资源有限的平台上实现对目标的实时、精确分类。

AlexNet分类网络的规模相对较小，主体结构如图4所示。网络主要由5层卷积层和3层全连接层构成。该网络输入图像的尺寸为224×224×3，各层卷积核的通道数分别为96、256、384、384、256。以AlexNet为基础，对卷积层数、全连接层数、卷积核尺寸以及卷积核通道数分别进行了删减，通过在各类微型机载处理器的实时性测试，分类网络的最终结构如图5所示。其主体由3层卷积层和2层全连接层构成，其间穿插最大池化层。输出向量的维度为2，分别为背景和目标。其中的卷积操作和池化操作的步长皆为2，并且在卷积前不对输入进行填充处理。该网络仅利用3层卷积层实现了对单个类别目标的分类，运算量较小。经过测试，即使没有GPU的支持，仅利用CPU资源亦能快速对目标进行分类。

第二阶段为地面目标跟踪：基于机载实时序列图像、目标的类别信息与初始位置信息对目标进行跟踪，得到目标的实时位置信息。即，输入：机载实时序列图像、目标检测结果；输出：目标的实时位置信息。

基于相关滤波器的目标跟踪作为目标跟踪方法的主流之一，近年来取得了显著的成果。除了跟踪精度高，计算效率高也是它的主要优势之一。MOSSE是首次将相关滤波理论应用于目标跟踪的成果。其利用快速傅里叶变换使跟踪输出帧率达到了600-700fps，远远超出了当时的其他算法，但在准确性方面表现平平。既MOSSE算法之后，核相关滤波跟踪算法(KernelizedCorrelationFilters，KCF)于2014年提出。该方法同样基于相关滤波理论，在跟踪精度和跟踪速度方面均取得了较好的性能，因而吸引了大批学者的关注研究。总的来说，KCF是一种鉴别式跟踪方法。该类方法的核心思想是在跟踪过程中训练一个目标检测器，并使用该目标检测器对预测区域进行检测。检测结果用于生成新的训练样本更新训练集，从而达到重复更新检测器的目的。具体而言，假设训练集为{(x_i,y_i)}，构建如下函数：

f(z)＝w^Tz

其中，w为权重系数；z为需要构造的函数f(z)的自变量；训练检测器的目的即寻找权重系数组w，使得下述误差函数值最小：

其中，γ为标量参数；该式具体求解过程较为繁杂，且为常规手段，因此本实施例中不再赘述。

总体来说，KCF继承了相关滤波运算效率高的优点，同时也实现了较精确的跟踪效果。针对应用场景对算法的实时性要求，采用KCF作为跟踪器的核心算法。

第三阶段为跟踪结果验证：基于目标的实时位置信息进行验证，若验证通过则输出目标的类别信息，并将当前的实时位置信息作为最终位置信息输出，否则返回第一阶段。即，输入：序列目标跟踪结果；输出：目标的类别信息与最终位置信息。

考虑到跟踪算法无法判断目标出视野的情况，通过设计验证器，实现对跟踪结果正确性的判定。如图6所示，验证过程由高频验证和低频验证两条并行分支完成。每帧跟踪结果皆需要进行高频验证，而低频验证则每间隔10帧进行一次。考虑到验证器的运行效率，高频验证采用计算量小的直方图对比方法。假设当前为i时刻，跟踪结果为Tr_b ⁱ，首先，分别计算关键帧和跟踪结果

的直方图，其中，关键帧为上一个验证通过的跟踪结果

随后，估计上述直方图之间的欧式距离，并通过其与阈值η的比较来判定Tr_b ⁱ的正确性。考虑到目标离图像边界越近，脱离视野概率越大的状况，设置动态阈值η：

其中，bound(I_i)表示i时刻图像I_i的边界。

表示

中心与图像I_i边界的最小图像距离。η_max和η_min则分别为η的下界和上界。(c_x,c_y)为图像I_i的中心坐标(假定c_x>c_y)。由上式可知，η的取值范围为η_min～η_max；且

越靠近图像边界，η越大，高频验证的条件越严格。低频验证利用分类器直接进行分类操作，该分类器采用检测器中的轻量级分类网络。若对应类别的概率高于阈值，则认为低频验证通过，并将

更新为新的关键帧，用于后续的直方图对比。此时，需要两组分支皆通过正确性验证，方可认为

正确。后续9帧跟踪结果则只需进行高频验证即可。i+10时刻的验证方案与i时刻相同，并以此类推。在实际应用中，当目标在视野中丢失，此时的跟踪结果将不会通过验证，验证器将立即反馈给目标跟踪器，跟踪器则停止跟踪。

该验证器综合考虑了有效性和时效性，通过设计两条异频验证分支，实现了对跟踪结果的快速准确验证。其中高频分支需要对每帧跟踪结果进行处理，因此采用了实时性强的直方图对比方法。而低频分支更加侧重验证的准确性，因此采用相对耗时而鲁棒性更强的神经网络对跟踪结果进行分类判定并更新关键帧。

以一个具体应用实例进行说明，构建微型固定翼无人机系统，该系统搭载可见光视觉系统以及嵌入式处理器。在微型固定翼无人机飞行过程中使用本实施例的方法对地面运动车辆进行实时识别与跟踪。为了体现本实施例提出的方法相比经典方法的优势，分别在三种不同强度的光照环境中开展了实际飞行实验，从而获得三组实验数据，并分别使用本实施例的方法(DTL)、TLD算法、YOLO网络以及模板匹配算法(TM)针对三组实验数据进行测试统计。表1展示了各类方法运行过程中每帧图像的平均耗时统计。本实施例的方法DTL相比其他经典方法表现出了不同程度的运算速度优势，实现了约7帧/秒的识别与跟踪帧率。为了衡量目标识别与跟踪的准确率，首先，如图7所示(图7中，TP为有跟踪结果且包含真实目标；FP为图像中无目标，有跟踪结果且不包含目标；XP为图像中有目标，有跟踪结果且不包含目标；TN为图像中有目标，无跟踪结果；FN为图像中无目标，无跟踪结果)，针对跟踪结果定义5类情况，其中仅认为TP为成功，其余情况为跟踪失败，并以此为基础定义精确率P和召回率R两个指标：

以上述指标为基础，表2统计了各类方法在三组实验中的性能。可以看出，本实施例的方法DTL实现了超过98％的准确率以及超过80％的召回率，相比TLD和TM皆展现出不同程度的优势。虽然在召回率指标方面与YOLO存在差距，但结合YOLO在实时性方面的巨大差距，本实施例的方法DTL总体来说基本满足微型固定翼无人机对地目标识别与跟踪的各方面性能需求，是当前最适合应用于微型固定翼无人机对地运动目标实时识别与跟踪的方法。

表1各类方法的单帧处理平均耗时及方差

	DTL	TLD	TM	YOLO
					实验一(ms)	140.8±30.8	499.8±63.2	201.8±30.8	14411.7±210.2
实验二(ms)	152.1±23.8	587.8±79.4	230.3±32.4	15546.4±383.4
					实验三(ms)	120.2±41.2	390.8±91.8	180.2±31.6	14903.1±195.6

表2各类方法的目标跟踪准确率和召回率

综上所述，本实施例面向微型固定翼无人机飞行过程中对地运动目标识别与跟踪的需求，设计了一种结合检测器、跟踪器和验证器的轻量级目标识别与跟踪算法，相较其他各类经典方法在实时性和精确性展现出了整体优势，实现了在计算能力严重受限的嵌入式机载处理器上较为高效的算法运行速度，并且保持了较高的识别与跟踪精度，为微型无人机对地运动目标的实时跟踪提供了有效解决方案，具有较强的实用价值。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.一种微型固定翼无人机机载地面运动目标识别与跟踪方法，其特征在于，包括如下步骤：

步骤1，基于机载实时图像对目标进行识别，得到目标的类别信息与初始位置信息；

步骤2，基于机载实时序列图像、目标的类别信息与初始位置信息对目标进行跟踪，得到目标的实时位置信息；

步骤3，基于目标的实时位置信息进行验证，若验证通过则输出目标的类别信息，并将当前的实时位置信息作为最终位置信息输出，否则返回步骤1。

2.根据权利要求1所述微型固定翼无人机机载地面运动目标识别与跟踪方法，其特征在于，步骤1中，所述基于机载实时图像对目标进行识别，具体为：

步骤1.1，基于谱残差显著性检测算法构建显著图金字塔模型，并基于显著图金字塔模型提取机载实时图像中不同尺度的低分辨率目标候选区域；

步骤1.2，结合机载实时图像，根据低分辨率目标候选区域，提取对应的高分辨率目标候选区域；

步骤1.3，对高分辨目标候选区域进行逐个分类，获取目标区域，进而得到目标的类别信息与初始位置信息。

3.根据权利要求2所述所述微型固定翼无人机机载地面运动目标识别与跟踪方法，其特征在于，步骤1.1中，所述基于显著图金字塔模型提取机载实时图像中不同尺度的低分辨率目标候选区域，具体为：

以机载实时图像为原图建立分辨率依次递减的图像金字塔；

基于谱残差显著性检测算法得到图像金字塔中的所有图像的初始显著性图；

并将所有的初始显著性图统一至原图I的分辨率，并以加权的方式进行求和叠加，生成最终的显著图，即机载实时图像中不同尺度的低分辨率目标候选区域。

4.根据权利要求3所述所述微型固定翼无人机机载地面运动目标识别与跟踪方法，其特征在于，所述基于谱残差显著性检测算法得到图像金字塔中的所有图像的初始显著性图，具体为:

首先，获取图像I的振幅谱A(I)和相位谱P(I)，并对振幅谱取对获得log谱L(I)：

L(I)＝log(A(I))

随后，构建如下均值滤波器h_n(I)：

式中，n为图像log谱L(I)的行数或列数；

再计算谱残差R(I)：

R(I)＝L(I)-h_n(I)L(I)

最后，进行指数变换和傅里叶反变换，并进行一次高斯模糊滤波处理输出最终的显著性图S(I)：

S(I)＝g(·)F^-1[exp(R(I)+P(I))]²

式中，g(·)表示高斯滤波器。

5.根据权利要求2所述所述微型固定翼无人机机载地面运动目标识别与跟踪方法，其特征在于，步骤1.3中，采用浅层神经网络对高分辨目标候选区域进行逐个分类。

6.根据权利要求1至5任一项所述微型固定翼无人机机载地面运动目标识别与跟踪方法，其特征在于，步骤2中，所述基于机载实时序列图像、目标的类别信息与初始位置信息对目标进行跟踪，具体为：

步骤2.1，获取步骤1中的识别结果，对未处于跟踪状态的目标进行KCF跟踪器初始化；

步骤2.2，对于处于跟踪状态的目标，根据实时序列图像，采用KCF算法进行目标图像跟踪。

7.根据权利要求1至5任一项所述微型固定翼无人机机载地面运动目标识别与跟踪方法，其特征在于，步骤3中，所述基于目标的实时位置信息进行验证，具体为：

基于直方图对比方法，对目标的实时位置信息对应的跟踪结果进行高频验证；

利用分类器，对目标的实时位置信息对应跟踪结果进行低频验证；

若高频验证与低频验证均通过，则判定为验证通过，否则判定为验证不通过。

8.根据权利要求7所述微型固定翼无人机机载地面运动目标识别与跟踪方法，其特征在于，所述基于直方图对比方法，对目标的实时位置信息对应的跟踪结果进行高频验证，具体为：

设当前为i时刻，机载实时序列图像中第i帧图像的跟踪结果为

首先，分别计算关键帧和跟踪结果

的直方图，其中，关键帧为上一个验证通过的跟踪结果

随后，估计关键帧和跟踪结果

的直方图之间的欧式距离，并通过该欧式距离高于阈值η则判定通过高频验证，并将跟踪结果

更新至关键帧，否则判定不通过。

9.根据权利要求7所述微型固定翼无人机机载地面运动目标识别与跟踪方法，其特征在于，考虑到目标离图像边界越近，脱离视野概率越大的状况，设置动态阈值η，为：

式中，bound(I_i)表示机载实时序列图像中第i帧图像I_i的边界，

表示

中心与图像I_i边界的最小图像距离，η_max和η_min则分别为η的下界和上界，(c_x,c_y)为图像I_i的中心坐标。

Images