CN101383899A - 一种空基平台悬停视频稳像方法 - Google Patents

Abstract

一种空基平台悬停视频稳像方法，首先选定视频序列中的某一帧图像作为参考帧，用尺度不变特征变换的特征提取方法对参考图像与该视频序列当前图像提取特征点，以欧氏空间距离作为特征匹配判据进行特征点的初次匹配，形成特征匹配点对，根据图像背景特征点相对位置不变性进行特征匹配点进一步筛选，去除错配以及位于运动目标上的特征匹配点对，将这些特征匹配点对用于六参数仿射变换模型进行最小二乘计算，求取模型参数，对当前图像进行校正补偿，得到固定视野的稳定视频序列输出；在处理过程中，还提出每隔一定帧数更换新的参考帧的思想，减小了误差、提高了稳定精度；本发明可应用于交通监控，目标跟踪等场合，具有广阔的市场前景与应用价值。

Description

一种空基平台悬停视频稳像方法

技术领域

本发明涉及一种图像处理方法，具体是一种空基平台悬停视频图像的固定的稳定处理，属于图像处理技术领域。

背景技术

稳像技术广泛应用于民用测绘仪器、军事领域和摄影系统中。在许多的摄像应用当中，摄像机所处的工作平台通常都是不稳定的，比如手持或肩扛摄像机进行摄像，从运动的飞机、轮船或汽车上用摄像机对景物、场景、目标等进行拍摄、监视等，这些地方都存在摄像机平台的抖动问题，因此需要采用稳像技术。当在运动载体上用望远镜观瞄目标时，由于机座振动，摄像机所拍摄到的图像序列是抖动的，像面上的图像不稳定将导致获得的图像信息不稳定。因此在运动的载体中，摄像系统的稳像是一个十分重要的问题，特别是在长焦距、高分辨率的监视跟踪系统中更加突出。稳像系统无论是在军事还是在民用方面的应用已经越来越引起人们的重视。例如：机器人视觉、车载摄像以及飞行器的监视观察等系统中，常存在这一问题，因此需要对视频进行抖动校正处理，同时视频图像稳定在视频驾驶、视频监视、目标跟踪系统等场合有着广泛的应用。

随着新的传感技术、计算机技术的发展，稳像系统已经逐步成为应用光、机、电、算的综合性系统。电子稳像实际上是应用图像处理的方法来直接确定像偏移并进行补偿的技术。

视频图像稳定分为两种情况：一种是稳定背景；另一种是去除帧间抖动。稳定背景主要用于空基平台交通监测、监测固定视野内的运动目标等场合。而用于去除帧间抖动的视频稳定则是经过运动估计得到运动参数，然后采用相应的滤波方法对运动参数进行平滑，最后通过视频校正与补偿对图像进行稳定处理，实现视频图像的去抖动。

视频稳定处理首先需进行运动估计，目前运动估计方法有很多，随着图像技术和计算机技术的发展，基于特征的图像匹配技术得到了广阔的发展。现在特征提取技术越来越稳定，为图像匹配提供了有效的匹配途径。基于特征的特征提取与匹配方法有块匹配法、角点法、光流法等。尤其是这几年发展起来的尺度空间的特征检测算法，甚至可以稳定地对两帧位移很大的图像进行准确的特征检测和匹配。块匹配法、角点匹配法、光流法都不适用于当背景发生较大变化时的特征匹配，只适合在图像之间存在较小变化的情况，而对于运动变化较大，图像背景有较大变换的图像则会出现较大的误配，而且计算量增大，计算也变得复杂。

在特征匹配点二次筛选过程中，提高特征匹配精度的算法也很多，ransac方法、均值方差筛选法等。Ransac方法计算复杂，对于差异不大的特征匹配点难以去除。均值方法由于受到特征匹配中严重误配的特征匹配点对的影响，在剔除坏点过程中不一定能去除错配严重的点，反而将正确的点去除，达不到准确匹配，稳定视频图像的目的。

发明内容

本发明要解决的技术问题是：克服传统的特征提取与匹配算法在摄像机视角、所在尺度、光照发生变化时产生特征提取与匹配不准确的缺点，提出一种基于尺度不变特征变换的特征提取与匹配的方法用于特征点的提取，并实现特征点的初次匹配，形成初始匹配点对；先利用尺度不变特征变换方法提取图像的特征点，再以欧式距离作为相似性测度进行特征点的初步匹配；为了达到精确匹配的效果，本发明提出应用背景特征相对位置不变特性对初始匹配点对进行二次筛选，提高了特征匹配的准确性；由于尺度不变特征变换方法背景差异变化时，特征提取与匹配的精度降低，本发明提出每隔一定帧数更新初始参考帧的思想，每隔一定帧，以当前图像前一帧已稳定的图像作为新的参考帧，提高了稳定的准确性，改善了稳定的效果，便于空基平台悬停的视频稳定和交通监测。

本发明解决其技术问题所采用的技术方案：一种空基平台悬停视频稳像方法，其特征在于包括以下具体步骤：

1、尺度不变特征变换(Scale Invariant Feature Transform以下简称SIFT)的特征提取：用不同的高斯卷积核与图像进行卷积得到高斯尺度空间，将相邻尺度的高斯图像两两相减即生成高斯差分尺度空间(DOG scale-space)，在相邻的3个尺度检测极值点，以极值点邻域像素的梯度方向分布特性为每个极值点指定方向参数，使算子具备旋转不变性，生成特征描述字，形成SIFT特征向量；

2、SIFT特征点初次匹配：采用极值点特征向量的欧式距离作为两帧图像特征点的相似性测度。若最近距离/次近距离的值小于某个阈值，则接受这一匹配点对；

3、特征匹配点对二次筛选：在图像近似没有缩放变换的情况下，两帧图像中某特征点相对于其它特征点的位置基本保持不变。利用该相对位置不变性，可以将错配匹配点对和位于运动目标上的匹配点对有效去除；

4、模型参数计算与图像校正补偿：采用六参数仿射变换模型，以筛选后的匹配点对为参数进行最小二乘求解模型参数进行图像的校正与补偿，采用双线性插值方法得到稳定的视频输出；

5、视频稳定：每隔一定帧数，更新初始参考帧，即每隔一定帧以当前图像前一帧稳定后的图像作为新的参考帧，提高了特征点提取与匹配的精度，改善了稳定效果。

本发明与现有技术相比所具有的优点：本发明采用SIFT算法进行特征提取与初始匹配，适用于视频序列中背景存在较大差异的图像之间的特征点提取与匹配，且SIFT特征对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性，因此具有很高的准确性，同时与传统的块匹配等方法相比，具有较快的处理速度；本发明的二次筛选方法采用了背景特征相对位置不变特性，对初始匹配点进行进一步的筛选，再次提高了算法的准确性；本发明还提出视频图像稳定处理过程中每隔一定帧数更新初始参考帧的思想，进一步提高了稳定的准确性，改善了视频稳定的效果，可应用于交通监控，目标跟踪等场合，具有广阔的市场前景与应用价值。

附图说明

图1为本发明的空基平台悬停视频稳像方法流程图；

图2为本发明中使用的尺度不变特征变换方法特征提取模块流程图；

图3为本发明中使用的尺度不变特征变换方法特征点匹配模块流程图；

图4为发明50帧图像稳定处理前后对比结果图；其中图4a为水平运动曲线对比结果图，图4b为竖直运动曲线对比结果图。

具体实施方式

下面结合附图及具体实时方式详细介绍本发明。

本发明是一种空基平台悬停视频的稳定的方法，采用固定帧匹配实现视频图像背景的稳定；该方法主要包括以下几个步骤：

1、尺度不变特征变换法特征提取与初步匹配；

2、特征点的初步匹配；

3、背景特征相对位置不变性原理进行特征点二次筛选；

4、六参数仿射变换模型的运动估计、运动校正与补偿；

5、视频稳定。

本发明方法实现的具体流程如图1所示，特征提取与初步匹配的模块流程图如图2所示。

1、SIFT(scale invariant feature transform)特征提取方法；

具体采用如下几个步骤实现：

(1)尺度空间的生成；

尺度空间理论目的是模拟图像数据的多尺度特征。高斯卷积核是实现尺度变换的唯一线性核，于是一幅二维图像的尺度空间定义为：

L(x，y，σ)＝G(x，yσ)*I(x，y)      (1)

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}/2{\mathrm{\σ}}^2---\left(2\right)$

其中G(x，y，σ)是尺度可变高斯函数，(x，y)是空间坐标，σ是尺度坐标。

为了有效地在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间(DOGscale-space)。利用不同尺度的高斯差分核与图像卷积生成。

图像金字塔的构建：图像金字塔共O组，每组有S层，下一组的图像由上一组图像降采样得到。由两组高斯尺度空间图像示例金字塔的构建，第二组的第一副图像由第一组的第一副到最后一副图像由一个因子2降采样得到。

(2)空间极值点检测；

为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

因为DoG算子会产生较强的边缘响应，为了更加精确确定极值点位置，可以通过拟和三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力。

(3)关键点方向分配；

利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。

在梯度方向直方图中，当存在另一个相当于主峰值80％能量的峰值时，则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向，一个主方向，一个以上辅方向，这样可以增强匹配的鲁棒性。至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、方向。由此可以确定一个SIFT特征区域。

(4)特征点描述字生成；

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。若以某个点作为中央黑点，该黑点为当前特征点的位置，以特征点为中心取8×8的窗口，每个小格代表特征点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，取一个高斯加权的范围，越靠近特征点的像素梯度方向信息贡献越大，权值越大。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。为了增强匹配的稳健性，对每个特征点使用4×4共16个种子点来描述，这样对于一个特征点就可以产生128个数据，即最终形成128维的SIFT特征向量。

2、特征点初次匹配；

当两帧待匹配图像进行SIFT特征点提取后，采用特征点特征向量的欧式距离作为相似性测度。取参考图像中的某个特征点，并找出当前图像中与其欧式距离最近的前两个特征点，若最近距离/次近距离的值小于某个阈值，则接受这一匹配点对，降低该阈值，SIFT匹配点数会减少且更加稳定。经过特征点初次匹配，得到初始匹配点对。

3、特征点二次筛选；

两帧待匹配图像进行SIFT特征点匹配时，由于图像的自相关性、图像背景的相似性，特征匹配点对不可避免的会出现错配匹配点对和位于运动目标上的匹配点对。

本发明提出一种匹配点对二次筛选的方法：在近似没有缩放变换的情况下，利用两帧图像中某特征点相对于其它特征点的位置基本保持不变的特性，将错配和运动目标特征匹配对有效去除。本发明特征匹配点二次筛选的处理流程如图3所示。

如果一个视频序列没有明显的缩放，只考虑旋转和平移，那么在参考帧图像与当前帧图像中，特征点的相对位置应保持基本不变。设在参考帧图像中有两个特征点A、B，其距离为d，在当前帧中与之对应的匹配点分别为A’、B’，其距离为d’，在假设前提下，应有d/d’等于1。由于不知道哪对匹配点对是正确的，那么将这两帧图像的所有初始匹配点两两都作上述计算。

假设由SIFT特征匹配得到两帧图像对应的n对初始匹配点对，参考图像中的特征点分别为M1、M2、M3...Mn，当前图像中对应的特征点分别为N1、N2、N3...Nn，则M1与M1、M2、M3...Mn的相对距离为d11、d12、d13...d1n，M1的对应匹配点为N1，它与当前图像的匹配点N1、N2、N3...Nn之间的距离分别为d’11，d’12，d’13...d’1n，其相对距离之比分别为的d11/d’11，d12/d’12，d13/d’13...d1n/d’1n。现设定d/d’的比值为一固定阈值threshold1，若d/d’的比值大于该阈值，则累计该点与其它点距离满足该阈值条件的个数。其它点采用相同操作，每对匹配点对都对应一个计数器。将这些计数器按照从大到小顺序排列，取数值大的一部分点进行最小二乘运算。设定阈值threshold2，取n^*threshold2个匹配点对参与模型参数的计算。这样，错配匹配点对和位于运动目标上的匹配点对被有效去除，计算的模型参数更为准确，稳定效果更加明显。

4、六参数仿射模型参数求解；

本发明采用最小二乘法对六参数仿射变换模型进行模型参数的求解，仿射模型如式(3)所示：

$\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]=\left[\begin{array}{cc}{a}_1& b_1\\ a_2& b_2\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]+\left[\begin{array}{c}{c}_1\\ c_2\end{array}\right]---\left(3\right)$

其中(x₀，y₀)，(x₁，y₁)分别是参考图像和当前图像中的像素点的坐标，(c₁，c₂)用来描述平移运动，(a₁，a₂，b₁，b₂)用来描述缩放和图像的旋转变换。将二次筛选后的特征匹配点作为该仿射模型的参数，采用最小二乘法求解得到模型参数。

5、运动校正与运动补偿；

根据模型参数对图像进行校正处理，采用双线性插值对图像进行运动补偿，得到稳定后的图像。双线性插值的计算公式为：

I(x，y，k₂)＝[I(x₀+1，y₀，k₁)-I(x₀，y₀，k)]x+I(x₀，y₀+1，k₁)-I(x₀，y₀，k₁)]y+[I(x₀+1，y₀+1，k₁)+I(x₀，y₀，k₁)-I(x₀，y₀+1，k₁)-I(x₀+1，y₀，k₁)]xy+I(x₀，y₀，k₁)         (4)

其中(x₀，y₀)，(x，y)分别是参考图像和当前图像中的像素点的坐标，k₁帧指参考帧图像，k₂帧指当前帧图像。双线性插值即当前帧图像各点像素值取靠近其坐标位置的四个像素的像素值组合。

6、视频稳定；

稳定过程中，选定一帧图像作为参考帧，为提高匹配精度和稳定效果，提出每隔一定帧图像，就更新初始参考帧的方法，重新确定新的参考帧进行稳定处理。

若所有的后续帧都与初始参考帧进行特征提取与初始匹配，对相隔较远的图像，由于图像所含景物、光照、视角变换不同而不同，SIFT特征匹配过程存在更多可能的误差，影响稳定效果。因此在处理过程中，本发明提出每隔一定帧数即更新初始参考帧的思想，设该间隔为k，首先指定一初始参考帧进行稳定处理，经过k帧之后，将第k帧稳定后的图像作为新的参考帧，以保证参考帧与当前帧有尽可能多的相同背景部分，利于准确提取特征点并进行较准确的特征匹配，提高了算法的精度，保证了稳定的效果。由实验可知，一般情况下，每隔5-10帧换参考帧可以有效改善甚至避免由于特征点错误匹配带来的影响。

为了更直观的描述稳定的效果，取50帧图像进行稳定校正，绘制原始视频图像序列与稳定后图像序列水平和竖直方向的运动曲线，进行直观的对比。对比结果分别如图4a、图4b所示，以像素为单位，无论水平方向还是竖直方向，视频图像基本稳定在一固定背景内，运动更加平缓。由水平和竖直方向的运动位移曲线对比可知，该算法有效地实现了视频图像的背景稳定，便于交通监控。

Claims (6)

1、一种空基平台悬停视频图像稳定的方法，其特征在于包括以下步骤：

(1)首先指定一帧初始参考帧，应用尺度不变特征变换的特征提取方法提取同一序列两帧图像的至少三个特征点；

(2)根据步骤(1)所提取的特征点，以欧式距离为相似性测度，对所述的特征点进行初始匹配，形成初始匹配点对；

(3)对初始匹配点对，以背景特征点相对位置不变特性，对特征点进行进一步筛选，去除错配的特征点对以及位于运动目标上的特征点对，得到最终匹配点对；

(4)以步骤(3)所得的最终匹配点对为参数，采用六参数仿射变换模型求解出模型参数；

(5)采用步骤(4)所得的模型参数进行图像的校正补偿，实现固定帧匹配；

(6)每隔一定帧数，更新初始参考帧，将当前图像前一帧已稳定的图像作为新的参考帧。

2、根据权利要求1所述的一种空基平台悬停视频图像稳定方法，其特征是：所述步骤(1)中采用尺度不变特征变换的特征提取方法对图像进行特征点提取与匹配主要通过以下步骤实现：

(a)高斯尺度空间生成：该尺度空间是由图像与不同的高斯函数卷积得到的；

(b)空间极值点检测：相邻尺度的高斯差分核与图像卷积后生成的高斯图像两两相减即生成高斯差分尺度空间DOG scale-space，某一个采样点，与其同尺度的8个相邻点及上下相邻尺度对应的9×2个点共26个点比较，确保在尺度空间和二维图像空间都检测到极值点，即关键点；

(c)关键点方向分配：利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性，在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向，直方图的峰值代表该关键点邻域梯度的主方向，即作为该关键点的方向；

(d)特征点描述字生成：以关键点为中心取16×16的窗口，以关键点为中心，在其4×4邻域内计算8个方向的梯度直方图，绘制每个梯度方向的累加值，即形成一个种子点，一个关键点可由16个种子点组成，每个种子点有8个方向向量信息，最终形成128维的SIFT特征向量；

(e)特征点匹配：采用关键点特征向量的欧式距离作为两帧图像关键点的相似性判定度量。取参考图像中的某个关键点，并找出当前待稳定图像中与其欧式距离最近的前两个关键点，若最近距离/次近距离的值小于某个阈值，则接受这一匹配点对。

3、根据权利要求1所述的一种空基平台悬停视频图像稳定方法，其特征是，所述的步骤(3)采用背景特征点相对位置不变特性，去除初始匹配中错配及位于运动目标上的特征匹配点对，该方法建立在视频序列图像只存在旋转与平移运动，缩放作用可以被忽略的基础上。

4、根据权利要求1所述的一种空基平台悬停视频图像稳定方法，其特征是，所述的步骤(3)中的背景特征点相对位置不变特性，是指参考帧中背景特征点之间的距离与当前帧中与之匹配的特征点之间对应的距离之比值约为1。

5、根据权利要求1所述的一种空基平台悬停视频图像稳定方法，其特征是，所述的步骤(3)采用背景特征点相对位置不变特性，去除初始匹配中错误匹配的特征匹配点对及位于运动目标上的特征匹配点对，具体步骤如下：

(a)假设由SIFT特征匹配得到n对初始匹配点，参考帧图像中的初始匹配点分别为M1、M2、M3...Mn，当前图像中的候选匹配点为N1、N2、N3...Nn，M1与N1对应匹配，M2与N2对应匹配，依此类推，Mn与Nn对应匹配，则M1与M1、M2、M3...Mn的相对距离为d11、d12、d13...d1n，N1与当前图像的匹配点N1、N2、N3...Nn之间的距离分别为d’11，d’12，d’13...d’1n，相对距离之比分别为的d11/d’11，d12/d’12，d13/d’13...d1n/d’1n。其它点亦同；

(b)设定d/d’的比值阈值threshold1，若d/d’的比值大于该阈值，则累计该点对应的计数器，每一对匹配点对对应一个计数器值；

(c)将n个点遍历后的计数器按照从大到小的顺序排序，设定所要取的点的比例threshold2，取n*threshold2个匹配点对作为六参数仿射变换模型的参数，计算模型参数，进行稳定校正补偿。

6、根据权利要求1所述的一种空基平台悬停视频图像稳定方法，其特征是，所述的步骤(6)中的每隔一定帧数，更新初始参考帧，具体设置为：设该间隔为k，则经过k帧之后，将第k帧稳定后的图像作为新的参考帧，利于更准确提取特征点并进行较准确的特征点匹配，提高了算法的精度，保证了稳定的效果；一般情况下，k取值为5～10；即每隔5-10帧更新初始参考帧可以有效改善甚至避免由于特征点错误匹配点对和位于运动目标特征点对带来的影响。

Images