CN106021610B - 一种基于显著区域的视频指纹提取方法 - Google Patents

Abstract

本发明公开了一种基于显著区域的视频指纹提取方法，首先对视频每帧作改进的FT(Frequency‑Tuned)显著性检测，形成显著图，然后基于显著图的显著区域提取空时域三维联合的改进WLD(Weber Local Descriptor)特征形成视频指纹；在具体操作中，本发明仅在显著区域提取视频指纹，这样就将基于全幅图像的指纹提取转化为基于局部关键信息区域的指纹提取，大大降低了视频指纹提取的运算量，提高了效率。

Description

一种基于显著区域的视频指纹提取方法

技术领域

本发明属于视频指纹及数据检索技术领域，更为具体地讲，涉及一种基于显著区域的视频指纹提取方法。

背景技术

随着网络技术的发展，视频凭借其信息获取直观、内容丰富等特点成为了主要的信息承载形式，然而由于互联网的开放性等特点，网络视频面临众多潜在的安全问题。在视频监控方面，监控视频的采集、传输、保存等过程容易遭受关于视频内容的篡改，这直接影响了监控视频作为司法评判依据的可靠性，视频指纹技术正是在这种形势下发展起来的一项视频处理技术，它为网络视频和监控视频的安全监测提供了一种高效可靠的手段。

视频指纹是一项先进的图像分析技术，按一定规则提取视频特征信息并经过一系列技术处理，形成的可以唯一表征视频的数字序列。因为每一帧视频都具有其独特性，导致每一帧提取的数字序列具有唯一性，这种特点类似于人类指纹，因此被形象称为视频指纹，通过视频指纹匹配技术，就可以快速获得准确的视频异同信息。

典型的视频指纹提取方法，主要包含视频指纹的提取、视频指纹的匹配两个阶段。在视频指纹提取阶段，对待检测的视频提取特征向量，按照一定规则形成简短唯一的指纹序列；在指纹匹配阶段，将待检测视频的指纹与数据库中的指纹或者原始视频的指纹进行比较验证两者是否一致，判定视频内容是否真实，是否经过篡改。

其中，指纹提取是视频指纹的核心技术之一，目前主要有以下方法：

(1)利用粗糙特征提取指纹。

视频的粗糙特征表征了视频内容的相似特征，如Huang等人提出的视频帧的DCT(the Discrete Cosine Transform)变换系数、Chatzigiorgaki等提出的视频关键帧，由于这些粗糙特征与原视频只是相似关系，因此其区分性不足。

(2)利用全局特征提取指纹。

全局特征是从整个视频帧中的固有像素信息中提取特征，主要有YUV分量直方图、颜色特征、形状特征、亮度特征、纹理特征等特征信息。全局特征代表了视频帧的整体特点，对于亮度变化、高斯噪声等视频内容保持的攻击鲁棒性较好，但是对于视频内容微小篡改难以检测。

(3)利用局部特征提取指纹。

局部特征又可以分为基于区域的特征和基于兴趣点的特征。区域特征只需关注一些特定区域，即使背景空间发生变化也对提取的指纹影响较小。其中，通过边缘信息获取特征的方法，无法消除在视频格式转换过程中亮度变化和块效应对边缘信息产生的影响。SIFT算法是基于兴趣点的特征提取方法，SIFT对亮度变化、仿射变换、旋转、尺度缩放具有较好的鲁棒性。

(4)利用空时域特征提取指纹。

结合视频帧的空域特征和视频帧的时域特征生成视频指纹。其中，基于二维空域特征的提取是将视频当做一系列二维图像的连续组合，并从这些图像中提取空域特征，时域特征包含了视频内容随时间变化的信息。基于空时域的指纹提取方法充分利用了视频的空时域信息，有助于提升指纹提取的准确性与鲁棒性，但该方法在效率方面有所欠缺。

(5)利用融合技术提取指纹。

利用融合技术形成视频指纹，通过将图像各种特征信息根据某种权重分配体系进行综合，优点在于获取了丰富的视频特征信息，能够同时达到准确性、鲁棒性等要求，但是视频指纹提取过程中开销大效率低。

综上，已有的视频指纹提取算法研究主要关注准确性和鲁棒性两方面，在指纹提取的实时性问题上还缺乏深入的研究，难以满足视频内容安全实时监控、视频内容篡改实时检测的需求。因此，研究一种面向视频内容安全检测的快速准确的指纹提取算法具有重要的价值与意义。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于显著区域的视频指纹提取方法，首先通过基于背景先验的FT(Frequency-Tuned)算法得到显著区域，然后在显著区域上采用空时域三维联合的改进WLD(Weber Local Descriptor)算法，提取特征形成视频指纹，本发明在保证提取视频指纹准确性、鲁棒性的基础上，提高视频指纹提取的实时性，使其具有高准确性、鲁棒性和实时性的优点且性能均衡。

为实现上述发明目的，本发明一种基于显著区域的视频指纹提取方法，其特征在于，包括以下步骤：

(1)、基于边界背景先验的FT算法确定出某一帧图像的4个边界区域，并标记为伪背景区域L_top、L_bottom、L_left、L_right；

(2)、利用图像的灰度级统计，计算出4个伪背景区的复杂度，选取复杂度最低的伪背景区域设置为背景区域；

(3)、根据背景区域位置确定以像素点p(x,y)为中心的对称子区域A，其中，x₀为对称子区域A的宽度，y₀为对称子区域A的高度；

以该帧图像的左上角像素点为坐标原点，以垂直向下的方向为X轴，以水平向右的方向为Y轴，建立二维直角坐标系，则有：

其中，w表示该帧图像的宽度，h表示该帧图像的高度；

(4)、求取图像中任意像素点p(x,y)的显著值S(x,y)；

S(x,y)＝||I_μ(x,y)-I_g(x,y)||

其中，I_g(x,y)是像素点p(x,y)的3×3的高斯核函数滤波值；I_μ(x,y)是以像素点p(x,y)为中心的环绕对称子区域A在CIELAB颜色集下三通道的各自的平均值，具体计算公式为：

其中，N表示该对称子区域A包含像素点的总数目，l(i,j)、a(i,j)、b(i,j)分别表示对称子区域A中坐标为(x,y)的像素值在CIELAB颜色集下l通道、a通道、b通道下的值；

当所有像素点按照步骤(4)处理后，形成显著图；

(5)、在显著区域上计算T-WLD的差分激励

在显著图上依次对每个像素点的显著值进行判断，将显著值超过预设阈值的所有像素点形成显著区域；

对显著区域上的像素点进行差分激励计算：

以显著区域中的像素点(x,y)为中心，设置3×3的正方形领域，再对正方形领域施加滤波窗函数f₀₀和f₀₁，分别得到变量与

其中，x_c表示正方形领域中中心像素点的灰度值，x_k表示正方形领域中除中心像素点外其余像素点的灰度值；

根据韦伯定律，求出韦伯分数；

对韦伯分数经过反正切函数滤波，得到最终的差分激励；

(6)、对显著区域上的像素点计算T-WLD的方向

以该帧图像的左上角像素点为坐标原点，以垂直向下的方向为X轴，以水平向右的方向为Y轴，以视频帧排列方向为T轴，建立一个三维直角坐标系；

对于显著区域中的任意像素点(x,y,i)，计算方向θ_three：

v_t＝p(x,y,i+1)-p(x,y,i-1)

将θ_three映射到(0,2π)：

再将θ_t'_hree量化到T个离散方向，得到φ_t：

(7)、提取视频指纹

将T-WLD的差分激励和方向组成的一个二维直方图，再将差分激励分别投射在θ_t'_hree量化得到的T个离散方向上，得到T个一维直方图将φ(t)(t＝0,1,2,...,T-1)；

再将φ(t)(t＝0,1,2,...,T-1)一维直方图均分成M个小段，每一小段就是一个子直方图H_m,t，其中t∈(0,1...T-1),m∈(0,1...M-1)，一共个M×T个子直方图；

然后依次遍历所有的t值，得到一个一维直方图H_m，取遍所有的m就可以得到M个一维直方图H_m；

最后把M个一维直方图H_m(m＝0,1...,M-1)依次串联，就得到该帧的视频指纹H＝{H_m}(m＝0,1,2,...,M-1)；

同理，按照上述方法继续处理视频的其它帧，当所有帧处理完成后，将每一帧得到的指纹进行串联，得到最终提取的视频指纹。

本发明的发明目的是这样实现的：

本发明一种基于显著区域的视频指纹提取方法，首先对视频每帧作改进的FT(Frequency-Tuned)显著性检测，形成显著图，然后基于显著图的显著区域提取空时域三维联合的改进WLD(Weber Local Descriptor)特征形成视频指纹；在具体操作中，本发明仅在显著区域提取视频指纹，这样就将基于全幅图像的指纹提取转化为基于局部关键信息区域的指纹提取，大大降低了视频指纹提取的运算量，提高了效率。

同时，本发明基于显著区域的视频指纹提取方法还具有以下有益效果：

(1)、对FT(Frequency-tuned)算法作图像显著性检测时，当图像背景复杂或显著区域占据图像面积比例过半时，存在背景被显著处理目标被弱化的缺陷，本发明基于边界背景先验的FT显著性检测算法弥补了FT算法在上述场景的缺陷。

(2)、针对WLD仅仅只能对二维图像提取特征，本发明将二维WLD方法扩展到包含空时域三维联合的T-WLD方法，进而得到更加准确有效，更加适用的视频指纹提取方法。

(3)、本发明在平衡视频指纹算法的准确性、鲁棒性、实时性上有积极的作用。

附图说明

图1是本发明基于显著区域的视频指纹提取方法流程图；

图2是图像的边界区域示意图；

图3是T-WLD的差分激励计算示意图；

图4是基于三维空时域的WLD改进算法示意图；

图5是视频指纹提取示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于显著区域的视频指纹提取方法流程图。

在本实施例中，如图1所示，本发明一种基于显著区域的视频指纹提取方法，包括以下步骤：

S1、基于边界背景先验的FT算法确定出某一帧图像的4个边界区域，并标记为伪背景区域L_top、L_bottom、L_left、L_right；

在本实施例中，FT算法(Frequency-Tuned)是由Achanta等人于2009年提出，是一种经典的显著性检测算法。FT算法获得的视觉显著图相对于其他算法具有算法稳定，显著检测效果好，耗时最少的优点。但当图像背景复杂或目标区域占据图像面积比例过半时，背景会被显著处理，目标区域显著效果较差。因此，引入边界背景先验的假设，在FT算法的基础上，提出了一种改进的FT显著性检测算法，即边界背景先验的FT算法(Boundary PriorFrequency-Tuned,BP-FT)，解决了FT算法的上述缺陷。

从摄影构图的基本原则上看，目标物体一般会放在画面的中心。通常情况下，即使目标物体不在画面的中心，也不可能同时在4个边界区域。因此，可以认为图像的四个边界区域至少有一个是背景区域。如图2所示，首先找出4个边界区域并将其视为伪背景区域，然后计算4个边界区域的图像复杂度并排序。图像复杂度越低的区域越可能是背景区域，反之，则不是背景区域。

S2、利用图像的灰度级统计，计算出4个伪背景区的复杂度，选取复杂度最低的伪背景区域设置为背景区域；

在本实施例中，采用灰度级数量统计进行图像复杂度计算。灰度级能够准确表征图像灰度级的个数及其每级出现的频率情况，参考广义复杂度的计算分析方法，并结合信息熵的概念，图像复杂度可表示为：

其中，C为广义复杂度，N表示灰度级数量，L为图像的信息熵，n_i为单个灰度级的个体数量。

S3、根据背景区域位置确定以像素点p(x,y)为中心的对称子区域A，其中，x₀为对称子区域A的宽度，y₀为对称子区域A的高度；

以该帧图像的左上角像素点为坐标原点，以垂直向下的方向为X轴，以水平向右的方向为Y轴，建立二维直角坐标系，则有：

其中，w表示该帧图像的宽度，h表示该帧图像的高度；

(4)、求取图像中任意像素点p(x,y)的显著值S(x,y)；

S(x,y)＝||I_μ(x,y)-I_g(x,y)||

其中，I_g(x,y)是像素点p(x,y)的3×3的高斯核函数滤波值；I_μ(x,y)是以像素点p(x,y)为中心的环绕对称子区域A在CIELAB颜色集下三通道的各自的平均值，具体计算公式为：

其中，N表示称子区域A包含像素点的总数目，l(i,j)、a(i,j)、b(i,j)分别表示对称子区域A中坐标为(x,y)的像素值在CIELAB颜色集下l通道、a通道、b通道下的值；

通过上述公式计算给定像素点的最佳显著性子区域A，给定像素点p(x,y)与上下左右的边界距离作对比，并且考虑上下左右边界的背景复杂度，即像素点离背景复杂度低的边界越近，像素点p(x,y)越可能是背景区域，以像素点p(x,y)为中心的子区域A要越窄，从而减小像素点p(x,y)的I_μ(x,y)值。当像素点离背景复杂度高的边界越近，像素点p(x,y)可能不是背景区域，需要增大以像素点p(x,y)为中心的子区域A的面积，从而增大像素点p(x,y)的I_μ(x,y)值。

当所有像素点按照步骤S4处理后，形成显著图。

S5、在显著区域上计算T-WLD的差分激励

在显著图上依次对每个像素点的显著值进行判断，将显著值超过预设阈值70的所有像素点形成显著区域；

对显著区域上的像素点进行差分激励计算：

在本实施例中，如图3所示，以显著区域中的像素点(x,y)为中心，设置3×3的正方形领域，再对正方形领域施加滤波窗函数f₀₀和f₀₁，分别得到与

其中，x_c表示正方形领域中中心像素点的灰度值，x_k表示正方形领域中除中心像素点外其余像素点的灰度值，即图3中x₀～x₇对应像素点的灰度值；

在本实施例中，f₀₀表示将正方形邻域中中心像素点取正，其余像素点取负后，再将所有像素点累加求和；

f₀₁表示取中心像素点。

根据韦伯定律，求出韦伯分数；

为了提高差分激励对噪声的鲁棒性，对韦伯分数经过反正切函数滤波，得到最终的差分激励；

S6、对显著区域上的像素点计算T-WLD的方向

以该帧图像的左上角像素点为坐标原点，以垂直向下的方向为X轴，以水平向右的方向为Y轴，以视频帧排列方向为T轴，建立一个三维直角坐标系；

对于显著区域中的任意像素点(x,y,i)，计算方向θ_three：

v_t＝p(x,y,i+1)-p(x,y,i-1)

将θ_three映射到(0,2π)：

再将θ′_three量化到T个离散方向，得到φ_t：

在本实施例中，T＝8，则φ_t一共有8个方向，分别是0，π/4，π/2，3π/4，π，5π/4，3π/2，7π/4。只要都被量化为0，即(如果那么如果)。

S7、提取视频指纹

WLD仅仅是对图像提取纹理特征，差分激励与方向的计算均在二维平面上。而本文提出了基于三维空时域的WLD改进算法(Time-Weber Local Descriptor,T-WLD)，兼顾差分激励跟方向，同时考虑了视频的时间空间信息。

在本实施例中，如图4所示，X，Y，T是坐标系的三个坐标轴，三个坐标平面分别是XY、XT、YT，时间轴的方向也就是视频多帧连续排列的方向，T-WLD仍然由两部分组成：差分激励和方向。视频的一帧图像所在的平面是XY，在XY平面按照WLD的差分激励方法计算得到T-WLD的差分激励。最后将差分激励与方向联合得到二维直方图，再将二维直方图转化成一维直方图。

将T-WLD的差分激励和方向组成的一个二维直方图，再将差分激励分别投射在θ′_three量化得到的T个离散方向上，得到T个一维直方图将φ(t)(t＝0,1,2,...,T-1)；

再将φ(t)(t＝0,1,2,...,T-1)一维直方图均分成M个小段，每一小段就是一个子直方图H_m,t，其中t∈(0,1...T-1),m∈(0,1...M-1)，一共个M×T个子直方图；

然后依次遍历所有的t值，得到一个一维直方图H_m，取遍所有的m就可以得到M个一维直方图H_m；

最后把M个一维直方图H_m(m＝0,1...,M-1)依次串联，就得到该帧的视频指纹H＝{H_m}(m＝0,1,2,...,M-1)；

同理，按照上述方法继续处理视频的其它帧，当所有帧处理完成后，将每一帧得到的指纹进行串联，得到最终提取的视频指纹。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于显著区域的视频指纹提取方法，其特征在于，包括以下步骤：

(1)、基于边界背景先验的FT算法确定出某一帧图像的4个边界区域，并标记为伪背景区域L_top、L_bottom、L_left、L_right；

(2)、利用图像的灰度级统计，计算出4个伪背景区的复杂度，选取复杂度最低的伪背景区域设置为背景区域；

(3)、根据背景区域设置以像素点p(x,y)为中心的对称子区域A，其中，x₀为对称子区域A的宽度，y₀为对称子区域A的高度；

以该帧图像的左上角像素点为坐标原点，以垂直向下的方向为X轴，以水平向右的方向为Y轴，建立二维直角坐标系，则有：

其中，w表示该帧图像的宽度，h表示该帧图像的高度；

(4)、求取图像中任意像素点p(x,y)的显著值S(x,y)；

S(x,y)＝||I_μ(x,y)-I_g(x,y)||

其中，I_g(x,y)是像素点p(x,y)的3×3的高斯核函数滤波值；I_μ(x,y)是以像素点p(x,y)为中心的环绕对称子区域A在CIELAB颜色集下三通道的各自的平均值，具体计算公式为：

其中，N表示称子区域A包含像素点的总数目，l(i,j)、a(i,j)、b(i,j)分别表示对称子区域A中坐标为(x,y)的像素值在CIELAB颜色集下l通道、a通道、b通道下的值；

当所有像素点按照步骤(4)处理后，形成显著图；

(5)、在显著区域上计算T-WLD的差分激励

在显著图上依次对每个像素点的显著值进行判断，将显著值超过预设阈值的所有像素点形成显著区域；

对显著区域上的像素点进行差分激励计算：

以显著区域中的像素点(x,y)为中心，设置3×3的正方形领域，再对正方形领域施加滤波窗函数f₀₀和f₀₁，分别得到与

其中，x_c表示正方形领域中中心像素点的灰度值，x_k表示正方形领域中除中心像素点外其余像素点的灰度值；

根据韦伯定律，求出韦伯分数；

对韦伯分数经过反正切函数滤波，得到最终的差分激励；

(6)、对显著区域上的像素点计算T-WLD的方向

以该帧图像的左上角像素点为坐标原点，以垂直向下的方向为X轴，以水平向右的方向为Y轴，以视频帧排列方向为T轴，建立一个三维直角坐标系；

对于显著区域中的任意像素点(x,y,i)，计算方向θ_three：

v_t＝p(x,y,i+1)-p(x,y,i-1)

将θ_three映射到(0,2π)：

再将θ'_three量化到T个离散方向，得到φ_t：

(7)、提取视频指纹

将T-WLD的差分激励和方向组成的一个二维直方图，再将差分激励分别投射在θ'_thr量化得到的T个离散方向上，得到T个一维直方图将φ(t)(t＝0,1,2,...,T-1)；

再将φ(t)(t＝0,1,2,...,T-1)一维直方图均分成M个小段，每一小段就是一个子直方图H_m,t，其中t∈(0,1...T-1),m∈(0,1...M-1)，一共个M×T个子直方图；

然后依次遍历所有的t值，得到一个一维直方图H_m，取遍所有的m就可以得到M个一维直方图H_m；

最后把M个一维直方图H_m(m＝0,1...,M-1)依次串联，就得到该帧的视频指纹H＝{H_m}(m＝0,1,2,...,M-1)；

同理，按照上述方法继续处理视频的其它帧，当所有帧处理完成后，将每一帧得到的指纹进行串联，得到最终提取的视频指纹。