CN110415268A - 一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法 - Google Patents

Abstract

本发明涉及一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法，其包括如下步骤：步骤1：通过背景差值法进行运动检测，提取到运动前景图像，记为图像Pa；步骤2：对提取到的前景图像按某一尺寸进行分块；步骤3：通过帧间差值法，提取前景图像的轮廓，记为图像Pb；步骤4：对提到的前景轮廓图像进行分块，分块大小和步骤2中的尺寸相同；步骤5：以块为单位，合并图像Pa和图像Pb上的分块组成最终的前景图像；本发明能够有效去除图像中的干扰信息，最大程度地检测到前景图像，方便工作人员的识别。

Description

一种基于背景差值法和帧间差值法相结合的运动区域前景图 像算法

技术领域

本发明涉及一种运动检测算法，尤其涉及一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法。

背景技术

电网作业现场类型多样，不同作业现场抢修、试验、检修过程中由不同的专业人员负责，安全无小事,安全大于天,生产安全风险管控成为电网日常工作中最重要的工作之一。然而日常工作中，工作区域范围大，作业繁杂，人员众多，而监督管理人员有限，部分工作人员自觉性不高，安全意识不够、对作业现场安全隐患麻痹大意，导致习惯性违章屡禁不止，因此很有可能在不经意间导致事故发生，威胁人员生命安全，威胁电网运行安全。怎样提高对于作业现场人员的管控成为摆在管理人员面前的难题。

当前，基于视频图像的运动人员检测识别，在计算机视觉上的应用十分广泛，包括在居家看护、安全检测等。通过视频图像识别技术，可以增强监控的识别程度，减轻监控人员的工作量。近年来视频图像分析技术的快速发展，以各种形式逐渐融入人们的日常生活当中，其中通过人员特征来判断特定群体人员的分析越来越受到重视。

运动检测技术是视频图像处理的重要分支之一，现在已经被广泛使用于网络摄像机、汽车监控锁、婴儿监视器、自动取样仪、自识别门禁等众多安防仪器和民用设施上。运动检测是在指定区域能识别图像的变化，检测运动物体的存在，并避免由光线或环境变化带来的干扰。但是如何从视频图像中将变化区域从背景图像中成功提取出来，需要对视频图像中运动区域进行有效分割。然而，由于视频图像的背景图像经常会存在动态变化，如光照、天气、影子及混乱干扰等的影响，使得视频图像的运动检测成为一项相当困难的工作。

背景差值法是视频图像运动目标检测中一项最基本的技术,被广泛应用于视频监控、机器人导航、智能交通等诸多领域。帧间差值法，是通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，该方法可以很好地适用于存在多个运动目标的情况。背景差值法的优点在于，可以获取完整的运动目标图像，但当背景变化时，需要及时更新，对于图像上细小的运动目标，差值结果中容易产生噪声。对于帧间差值法，该算法的优点在于，对动态环境有较强的自适应性；缺点是前景、背景区域的确定与阈值的选取有很大的关系，当灰度图像序列对比度较低时，由于相邻两帧的差（前景与背景之差）的范围很小，阈值难以选取，影响前景目标的分割结果。区域灰度值变化较为平坦时，容易在人体二值图像内产生空洞现象，给后续的目标分类和识别造成不便。

发明内容

本发明所要解决的技术问题是提供一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法。

为解决上述问题，本发明所采取的技术方案是：

一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法，其包括如下步骤：

步骤 1：采用背景差值法进行运动检测，提取到运动目标的前景图像，记为图像 Pa；

步骤 2：对提取到的运动目标的前景图像Pa按某一尺寸进行分块；

步骤 3：采用帧间差值法，提取运动目标的前景图像的轮廓，记为图像Pb；

步骤 4：对提取到的运动目标的前景图像的轮廓图像Pb进行分块，分块大小和步骤 2中的尺寸相同；

步骤 5：以块为单位，合并图像Pa和图像Pb上的分块组成最终的前景图像。

进一步的，所述步骤5中合并图像Pa和图像Pb上的分块组成最终的前景图像的方法如下：

（1）记录图像Pb中存在的前景块，记录为块B；

（2）保留图像Pa中对应块B位置的前景块，记为块A；

（3）所有块A组成最终的前景图像。

进一步的，所述步骤2中，对提取到的前景图像按32×32进行分块。

进一步的，所述步骤1中，通过背景差值法进行运动检测，提取到运动目标的前景图像的方法如下：

初始化背景图像，采用滑动平均值算法对图像的背景进行定期的更新；滑动平均值算法的计算公式（1）如下：

（1）

式（1）中：μ_t是 t 时刻的计算出来的背景像素值；

μ_t-1是当前时间的像素平均值；

α是学习率；

p_t是当前像素值；

α=1/N，其中 N 为计算平均值的图像数量；

通过公式（1）得到背景图像的背景像素值，对于后续的每帧图像，计算图像中每个像素和背景图像中对应像素的差值，该差值即为背景差的前景图像。

进一步的，所述步骤3中，提取运动目标的前景图像的轮廓所采用的方法还包括将前景图像进行二值化。

进一步的，二值化的阈值取当前图像的平均值。

进一步的，所述步骤3中，为提取相对完整的运动轮廓，通过帧间差值法，提取运动目标的前景图像的轮廓，具体采用连续三帧的帧间差值法提取轮廓，简称三帧差值法，步骤如下：

（3-1）对相邻三幅图像，两两做差值，得到两幅差值图像；

（3-2）对两幅差值图像做或运算，得到前景图像的轮廓。

进一步的，所述步骤 5中，以块为单位，合并图像Pa和图像Pb上的分块组成最终的前景图像的步骤如下：

步骤 5-1：对于二值化后的背景差值视频图像序列和帧间差值视频图像序列，对每帧图像按照步骤2中的尺寸大小进行分块；

步骤 5-2：对于帧间差值图像，当块中包括像素值为 255 的点时，标识为保留块，记到其位置到帧间前景块数组中；

步骤 5-3：混合前景块，在背景差值图像中，保留帧间前景块数据组中的对应位置块，作为前景图像，剩余块为背景块，设置背景块像素值为 0，从而得到完整的前景图像。

进一步的，所述步骤 5中，以块为单位，合并图像Pa和图像Pb上的分块组成最终的前景图像的步骤如下：

步骤 5-1：对于二值化后的背景差值视频图像序列和帧间差值视频图像序列，对每帧图像按照32x32 大小进行分块；

步骤 5-2：对于帧间差值图像，当块中包括像素值为 255 的点时，标识为保留块，记到其位置到帧间前景块数组中；

步骤 5-3：混合前景块，在背景差值图像中，保留帧间前景块数据组中的对应位置块，作为前景图像，剩余块为背景块，设置背景块像素值为 0，从而得到完整的前景图像。

采用上述技术方案所产生的有益效果在于：

本发明提出了基于背景差值法和帧间差值法相结合的运动区域前景图像算法，首先使用背景差值法进行背景更新，得到运动物体的完整图像，再结合帧间差值法消除其中的干扰信息，从而得到更加完整的运动物体轮廓，有效去除了图像中的干扰信息，最大程度地检测到前景图像，能够方便工作人员的识别。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是基于背景差值法和帧间差值法优化算法示意图。

图2是背景差值法提取前景中要处理的图像。

图3是背景差值法提取前景中当前背景图像。

图4是对前景图像进行二值化后的图像。

图5是三帧差值法的工作原理示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合具体实施例对发明进行清楚、完整的描述，需要理解的是，术语“中心”、“竖向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在作业现场视频中工作人员识别系统中，需要解决的最核心的问题是如何在视频图像中间找到运动区域并识别出其中的工作人员。因此本实施例将对运动检测和作业现场工作人员识别两个最核心的算法进行分析和设计。

运动检测技术是视频图像处理的重要分支之一，现在已经被广泛使用于网络摄像机、汽车监控锁、婴儿监视器、自动取样仪、自识别门禁等众多安防仪器和民用设施上。运动检测是在指定区域能识别图像的变化，检测运动物体的存在，并避免由光线或环境变化带来的干扰。但是如何从视频图像中将变化区域从背景图像中成功提取出来，需要对视频图像中运动区域进行有效分割。然而，由于视频图像的背景图像经常会存在动态变化，如光照、天气、影子及混乱干扰等的影响，使得视频图像的运动检测成为一项相当困难的工作。

本实施例将结合视频图像中进行运动检测的算法，并在此基础上提出一种优化后的运动检测算法。

如图1所示，本实施例涉及一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法，其包括如下步骤：

步骤 1：通过背景差值法进行运动检测，提取到运动前景图像，记为图像 Pa；

步骤 2：对提取到的前景图像按某一尺寸进行分块，如 32×32；

步骤 3：通过帧间差值法，提取前景图像的轮廓，记为图像 Pb；

步骤 4：对提取到的前景轮廓图像进行分块，分块大小和步骤 2 中的相同；

步骤 5：以块为单位，合并图像 Pa和图像 Pb上的分块，合并原则如下：

（1）记录 Pb中存在的前景块，记录为块 B；

（2）保留 Pa中对应块 B 位置的前景块，记为块 A；

（3）所有块 A 组成最终的前景图像。

通过背景差值法进行运动检测，提取到运动前景图像的方法如下：

首先需要初始化背景图像，本方案中采用滑动平均值算法对图像的背景进行定期的更新。滑动平均值算法的计算公式如下：

式中：μ_t是 t 时刻的计算出来的背景像素值；

μ_t-1 ——是当前时间的像素平均值；

a——是学习率，决定了当前平均值的影响度；

P_t——是当前像素值。

a=1/N，其中 N 为计算平均值的图像数量，本例中考虑到作业现场监控图像的特性，即背景相对变化较小，取 N=100，即取 100 帧图像的平均值。通过以上公式得到背景图像，对于后续的每帧图像，计算图像中每个像素和背景图像中对应像素的差值，该差值即为背景差的前景图像。

对前景图像进行二值化，二值化的目的是图像增强，得到清晰的边缘轮廓，方便后续的图像分割和目标识别。二值化需要选取合适的阈值；阈值太小，当前图像和背景图像之间的正常变化会被误判为前景，阈值太大，前景中的细微运动被当作背景漏判。对于作业现场视频，考虑到天气变化和昼夜更替对背景图像的影响，二值化的阈值取当前图像的平均值；大于阈值设置为 255，小于阈值设置为0。如图2-图4所示。

为提取相对完整的运动轮廓，本方案采用连续三帧的帧间差值法提取轮廓。提取原理如图5所示。

三帧差值法的算法步骤如下：

（1）对相邻三幅图像，两两做差值，得到两幅差值图像；

（2）对两幅差值图像做 or 运算，得到较为完整的前景轮廓。

对背景差值法提取的前景和帧间差值法提取的前景进行合并，目的是消除背景差值中的噪声信息，同时增加帧间差值的轮廓信息。图像合并的步骤如下：

步骤 1：对于二值化后的背景差值视频图像序列和帧间差值视频图像序列，对每帧图像按照32x32大小进行分块。

步骤 2：对于帧间差值图像，当块中包括像素值为 255 的点时，标识为保留块，记到其位置到帧间前景块数组中。

步骤 3：混合前景块，在背景差值图像中，保留帧间前景块数据组中的对应位置块，作为前景图像，剩余块为背景块，设置背景块像素值为 0，为方便观察起见，测试过程中设置为灰度值 128 作为比对的背景，从而得到完整的前景图像。

下面进一步介绍本实施例的工作原理：

背景差值法假定视频图像背景是静止不变的，因此图像背景不随图像帧数而改变，以灰度值视频图像为例，背景差值法的计算公式如下：

ｄ(ｘ,ｙ)＝ｆ(ｘ,ｙ)－ｂ(ｘ,ｙ)

式中ｄ(ｘ,ｙ)——表示背景差值后的图像点；

ｆ(ｘ,ｙ)——表示图像各像素点；

ｂ(ｘ,ｙ)——表示背景图像各像素点。

在背景差值法中，背景图像建模的准确程度，会直接影响检测的效果。由于现实场景的复杂性、不可预知性、以及各种外部环境干扰和噪声的存在，如光照的突然变化、实际背景图像中有物体的运动、摄像机镜头的抖动、运动物体进出场景后对原场景的影响等，使得对背景进行准确地模拟和建模变得比较困难。因此，在实际检测过程中，需要对背景进行定期的更新，常用的定期更新背景的建模方法包括：

（1）中值法背景建模顾名思义，即在一段时间内，取视频图像中连续 N 帧图像序列，把这 N 帧视频图像序列中对应位置的像素点灰度值按从小到大进行排序，然后取其中的中间值作为背景图像中对应像素点的灰度值，对所有像素点按上述方法进行取值，最终得到的图像作为背景图像。

（2）均值法背景建模取视频图像中连续 N 帧图像序列，对于构建的背景图像中的每个像素点，取 N 帧视频图像序列中对应位置的像素点的像素平均值，作为背景图像对应像素点的值。这种算法对环境光照变化和一些动态背景变化比较敏感。

（3）卡尔曼滤波器模型该算法认为背景是一种相对稳定的系统，把前景图像认为是一种噪声，采用基于 Kalman 滤波理论的时域递归低通滤波，来预测变化缓慢的背景图像，通过卡尔曼滤波模型，既可以不断地用前景图像更新背景，又可以维持背景的稳定性从而最大程度地消除噪声的干扰。

（4）单高斯分布模型该模型的基本思想是，将视频图像中每一个像素点的灰度值看成是一个随机过程，并假设该点的某一像素灰度值出现的概率符合高斯分布。

（5）多高斯分布模型将背景视频图像的每一个像素点按多个高斯分布的叠加来建模，每种高斯分布可以表示一种背景场景，因此多个高斯模型混合使用就可以模拟出复杂场景中的多模态情形。

帧间差值法，是通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，该方法可以很好地适用于存在多个运动目标的情况。当视频图像中出现运动物体时，图像序列的帧与帧之间会出现较为明显的差别，两帧相减，可以得到两帧图像亮度差的绝对值，判断该绝对值是否大于阈值来分析视频图像序列的运动特性，从而来确定图像序列中是否有物体运动。对图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波处理。

帧间差值法的优点是：算法实现简单，程序设计复杂度低；对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好。其缺点是：不能提取出运动对象的完整区域，只能提取出边界轮廓；同时依赖于选择的帧间时间间隔。对快速运动的物体，需要选择较小的时间间隔，如果间隔选择不合适，当物体在前后两帧中没有重叠区域时，会被检测为两个分开的物体；而对慢速运动的物体，应该选择较大的时间间隔，如果时间选择不适当，当运动物体在前后两帧中几乎完全重叠时，则检测不到运动物体。

通过上述介绍可以知道，背景差值法的优点在于，可以获取完整的运动目标图像，但当背景变化时，需要及时更新，对于图像上细小的运动目标，差值结果中容易产生噪声。对于帧间差值法，该算法的优点在于，对动态环境有较强的自适应性；缺点是前景、背景区域的确定与阈值的选取有很大的关系，当灰度图像序列对比度较低时，由于相邻两帧的差（前景与背景之差）的范围很小，阈值难以选取，影响前景目标的分割结果。区域灰度值变化较为平坦时，容易在人体二值图像内产生空洞现象，给后续的目标分类和识别造成不便。

本实施例结合背景差值法和帧间差值法的特点，首先使用背景差值法进行背景更新，得到运动物体的完整图像，再结合帧间差值法消除其中的干扰信息，从而得到更加完整的运动物体轮廓。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (9)

1.一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法，其特征在于，包括如下步骤：

步骤 1：采用背景差值法进行运动检测，提取到运动目标的前景图像，记为图像 Pa；

步骤 2：对提取到的运动目标的前景图像Pa按某一尺寸进行分块；

步骤 3：采用帧间差值法，提取运动目标的前景图像的轮廓，记为图像Pb；

步骤 4：对提取到的运动目标的前景图像的轮廓图像Pb进行分块，分块大小和步骤 2中的尺寸相同；

步骤 5：以块为单位，合并图像Pa和图像Pb上的分块组成最终的前景图像。

2.根据权利要求1所述的一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法，其特征在于，所述步骤5中合并图像Pa和图像Pb上的分块组成最终的前景图像的方法如下：

（1）记录图像Pb中存在的前景块，记录为块B；

（2）保留图像Pa中对应块B位置的前景块，记为块A；

（3）所有块A组成最终的前景图像。

3.根据权利要求1所述的一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法，其特征在于，步骤2中，对提取到的前景图像按32×32进行分块。

4.根据权利要求1所述的一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法，其特征在于，所述步骤1中，通过背景差值法进行运动检测，提取到运动目标的前景图像的方法如下：

初始化背景图像，采用滑动平均值算法对图像的背景进行定期的更新；滑动平均值算法的计算公式（1）如下：

（1）

式（1）中：μ_t是 t 时刻的计算出来的背景像素值；

μ_t-1是当前时间的像素平均值；

α是学习率；

p_t是当前像素值；

α=1/N，其中 N 为计算平均值的图像数量；

通过公式（1）得到背景图像的背景像素值，对于后续的每帧图像，计算图像中每个像素和背景图像中对应像素的差值，该差值即为背景差的前景图像。

5.根据权利要求4所述的一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法，其特征在于，所述步骤3中，提取运动目标的前景图像的轮廓所采用的方法还包括将前景图像进行二值化。

6.根据权利要求5所述的一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法，其特征在于，二值化的阈值取当前图像的平均值。

7.根据权利要求1所述的一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法，其特征在于，所述步骤3中，通过帧间差值法，提取运动目标的景图像的轮廓的步骤如下：

（3-1）对相邻三幅图像，两两做差值，得到两幅差值图像；

（3-2）对两幅差值图像做或运算，得到前景图像的轮廓。

8.根据权利要求1或4或7任一所述的一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法，其特征在于，所述步骤 5中，以块为单位，合并图像Pa和图像Pb上的分块组成最终的前景图像的步骤如下：

步骤 5-1：对于二值化后的背景差值视频图像序列和帧间差值视频图像序列，对每帧图像按照步骤2中的尺寸大小进行分块；

步骤 5-2：对于帧间差值图像，当块中包括像素值为 255 的点时，标识为保留块，记到其位置到帧间前景块数组中；

步骤 5-3：混合前景块，在背景差值图像中，保留帧间前景块数据组中的对应位置块，作为前景图像，剩余块为背景块，设置背景块像素值为 0，从而得到完整的前景图像。

9.根据权利要求1或4或7任一所述的一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法，其特征在于，所述步骤 5中，以块为单位，合并图像Pa和图像Pb上的分块组成最终的前景图像的步骤如下：

步骤 5-1：对于二值化后的背景差值视频图像序列和帧间差值视频图像序列，对每帧图像按照32x32 大小进行分块；

步骤 5-2：对于帧间差值图像，当块中包括像素值为 255 的点时，标识为保留块，记到其位置到帧间前景块数组中；

步骤 5-3：混合前景块，在背景差值图像中，保留帧间前景块数据组中的对应位置块，作为前景图像，剩余块为背景块，设置背景块像素值为 0，从而得到完整的前景图像。