CN102096813A - 单目摄像机垂直视角下基于Blob的行人计数方法 - Google Patents

Abstract

本发明公开了一种单目摄像机垂直视角下基于Blob的行人计数方法，基于对行人Blob跟踪计数，由卡尔曼滤波器对行人Blob进行跟踪，并判断行人Blob的运动轨迹，克服了行人Blob分裂和合并带来的技术困难等难题，本发明避开了对行人进行分割的技术难题，提高了计数精度，适用于商场监控、紧急事件检测等领域。

Description

单目摄像机垂直视角下基于Blob的行人计数方法

技术领域

本发明属于图像处理领域和计算机视觉领域的技术，主要是指在单目摄像机垂直视角下的行人计数方法。 

背景技术

现有的行人计数方法一般可以分为两种：①基于摄像机斜视角的行人计数方法；②基于摄像机垂直视角的行人计数方法。在基于摄像机斜视角的行人计数方法中，摄像机拍摄角度一般置于45°左右的位置，通过获取行人的人体形状特征等信息先检测出每个行人，进而跟踪每个行人并实现计数。但是，当行人之间相互遮挡的情况比较严重时，这种方法就很难正确的区分行人，以至于行人检测失效，从而无法有效的实现行人计数。而在实际的应用环境中，行人之间的遮挡问题是普遍存在的，所以为了解决遮挡问题，基于摄像机垂直视角的行人计数方法得到了广泛的应用。现有的基于摄像机垂直视角的行人计数方法一般都要求精确的分割（检测）出行人，而目前多个行人精确分割技术还是个无法解决的难题。多个行人精确分割不准会很大程度上增大行人跟踪的难度，最终会明显降低行人计数的准确率。 

发明内容

本发明的目的在于提供一种单目摄像机垂直视角下基于Blob的行人计数方法，该方法技术精确，误差小。为实现上述目的，本发明采用的技术方案是： 单目摄像机垂直视角下基于Blob的行人计数方法，包括以下步骤： 

（1）对单目摄像机垂直视角下的行人采用背景差分法进行Blob前景检测；

（2）在步骤（1）的基础上，判断新进入视角内的行人Blob；

（3）对新进入视角内的行人Blob进行跟踪，将其加入跟踪队列；

（4）对步骤（3）跟踪的行人Blob进行计数，根据方向判断进入和出去的人数。

步骤（1）中得到的行人Blob采用聚类的方法，找出各个Blob连通区域并进行框定，求出每个框定的连通区域的质心位置；然后，假定任意两个连通区域框定的矩形框一个质心为c1，坐标为（x1,y1），另一个为c2，坐标为（x2,y2），质心为c1的矩形框长边为p1，短边为q1，质心为c2的矩形框长边为p2，短边为q2，如果满足以下公式，则聚为一类，属于同一个前景Blob。 

          

步骤（3）中，设定一个Blob面积阈值，将小于该阈值的Blob删除。

步骤（3）判断是否为新进入的行人Blob，采用以下步骤：a. 判断Blob是否已存在于跟踪队列中，若已存在于跟踪队列中，就不需要再进行判定了，直接将其删除；b. 在步骤a得出的结果上，对连续存在于五帧内的Blob进行判断，判断步骤为：Blob距离边界保持一定距离的情况下，通过发色和Blob的运动速度来判断Blob是否属于行人，然后将判定为新进入的行人Blob加入到跟踪队列中。 

步骤（3）中采用卡尔曼滤波器对Blob进行跟踪，对新进入视角的行人Blob赋予唯一的ID值，利用卡尔曼滤波器对跟踪的Blob下面几帧运动位置进行预测，如果下面几帧在预测的位置出现两个或以上行人Blob，对多出来的行人Blob块也赋予唯一的ID值。 

步骤（4）中行人计数的步骤如下： 

a. 确定计数区域：在监控区域中选定行人计数的区域；

b.判定Blob运动方向：利用Blob在连续几帧中的运动轨迹判定Blob的运动方向，即判定它是进入还是离开。

c.行人计数 

 根据前面判定的方向，当跟踪的Blob进入计数区域，计算出该Blob的面积，然后根据已统计好的单个Blob的合理面积，计算出该Blob中包含的人数，将其添加到全局统计人数上完成计数。

本发明的有益效果：本发明的行人计数方法，采用卡尔曼滤波器跟踪行人Blob，并通过预测下面几帧行人Blob的位置，来判断行人Blob的分裂和合并，精确地计算出进出方向的人数。 

基于单目摄像机垂直视角的行人计数方法是智能视频监控的一个重要组成部分，可以广泛应用于以下场合： 

1) 人流量统计：在安全需求比较高的地方,如银行、停车场等人流活动活跃的场所进行进、出人流量的统计。

2) 异常事件检测：在视频监控中对一些异常事件如跑动、徘徊、滞留等进行检测并自动报警。 

3) 公共场所拥挤状况检测：在一些公共场所，如公园、博物馆、商场进行客流量统计，协助管理人员有效的疏导和控制人流量。 

附图说明

图1.a-图1.b是采用背景差分法进行前景检测的结果； 

图2.a-图2.d是本发明采用聚类方法对前景检测图像处理的结果示意图；

图3.a-图3.d是本发明中行人Blob分裂的示意图；

图4.a-图4.d是本发明中行人Blob合并的示意图；

图5是本发明行人计数方法整体算法流程示意图；

图6是本发明行人侧面进入示意图；

图7是行人计数区域和运动方向示意图；

图8行人运动方向判断示意图。

具体实施例

本发明处理的基本单位是行人Blob。具体的实施方案分为4个阶段：行人Blob前景检测、新进入监控区域的行人Blob检测、行人Blob跟踪、Blob中行人计数。 

1. 对单目摄像机垂直视角下的行人采用背景差分法进行Blob前景检测； 

由于摄像机是固定摆设的，所以可以通过背景差分的方法来获取运动前景区域。经过背景差分的方法处理得到的就是行人Blob，由于在我们的系统中主要统计的是运动行人，所以对一直在监控区域中静止不动的行人没有计数。事实上，完全在监控区域中静止不动的行人是极少的，只要不是长时间静止不动，背景差分的方法就可以取得行人Blob。背景差分的方法已经比较成熟，我们采用的是Maddalena2008年发表在IEEE Trans on Image Processing上的文章“A Self-Organizing Approach to Background Subtraction for Visual Surveillance Applications”提到的方法。背景差分的效果如图：图1.a是原始图像，图1.b是背景差分后的二值前景图，图1.b中框定的部分是检测出的行人。

但是在某些情况下，例如光线变化比较剧烈时，背景差分的效果会受到一些影响，提取出的前景会出现比较大的空洞，用形态学的方法并不能有效的滤除，所以我们提出了一种简单的基于聚类的方法对背景差分的结果进行后处理。如图2.b所示，背景差分的结果并不理想，得到的前景图中有比较大的空洞，为了使得到的前景在出现部分分离的情况下也能识别为一个前景Blob，我们提出了一种简单有效的聚类方法。首先，我们在图2.b中找到各个连通区域并进行框定，如图2.c所示；然后，求出每个框定的连通区域的质心位置；最后，假定任意两个连通区域框定的矩形框一个质心为c1，坐标为（x1,y1），另一个为c2，坐标为（x2,y2）。质心为c1的矩形框长边为p1，短边为q1，质心为c2的矩形框长边为p2，短边为q2，如果满足公式以下的公式，则聚为一类，属于同一个前景Blob，最后的聚类结果如图2.d所示。 

            

2. 新进入监控区域的行人Blob检测

我们在前景检测中得到的掩模的基础上检测新进入场景的行人Blob。检测新目标的基本原则是：当连续多帧图像中包含该连通区域，且具有一致的合理的速度。

在本专利中，我们设定连通区域至少存在于连续5帧内才能考虑加入跟踪队列，具体的检测过程如下： 

1）首先，将一些面积小于合理值的Blob过滤掉，然后对剩下的Blob判断其是否已存在于跟踪队列中，若已存在于跟踪队列中，就不需要再在本模块中进行判定了，可以直接删除。判断标准是用跟踪队列中的Blob和新检测到的Blob进行匹配，匹配公式如下：

设新检测到的某一Blob的中心为(x1,y1)，长为h1，宽为w1；跟踪队列中的某一Blob的中心为(x2,y2)，长为h2，宽为w2。

             

                 (5-2-2) 

                               (5-2-3)

若公式（5-2-2）或者公式（5-2-3）两者中有一个成立的话，表明该Blob已经被跟踪了，不需要在本模块进行判断，应当将其删除。若遍历完跟踪队列中的每一个Blob，公式（5-2-2）和公式（5-2-3）都不成立，表明新帧中的该Blob是新进来的物体，需进行下一步的判断。                                                                                                                                 

2）对连续存在于五帧内的Blob我们对其合理性再进行判断。我们判断的准则依次为：Blob离边界的距离、Blob中是否包含人头以及Blob是否具有合理的运动速度。具体实施过程如下：

从第6帧到第10帧中，我们只使用前两个判断准则：Blob离边界的距离，Blob中是否包含有人头。若在前10帧中一直检测不出人头，我们就需要加入第三个判断准则，只要Blob满足准则一，并且满足准则二和三中的任意一个，那该Blob就被视为合理的Blob，需要加入跟踪列表。这样的Blob检测策略在准确性和实时性上都能取得较好的效果。

其中，三条准则的具体实现方式如下： 

准则一：Blob离边界的距离

Blob的中心离监控区域边界的距离至少是Blob的长或宽的1.5倍。

准则二：Blob中是否包含人头 

首先通过Hough变换找出前景中的圆，然后再判断找出的圆中是否符合发色特征，这里选择发色为黑色。发色选择黑色能解决绝大部分的情况，若碰到一些特殊的如光头、带帽、染色的特殊情况，Blob的合理性将有准则三来判断。

准则三：Blob是否具有合理的速度。 

我们维护着一个记录连续10帧的Blob中心的队列，同时使用第10帧后面的新帧来更新这个队列。然后用这些记录的Blob中心模拟一条直线方程，直线方程的斜率就是Blob的运动速度。如模拟出的直线方程为y = ax + b，我们就判断a的值是否合理。本专利中，我们选取监控区域的长度或宽度的1/10为阀值，大于该阀值的a被认为是合理的。 

经过最终的合理性判断后，我们将过滤剩下的这些Blob视为新进入监控区域的行人，将它们加入跟踪队列，在跟踪模块中进行处理。 

按上述策略的检测算法能取得较高的处理效率，能解决跑动、从检测区域侧面进入等复杂情况。如示意图6所示，当人从监控区域侧面边缘进来时，由于其在监控区域的帧相对较少，因此对算法的效率需要有较高的要求，本专利前面提出的算法能较好的处理这样的特殊情况。 

3．行人Blob跟踪 

3.1 Blob标号

在跟踪中，为了区别每个Blob，我们在每个Blob第一次出现在监控区域的时候，从1开始依次赋予唯一的ID号。实际上，整个跟踪过程就是在每一帧中分配给每个Blob正确的ID号。在连续的视频帧中我们第一次检测到的Blob肯定是第一次出现在监控区域，给它分配一个新的ID号，把所有得到的Blob的位置信息存入一个链表保存；之后，我们把下一帧检测到的所有Blob的位置信息存入第二个链表保存，如果和第一个链表中相对应的Blob位置之间有重合，则说明这个Blob是已经分配过ID了；否则，则认为这个Blob是新出现的，赋给一个新的ID号，因为连续的视频帧中同一个Blob肯定是相邻的，用同样的方法处理所有的视频帧。需要补充的是，我们在每一帧中都首先对所有得到的Blob根据面积大小进行了预处理，删掉了那些由于图像噪声产生的面积很小的区域。

3.2 Blob的分裂与合并 

我们可以把Blob的跟踪过程简单的分成两类：一类是Blob从进入监控区域到离开监控区域的过程一直没有发生分裂与合并的情况，不论这个Blob实际上包含了多少人，例如两个人相互靠着走过监控区域，实际上这个Blob就包含了两个人；另一类是Blob在经过监控区域的过程中发生了分裂与合并的情况，不论发生了多少次分裂与合并。

  第一类问题比较简单，我们可以看作是单目标的跟踪问题，很多文献中都做了详细的介绍，可以通过卡尔曼滤波器预测或是基于颜色直方图、面积、坐标等混合信息解决。第二类问题比较复杂，涉及到了多目标相互之间的分裂与合并，接下来我们将针对这种情况给出我们的解决方法。 

3.2.1 Blob分裂 

如果前景Blob中含有多人，在监控区域内有由于人的运动方向和行走速度的不同，那么这个大的Blob就会分解成几个小的Blob，例如在图3所表示的实际场景中，图3.a检测到的大Blob就会分裂成两个小Blob，如图3.b所示，这就会对准确的跟踪Blob带来困难。

假设当前帧我们检测到了一个大Blob，如果下一帧我们检测到了多个小的Blob，我们通过卡尔曼滤波器预测下一帧大Blob可能出现的位置，这时预测的到的Blob位置可能与检测到的多个小的Blob中的一个或几个相重合。前文我们提过，Blob跟踪的过程就是解决如何分配ID号的问题，我们的方法是：假设大的Blob的ID为x, 分裂后检测到的所有小的Blob共n个，那么分裂后检测到的所有小的Blob的ID号为x，x+1，…….x+n-1，其中ID号与原来的大Blob的ID号相同的是与预测相重合的小Blob中的任意一个，如图3.c和图3.d所示。为了看得比较清楚，我们选取了实验过程中的第72帧和第78帧来说明，而没有取连续的两帧。可以看到，ID为2的大Blob分裂成了ID分别是2和3的小Blob。 

在Blob分裂的过程中，读者可能产生疑问的是如果是两个人面对面的分裂开来情况会怎样，由于每个Blob都带有方向信息，在没有相遇前，他们都有各自的ID号。卡尔曼滤波器在预测的时候已经考虑到了方向，所以其实在两人面对面相遇时，即使是在检测到的同一个大Blob中，他们的ID号并没有变，分裂后还是保持原来各自的ID号。 

3.2.2 Blob合并 

  Blob合并也是Blob跟踪过程中可能碰到的问题。由于行人运动方向是任意的，当他们相互靠近时，就会出现多个小Blob合并成一个大Blob的情况。例如在图4所表示的实际场景中，图4.a检测到的两个小Blob就会合并成一个大Blob，如图4.b所示，这也会对准确的跟踪Blob带来困难。

    我们每检测到一个新出现的Blob，就会给它赋一个唯一的ID号，并且通过卡尔曼滤波器去预测每个Blob下一帧可能出现的位置，这个预测的过程是带了方向信息的。如图4.c所示，ID分别是5和6的两个Blob是在第25帧检测到的，到了第28帧的时候，两个小的Blob就合并成了一个大的Blob，如图4.d所示。我们要解决的问题是如何去分配合并成的大的Blob的ID号。我们开始考虑的是给这个合并成的大Blob另外分配一个ID号，这样带来的问题是ID号的分配很混乱，合并成的大Blob必须记录下原来的每个小Blob的信息。在多次分裂和合并的情况下，就很难控制好ID号的分配，也给怎样使整个计数系统能够清晰计数带来了问题。 

    为了使整个Blob跟踪的过程中ID号清晰的分配，我们希望合并之前的小Blob在合并成大Blob之后，仍然能够保持原来的ID号，直到离开监控区域或者这个大Blob重新分裂成多个小Blob，也就是达到图4.d所示的效果。 

我们以ID为6的小Blob来说明我们的方法。一旦当前帧检测到的Blob的面积明显的大于前一帧预测到的Blob的面积，而且两者发生了重叠，我们就认为有多个小Blob刚刚合并成了一个大Blob。在图4.c所示的场景中就是ID为5和ID为6的两个小Blob刚刚合并成了一个大Blob。这种情况下，我们把预测的位置作为Blob当前帧所在的位置，ID号也不用改变。再接下去的合并跟踪的所有帧中，我们都是把预测的位置作为匹配上的位置，一直到预测的Blob的面积和检测到的Blob面积比例接近1时，我们认为合并成的大Blob发生了分裂。根据这种办法，我们保证了合并跟踪时原来的每个小Blob仍然保持了合并前的ID号。 

4．Blob中行人计数 

由于我们的摄像机高度一定，前景中检测到的每个行人的Blob大小基本一致，因此行人计数的核心是使用面积来统计进出Blob中行人的个数。具体过程如下所示：

1）确定计数区域

我们在监控区域中选定行人计数的区域，当跟踪Blob处于计数区域时，我们就对其进行计数。

在本专利中，我们选定计数区域的方式如下：设Blob中心在Y轴方向上离边界(该边界是Blob运动方向上的边界)距离为d，Blob的高度为h，我们选定的计数区域为：1.05*h/2 < d < 1.8*h/2。如图7所示。 

2）判定Blob运动方向 

利用Blob在连续几帧中的运动轨迹判定Blob的运动方向，即判定它是进入还是离开。如示意图所示，我们使用该Blob的连续3帧，判断第三帧和第一帧间的位置关系。从Blob在第一和第三帧中沿Y轴方向上的位置可以判断其运动方向，其中示意图8所示的运动方向是从室外进入室内。

3）计数 

 根据前面判定的方向，当跟踪的Blob进入计数区域，我们计算该Blob的面积，然后根据已统计好的单个Blob的合理面积，计算出该Blob中包含的人数，将其添加到全局统计人数上完成计数。最后从跟踪队列中删除该跟踪的Blob。

最后应说明的是：以上所述仅为本发明的实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (6)

1.单目摄像机垂直视角下基于Blob的行人计数方法，其特征在于，包括以下步骤：

（1）对单目摄像机垂直视角下的行人采用背景差分法进行Blob前景检测；

（2）在步骤（1）的基础上，判断新进入视角内的行人Blob；

（3）对新进入视角内的行人Blob进行跟踪，将其加入跟踪队列；

（4）对步骤（3）跟踪的行人Blob进行计数，根据方向判断进入和出去的人数。

2.根据权利要求1所述的行人计数方法，其特征在于，对由步骤（1）中得到的行人Blob采用聚类的方法，找出各个Blob连通区域并进行框定，求出每个框定的连通区域的质心位置；然后，假定任意两个连通区域框定的矩形框一个质心为c1，坐标为（x1,y1），另一个为c2，坐标为（x2,y2），质心为c1的矩形框长边为p1，短边为q1，质心为c2的矩形框长边为p2，短边为q2，如果满足以下公式，则聚为一类，属于同一个前景Blob。

          

3.根据权利要求2所述的行人计数方法，其特征在于，步骤（3）中，设定一个Blob面积阈值，将小于该阈值的Blob删除。

4.根据权利要求3所述的行人计数方法，其特征在于，步骤（3）判断是否为新进入的行人Blob，采用以下步骤：a. 判断Blob是否已存在于跟踪队列中，若已存在于跟踪队列中，就不需要再进行判定了，直接将其删除；b. 在步骤a得出的结果上，对连续存在于五帧内的Blob进行判断，判断步骤为：Blob距离边界保持一定距离的情况下，通过发色和Blob的运动速度来判断Blob是否属于行人，然后将判定为新进入的行人Blob加入到跟踪队列中。

5.根据权利要求4所述的行人计数方法，其特征在于，步骤（3）中采用卡尔曼滤波器对Blob进行跟踪，对新进入视角的行人Blob赋予唯一的ID值，利用卡尔曼滤波器对跟踪的Blob下面几帧运动位置进行预测，如果下面几帧在预测的位置出现两个或以上行人Blob，对多出来的行人Blob块也赋予唯一的ID值。

6.根据权利要求1所述的行人计数方法，其特征在于，步骤（4）中行人计数的步骤如下：

a. 确定计数区域：在监控区域中选定行人计数的区域；

b.判定Blob运动方向：利用Blob在连续几帧中的运动轨迹判定Blob的运动方向，即判定它是进入还是离开；

c.行人计数

    根据前面判定的方向，当跟踪的Blob进入计数区域，计算出该Blob的面积，然后根据已统计好的单个Blob的合理面积，计算出该Blob中包含的人数，将其添加到全局统计人数上完成计数。

Images