CN104933412B - 中高密度人群的异常状态检测方法 - Google Patents
中高密度人群的异常状态检测方法 Download PDFInfo
- Publication number
- CN104933412B CN104933412B CN201510332969.3A CN201510332969A CN104933412B CN 104933412 B CN104933412 B CN 104933412B CN 201510332969 A CN201510332969 A CN 201510332969A CN 104933412 B CN104933412 B CN 104933412B
- Authority
- CN
- China
- Prior art keywords
- crowd
- mrow
- video image
- surveillance video
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 36
- 230000003542 behavioural effect Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000003595 spectral effect Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 abstract description 12
- 238000004220 aggregation Methods 0.000 abstract description 12
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 230000006399 behavior Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种中高密度人群的异常状态检测方法，首先对特征点提取和跟踪，根据特征点在前一帧和当前帧监控视频图像的坐标计算特征点的速度，然后采用图分析得到特征点间的行为一致性，基于行为一致性剔除离散点，对剩余特征点进行聚类，然后计算聚类中所有特征点的人群聚集度、人群运动强度、人群运动方向方差，然后根据若干帧监控视频图像中这三个参数以及人群聚类数量的大小和增幅判断人群的异常状态。本发明基于图分析法进行人群状态分析，实现对人群疏散状态、人群聚集状态和人群骚乱状态三种人群状态的检测。
Description
技术领域
本发明属于人群聚集状态检测领域，更为具体地讲，涉及一种中高密度人群的异常状态检测方法。
背景技术
随着人们生活水平的提高以及精神文化需求的发展，规模大而高度密集的人群随处可见：商场、寺庙、火车站以及各种各样庆祝活动中。这些公共场所具有的空间有限，却常常出现人山人海、熙熙攘攘的景象，其背后隐藏着巨大的安全隐患，其中，游行、群殴、踩踏等性质严重的人群异常状态发生频率更是在迅速增加，给人们的生命财产安全带来了严重的损害。因此面对严峻的形势，如何有效的预防人群异常状态的发生、控制事故发展是一个重大的科研课题和社会课题，此外，中高密度人群异常状态的检测具有极大的现实意义，可以应用到公共安全领域中，及时发现检测区域的异常状态，最大限度减少公众的人身与财产损失。
中高密度人群的异常状态检测与低密度或个体的异常行为检测有着显著的不同。中高密度场景中大量的人相互影响导致冲突、碰撞发生的频率更高，运动目标目标模糊、相互遮挡，并且不同人员的行为方式也更为复杂，这些都使得中高密度人群状态的检测更为复杂。
目前，传统的人群异常状态检测算法主要存在以下不足：1)检测的群体对象非常局限。一方面，局限于某个或某种场景下的人群异常状态检测；另一方面，局限于小群体聚集研究，如场景中整体或局部的人群目标人数不多于50个，且经常性人群密度小于1p/m2。2)算法本身参数复杂，参数的选择是否得当，直接影响算法的检测结果。3)算法往往受限于行人间的遮挡、拥挤、低分辨率等因素，并且忽视了行人间的相互作用。
发明内容
本发明的目的在于克服现有技术的不足，提供一种中高密度人群的异常状态检测方法，基于图分析法进行人群状态分析，实现对人群疏散状态、人群聚集状态和人群骚乱状态三种人群状态的检测。
为实现上述发明目的，本发明中高密度人群的异常状态检测方法，包括以下步骤：
S1：获取被检测场所的监控视频图像作为检测样本，将其中若干张图像的平均图像作为背景图像；
S2：根据步骤S1得到的背景图像对每帧监控视频图像提取特征点并进行跟踪，记当前监控视频图像t中和前一帧监控视频图像t-1匹配的有效特征点数量为n，特征点集C＝[p1,p2…pn]；根据n个特征点在监控视频图像t和前一帧监控视频图像t-1中的坐标计算得到第i个特征点pi的速度)，i的取值范围为i＝1,2,…,n；
S3：对步骤S2得到的特征点进行图分析，得到特征点的行为一致性，具体步骤为：
S3.1：根据特征点坐标之间的距离，采用KNN算法得到聚类中每个特征点的K个邻接特征点集合；
S3.2：根据步骤S3.1中得到的各个特征点的邻接特征点集合建立的人群网络图G，每个特征点作为人群网络图中的节点，特征点与其邻接特征点连接，与其非邻接特征点不连接；
S3.3：计算各个特征点之间的行为相似度，对于特征点pi，特征点pj与其行为相似度ωt(i,j)的计算公式为：
其中，Ct(i,j)是特征点pi和pj的速度夹角余弦值，N(i)指特征点pi的K个邻接特征点集合；
将行为相似度ωt(i,j)作为人群网络图G中对应两个特征点连线的权重，从而得到加权邻接矩阵W；
S3.4：计算得到矩阵Ζ＝(I-zW)-1-I，其中I为单位矩阵，z为预设的常数，取值范围为0＜z＜1/ρ(Wk)，ρ(Wk)表示Wk的谱半径；矩阵Ζ中的元素z(i,j)为特征点pi与pj的行为一致性；
S4：对矩阵Z进行阈值化处理，得到二值矩阵Y，其方法为：
其中，y(i,j)表示二值化的一致性，ε表示预设的阈值；
S5：基于一致性进行特征点聚类，具体步骤包括：
S5.1：从二值矩阵Y中剔除与其他所有特征点的元素y(i,j)＝0的特征点，将剩余的特征点构成集合P′；
S5.2：令特征点类的序号M＝1；
S5.3：初始化类集合CM为空集，从P′中取出一个特征点记为p1′加入类CM，遍历P′中其他所有特征点，判断各特征点与p1′的二值化一致性是否等于1，如果是，则此特征点属于类CM，否则不属于类CM；然后继续以类CM中新增特征点为基准，判断集合P′中其他所有特征点与新增特征点的二值化一致性是否等于1，如果是，则此特征点属于类CM，否则不属于类CM；如此循环，直到类CM不再有新增特征点为止；
S5.4：令P′＝P′-CM，判断P′是否为空集，如果是，聚类结束，此时的M即为聚类数量，如果不是，令M＝M+1，返回步骤S5.3。
S6：计算人群聚集度Φ，计算公式为：
其中，W′表示M个聚类中所有特征点的邻接矩阵，e表示单位列向量，n′表示M个聚类中包含的特征点的总数；
计算M个聚类中所有特征点的平均运动速度大小，作为人群运动强度V；然后计算M个聚类中所有特征点的运动方向方差，作为人群运动方向方差σ，
S7：如果人群聚集度、人群运动强度、人群运动方向方差和人群聚类数量分别满足以下条件，则该监控视频图像中的人群状态为人群疏散状态：监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度ΔΦ＝Φt-Φt-α＞ΦT1，ΦT1为人群聚集度增幅阈值，α表示预设的监控视频图像间隔帧数；监控视频图像t-α到当前监控视频图像t中平均人群运动强度Vτ表示监控视频图像τ的人群运动强度，VT表示预设的人群运动强度阈值；监控视频图像t-α到当前监控视频图像t中平均人群运动方向方差στ表示监控视频图像τ的人群运动方向方差，σT1表示预设的人群运动方向方差阈值；监控视频图像t-α到当前监控视频图像t中平均人群聚类数量Mτ表示监控视频图像τ的人群聚类数量，MT表示预设的人群聚类数量阈值；
如果人群聚集度、人群运动强度、人群运动方向方差和人群聚类数量分别满足以下条件，则该监控视频图像中的人群状态为人群聚集状态：监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度ΔΦ＞ΦT1；监控视频图像t-α到当前监控视频图像t中平均人群运动强度监控视频图像t-α到当前监控视频图像t中平均人群运动方向方差监控视频图像t-α到当前监控视频图像t中平均人群聚类数量
如果人群聚集度、人群运动强度、人群运动方向方差和人群聚类数量分别满足以下条件，则该监控视频图像中的人群状态为人群骚乱状态：监控视频图像t-α到当前监控视频图像t中平均人群聚集度其中ΦT2表示预设的人群聚集度阈值；监控视频图像t-α到当前监控视频图像t中平均人群运动强度监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度Δσ＝σt-σt-α＞σT2,σT2表示人群运动强度增幅阈值；监控视频图像t-α到当前监控视频图像t中平均人群聚类数量
本发明中高密度人群的异常状态检测方法，首先对特征点提取和跟踪，根据特征点在前一帧和当前帧监控视频图像的坐标计算特征点的速度，然后采用图分析得到特征点间的行为一致性，基于行为一致性剔除离散点，对剩余特征点进行聚类，然后计算聚类中所有特征点的人群聚集度、人群运动强度、人群运动方向方差，然后根据若干帧监控视频图像中这三个参数以及人群聚类数量的大小和增幅判断人群的异常状态。
本发明具有以下有益效果：
(1)没有局限于固定场景，能够广泛应用于不同场景下的中高密度人群检测中；
(2)现有人群异常状态检测算法一般着眼于人群的个体或像素角度的分析，忽略人群行人间的相互作用，不能宏观且准确的分析人群状态，本发明采用图分析法检测人群异常状态，将人群状态检测主要问题看作是一个网络图的节点间一致性准则定义问题，该方法不仅将行人间的相互作用纳入检测中，而且不受限于行人间的遮挡、拥挤、低分辨率等因素；
(3)由于现实场景中人群的个体往往相互聚集成簇形成群体，在簇内部表现出相似的特征，簇对外表现出较为统一的特征。此外，传统聚类算法往往需要大量的训练样本，或者预先设定的聚类数目，参数复杂。本发明的聚类算法属于非监督聚类算法，简单易行。
附图说明
图1是本发明中高密度人群的异常状态检测方法的流程图；
图2是人群特征点图分析流程图；
图3是基于一致性进行特征点聚类的流程图；
图4是视频1的四个特征统计示意图；
图5是视频1中具有代表性的视频帧；
图6是视频2的四个特征统计示意图；
图7是视频2中具有代表性的视频帧；
图8是视频3的四个特征统计示意图；
图9是视频3中具有代表性的视频帧。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明中高密度人群的异常状态检测方法的流程图。如图1所示，本发明中高密度人群异常状态检测方法包括以下步骤：
S101：获取检测样本图像：
获取被检测场所的监控视频图像作为检测样本，将其中若干张图像的平均图像作为背景图像。
S102：特征点轨迹跟踪并计算速度：
根据步骤S101得到的背景图像对每帧监控视频图像提取特征点并进行跟踪，记当前监控视频图像t中和前一帧监控视频图像t-1匹配的有效特征点数量为n，即特征点集C＝[p1,p2…pn]。将n个特征点在监控视频图像t和前一帧监控视频图像t-1中的坐标分别记为(xi,t,yi,t)、(xi,t-1,yi,t-1)，i的取值范围为i＝1,2,…,n，计算特征点速度其中Δxi＝xi,t-xi,t-1，Δyi＝yi,t-yi,t-1，Δt表示两帧监控视频图像的时间间隔。
本实施例采用基于KLT的特征点跟踪法，其具体方法为：对前一帧监控视频图像t-1筛选有效特征窗口，选取能够可靠跟踪的窗口，然后根据由KLT得到的特征窗口位移d＝(Δx,Δy)找出特征点在当前监控视频图像t中的对应特征点，并根据KLT仿射模型剔除和背景点集距离相近的特征点，从而得到有效特征点。基于KLT的特征点跟踪法的详细说明可以参见Jianbo Shi and Carlo Tomasi.Good Features to Track.IEEE Conference onComputer Vision and Pattern Recognition,pages 593-600,1994。
S103：通过图分析得到特征点的行为一致性：
接下来根据步骤S102检测得到的人群特征点及其运动信息，构建人群网络图，并对人群特征点进行图分析。图2是人群特征点图分析流程图。如图2所示，本发明中人群特征点图分析包括以下步骤：
S201：获取邻接特征点集合：
根据特征点坐标之间的距离，采用KNN算法，即K近邻分类(k-nearest neighborclassification)算法，得到聚类中每个特征点的K个邻接特征点集合，即前K个距离最近的特征点，K的值根据实际情况设置。KNN算法是一种常用算法，其详细步骤在此不再赘述。
S202：生成人群网络图：
根据步骤S201中得到的各个特征点的邻接特征点集合建立人群网络图G＝(V,E,W)，每个特征点作为人群网络图中的节点，特征点与其邻接特征点连接，与其非邻接特征点不连接。V表示特征点集合，E表示边的集合，W表示加权邻接矩阵。可见，在不同时刻(即不同监控视频图像中)，步骤S201得到的各个特征点的K个邻接特征点集合是变化的，因此得到的人群网络图是时变的。
S203：计算特征点间的行为相似度：
记两个特征点分别为pi、pj，i、j的取值范围为i＝1,2,…,n、j＝1,2,…,n。如果pj是pi的邻接特征点，即pj∈N(i)，N(i)指特征点pi的K个邻接特征点集合，则特征点pj与特征点pi在当前监控视频图像t的行为相似度ωt(i,j)的计算公式为：
ωt(i,j)＝max(Ct(i,j),0)
Ct(i,j)是特征点pi和pj在当前监控视频图像t的速度相关性，即特征点pi和pj的速度夹角余弦值，|| ||为求模运算符，上标T表示转置，。
如果pj不是pi的邻接特征点(包括j＝i)，则ωt(i,j)＝0。
行为相似度ωt(i,j)即作为人群网络图Gk中对应两个特征点连线的权重，从而得到加权邻接矩阵W。
S204：计算特征点间的行为一致性：
两个邻接特征点的行为一致性可以用行为相似度来表征，而非邻接特征点则不能。在人群网络图中，特征点pi与其非邻接特征点pj间虽然不能直接计算行为相似度，但是通过人群网络图，可以得到两个非邻接特征点之间的路径，通过该路径上邻接特征点的行为相似度，可以间接得到非邻接牲点间的一致性。特征点pi与其非邻接特征点pj间的行为一致性可以通过下式计算：
其中，z为预设的常数，取值范围为0＜z＜1/ρ(W)，ρ(W)表示W的谱半径，νl(i,j)表示特征点pi与其非邻接特征点pj所有的具有相同长度l的不同路径的行为一致性，其计算公式为：
其中，表示非邻接特征点pi与pj在长度为l的指定路径rl下的行为一致性，Ρl表示特征点pi与pj所有的长度为l的路径的集合，路径长度l是指两个特征点间间隔的特征点个数。νl(i,j)就是矩阵Wl的对应边的权值，Wl表示加权邻接矩阵W的l次幂，l的取值范围是l＝1,2,…,+∞。可以证明，
各特征点的路径长度l的特征点pi的个体聚集度为：
其中，C表示特征点集合，e为单位列向量，[Wle]i表示矩阵[Wle]的第i个元素。
从而可以得到特征点pi的个体聚集度其中[Ζe]i表示矩阵[Ζe]的第i个元素，Ζ＝(I-zW)-1-I，其中I为单位矩阵，z为预设的常数，当0＜z＜1/ρ(W)时Z矩阵收敛，ρ(W)表示W的谱半径。
人群的整体聚集度Φ为包含的个体的聚集度的均值，其计算公式为：
其中，N表示人群特征点的数量，根据实验分析，选择最鲁邦的参数K＝20，z＝0.05，即Φ上限为1。
在计算聚集度中所采用的矩阵Ζ中的每个元素z(i,j)即为需要计算的特征点pi与pj的行为一致性因此本发明通过计算矩阵Ζ来得到特征点间的行为一致性。
S104：一致性矩阵二值化：
对矩阵Z进行阈值化处理，得到二值矩阵Y，其方法为：
其中，y(i,j)表示二值化的一致性，ε表示预设的阈值。即如果特征点间的行为一致性z(i,j)＜ε，则认为两个特征点不相关，设定二值矩阵Y中元素y(i,j)的值为0；反之，则认为两个特征点相关，设定二值矩阵Y中元素y(i,j)的值为1。由于那么阈值ε应当设置为：
其中，λ为预设的参数，取值范围为0＜λ＜1。本实施例中设置λ＝0.6。
如果一个特征点与其他所有特征点的行为一致性都较低，说明此点为离散点，通过二值矩阵Y可以很容易得到离散点。
S105：基于行为一致性进行特征点聚类：
根据二值矩阵Y中各元素的值，也就是各特征点之间的二值化的一致性，对特征点进行聚类。图3是基于行为一致性进行特征点聚类的流程图。如图3所示，基于一致性进行特征点聚类的具体步骤为：
S301：从二值矩阵Y中剔除与其他所有特征点的元素y(i,j)＝0的特征点，也就是剔除离散点，将剩余的特征点构成集合P′。
S302：令特征点类的序号M＝1。
S303：得到类CM：
初始化类集合CM为空集，从P′中取出一个特征点记为p1′加入类CM，遍历P′中其他所有特征点，判断各特征点与p1′的二值化一致性是否等于1，如果是，则此特征点属于类CM，否则不属于类CM；然后继续以类CM中新增特征点为基准，判断集合P′中其他所有特征点与新增特征点的二值化一致性是否等于1，如果是，则此特征点属于类CM，否则不属于类CM；如此循环，直到类CM不再有新增特征点为止。
S304：令P′＝P′-CM，即从集合P′中去除属于类CM的特征点。
S305：判断P′是否为空集，如果是，聚类结束，此时的M即为聚类数量，如果不是，进入步骤S5.6。
S306：令M＝M+1，返回步骤S303。
为减小计算负担并且进一步提高人群异常状态检测准确度，可以设定阈值ζ，将特征点数量小于ζ的类剔除，并重新统计人群聚类结果，以此时的聚类数量作为M。阈值ζ的大小可以根据实际情况进行确定，本实施例中设定ζ＝2％×n，n表示为当前监控图像帧的特征点总个数。
S106：基于聚类计算人群特征：
本发明中人群特征包括四类：人群聚类数量M、人群聚集度、人群运动强度和人群运动方向方差。
本发明中用于人群状态判断的人群聚集度Φ是M个聚类中所包含的各个特征点的聚集度的均值，当前监控视频图像t的人群聚集度Φt的计算公式为：
其中，W′表示M个聚类中所有特征点的邻接矩阵，n′表示M个聚类中包含的特征点的总数，上标“-1”表示求逆矩阵。
人群运动强度V是人群运动速度的均值，主要由M个聚类中所有特征点的速度决定，计算公式为：
其中，vk代表特征点k的运动速度，n′表示M个聚类中包含的特征点的总数。
人群运动方向方差主要由聚类后的特征点角度决定。特征点的角度为特征点速度向量与x轴的夹角，取值范围为0至360度，将360度范围平均划分为Q个子区间。对于M个聚类中每个聚类，分别统计每个子区间中特征点的数量，并按特征点数量从大到小进行排序，选择前γ个子区间中的特征点，γ的取值根据实际情况确定。然后计算第m个聚类的平均运动方向Am，计算公式为：
其中，Angm(d)表示第m个聚类中所选择γ个子区间中第d个子区间中所有特征点的平均运动方向。
人群运动方向方差即为不同聚类的运动方向方差，计算公式为：
其中，表示M个聚类的平均运动方向Am的均值，即M个聚类中所有特征点的平均运动方向。
S107：人群异常状态分析：
本发明对三种人群异常状态进行检测，包括人群疏散状态、人群聚集状态和人群骚乱状态，每种状态的判别方式为：
本发明的人群疏散状态指大量的行人在某种特殊情况下方向一致性的快速行进。其特征表现为：(1)随着时间增加，人群聚集度逐渐增大；(2)人群运动强度较大；(3)运动方向统一，即运动方向方差较小；(4)人群个体人员的运动较为一致，即聚类数目非常少。对应的量化的判别标准为：监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度ΔΦ＝Φt-Φt-α＞ΦT1，ΦT1为人群聚集度增幅阈值，α表示预设的监控视频图像间隔帧数；监控视频图像t-α到当前监控视频图像t中平均人群运动强度Vτ表示监控视频图像τ的人群运动强度，VT表示预设的人群运动强度阈值；监控视频图像t-α到当前监控视频图像t中平均人群运动方向方差στ表示监控视频图像τ的人群运动方向方差，σT1表示预设的人群运动方向方差阈值；监控视频图像t-α到当前监控视频图像t中平均人群聚类数量Mτ表示监控视频图像τ的人群聚类数量，MT表示预设的人群聚类数量阈值。
本发明的人群聚集状态指由于某个共同目标的指引，从四面八方不断的涌现人群同一时间向着同一目标行进。其特征表现为：(1)随着时间增加，人群聚集度逐渐增大；(2)人群运动强度较大；(3)运动方向杂乱，即运动方向方差较大；(4)聚类数目较多。对应的量化的判别标准为：监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度ΔΦ＞ΦT1；监控视频图像t-α到当前监控视频图像t中平均人群运动强度监控视频图像t-α到当前监控视频图像t中平均人群运动方向方差监控视频图像t-α到当前监控视频图像t中平均人群聚类数量
本发明的人群骚乱状态指在某些特定事件发生后，引发的不可控场面。其特征表现为：(1)人群聚集度较高；(2)人群运动强度较大；(3)随着时间增加，运动方向方差逐渐增大；(4)聚类数目较多。对应的量化的判别标准为：监控视频图像t-α到当前监控视频图像t中平均人群聚集度其中ΦT2表示预设的人群聚集度阈值；监控视频图像t-α到当前监控视频图像t中平均人群运动强度监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度Δσ＝σt-σt-α＞σT2,σT2表示人群运动强度增幅阈值；监控视频图像t-α到当前监控视频图像t中平均人群聚类数量
人群可能还存在其他的状态，本发明中仅对人群疏散状态、人群聚集状态和人群骚乱状态三种异常状态进行检测。
为验证本发明提出的算法的准确性，本发明选取了三个已知存在人群异常状态的视频，其中视频1是马路中的人群疏散，视频2是过街电梯附近的人群聚集，视频3是街道中的人群骚乱三个视频。视频组的时间序列图片大小为720*480。设置监控视频图像间隔帧数α＝50，阈值ΦT1＝0.2，ΦT2＝0.5，VT＝0.6，σT1＝40，σT2＝30，MT＝2。
图4是视频1的四个特征统计示意图。图5是视频1中具有代表性的视频帧。采用本发明方法判断得到视频1中人群状态为疏散状态。图6是视频2的四个特征统计示意图。图7是视频2中具有代表性的视频帧。采用本发明方法判断得到视频1中人群状态为聚集状态。图8是视频3的四个特征统计示意图。图9是视频3中具有代表性的视频帧。采用本发明方法判断得到视频1中人群状态为骚乱状态。可见，本发明的人群状态检测结果与三种已知状态的人群特征基本一致，从而验证了本发明技术方案的准确性和有效性。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (3)
1.一种中高密度人群的异常状态检测方法，其特征在于，包括以下步骤：
S1：获取被检测场所的监控视频图像作为检测样本，将其中若干张图像的平均图像作为背景图像；
S2：根据步骤S1得到的背景图像对每帧监控视频图像提取特征点并进行跟踪，记当前监控视频图像t中和前一帧监控视频图像t-1匹配的有效特征点数量为n，特征点集C＝[p1,p2…pn]；根据n个特征点在监控视频图像t和前一帧监控视频图像t-1中的坐标计算得到第i个特征点pi的速度i的取值范围为i＝1,2,…,n，Δxi＝xi,t-xi,t-1，Δyi＝yi,t-yi,t-1，Δt表示两帧监控视频图像的时间间隔，(xi,t,yi,t)、(xi,t-1,yi,t-1)分别表示特征点在监控视频图像t和前一帧监控视频图像t-1中的坐标；
S3：对步骤S2得到的特征点进行图分析，得到特征点的行为一致性，具体步骤为：
S3.1：根据特征点坐标之间的距离，采用KNN算法得到聚类中每个特征点的K个邻接特征点集合；
S3.2：根据步骤S3.1中得到的各个特征点的邻接特征点集合建立的人群网络图G，每个特征点作为人群网络图中的节点，特征点与其邻接特征点连接，与其非邻接特征点不连接；
S3.3：计算各个特征点之间的行为相似度，对于特征点pi，特征点pj与其行为相似度ωt(i,j)的计算公式为：
<mrow>
<msub>
<mi>&omega;</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>C</mi>
<mi>t</mi>
</msub>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mn>0</mn>
<mo>)</mo>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>j</mi>
<mo>&NotElement;</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，Ct(i,j)是特征点pi和pj的速度夹角余弦值，N(i)指特征点pi的K个邻接特征点集合；
将行为相似度ωt(i,j)作为人群网络图G中对应两个特征点连线的权重，从而得到加权邻接矩阵W；
S3.4：计算得到矩阵Z＝(I-zW)-1-I，其中I为单位矩阵，z为预设的常数，取值范围为0＜z＜1/ρ(Wk)，ρ(Wk)表示Wk的谱半径；矩阵Z中的元素z(i,j)为特征点pi与pj的行为一致性；
S4：对矩阵Z进行阈值化处理，得到二值矩阵Y，其方法为：
<mrow>
<mi>y</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>z</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<mi>&epsiv;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>z</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo><</mo>
<mi>&epsiv;</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，y(i,j)表示二值化的一致性，ε表示预设的阈值；
S5：基于一致性进行特征点聚类，具体步骤包括：
S5.1：从二值矩阵Y中剔除与其他所有特征点的元素y(i,j)＝0的特征点，将剩余的特征点构成集合P′；
S5.2：令特征点类的序号M＝1；
S5.3：初始化类集合CM为空集，从P′中取出一个特征点记为p1′加入类CM，遍历P′中其他所有特征点，判断各特征点与p1′的二值化一致性是否等于1，如果是，则此特征点属于类CM，否则不属于类CM；然后继续以类CM中新增特征点为基准，判断集合P′中其他所有特征点与新增特征点的二值化一致性是否等于1，如果是，则此特征点属于类CM，否则不属于类CM；如此循环，直到类CM不再有新增特征点为止；
S5.4：令P′＝P′-CM，判断P′是否为空集，如果是，聚类结束，此时的M即为聚类数量，如果不是，令M＝M+1，返回步骤S5.3；
S6：计算当前监控视频图像t的人群聚集度Φt，计算公式为：
<mrow>
<msub>
<mi>&Phi;</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msup>
<mi>n</mi>
<mo>&prime;</mo>
</msup>
</mfrac>
<msup>
<mi>e</mi>
<mi>T</mi>
</msup>
<mrow>
<mo>(</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mi>I</mi>
<mo>-</mo>
<msup>
<mi>zW</mi>
<mo>&prime;</mo>
</msup>
</mrow>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>-</mo>
<mi>I</mi>
<mo>)</mo>
</mrow>
<mi>e</mi>
</mrow>
其中，W′表示M个聚类中所有特征点的邻接矩阵，e表示单位列向量，n′表示M个聚类中包含的特征点的总数；
计算M个聚类中所有特征点的平均运动速度大小，作为人群运动强度V；然后计算M个聚类中所有特征点的运动方向方差，作为人群运动方向方差σ，
S7：如果人群聚集度、人群运动强度、人群运动方向方差和人群聚类数量分别满足以下条件，则该监控视频图像中的人群状态为人群疏散状态：监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度ΔΦ＝Φt-Φt-α＞ΦT1，ΦT1为人群聚集度增幅阈值，α表示预设的监控视频图像间隔帧数；监控视频图像t-α到当前监控视频图像t中平均人群运动强度Vτ表示监控视频图像τ的人群运动强度，VT表示预设的人群运动强度阈值；监控视频图像t-α到当前监控视频图像t中平均人群运动方向方差στ表示监控视频图像τ的人群运动方向方差，σT1表示预设的人群运动方向方差阈值；监控视频图像t-α到当前监控视频图像t中平均人群聚类数量Mτ表示监控视频图像τ的人群聚类数量，MT表示预设的人群聚类数量阈值；
如果人群聚集度、人群运动强度、人群运动方向方差和人群聚类数量分别满足以下条件，则该监控视频图像中的人群状态为人群聚集状态：监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度ΔΦ＞ΦT1；监控视频图像t-α到当前监控视频图像t中平均人群运动强度监控视频图像t-α到当前监控视频图像t中平均人群运动方向方差监控视频图像t-α到当前监控视频图像t中平均人群聚类数量
如果人群聚集度、人群运动强度、人群运动方向方差和人群聚类数量分别满足以下条件，则该监控视频图像中的人群状态为人群骚乱状态：监控视频图像t-α到当前监控视频图像t中平均人群聚集度其中ΦT2表示预设的人群聚集度阈值；监控视频图像t-α到当前监控视频图像t中平均人群运动强度监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度Δσ＝σt-σt-α＞σT2,σT2表示人群运动强度增幅阈值；监控视频图像t-α到当前监控视频图像t中平均人群聚类数量
2.根据权利要求1所述的异常状态检测方法方法，其特征在于，所述步骤S5中，在得到的M个聚类中，将特征点数量小于预设阈值ζ的类剔除，剩下的聚类作为聚类结果。
3.根据权利要求1所述的异常状态检测方法，其特征在于，所述步骤S6中人群运动方向方差σ的计算方法为：
定义特征点的角度为特征点速度向量与x轴的夹角，取值范围为0至360度，将360度范围平均划分为Q个子区间；对于M个聚类中每个聚类，分别统计每个子区间中特征点的数量，并按特征点数量从大到小进行排序，选择前γ个子区间中的特征点，计算第m个聚类的平均运动方向Am，计算公式为：
<mrow>
<msub>
<mi>A</mi>
<mi>m</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>&gamma;</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>d</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>&gamma;</mi>
</munderover>
<msub>
<mi>Ang</mi>
<mi>m</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>d</mi>
<mo>)</mo>
</mrow>
</mrow>
其中，Angm(d)表示第m个聚类中所选择γ个子区间中第d个子区间中特征点的平均运动方向；
人群运动方向方差σ的计算公式为：
<mrow>
<mi>&sigma;</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>M</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>A</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<mover>
<mi>A</mi>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
其中，表示M个聚类的平均运动方向Am的均值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510332969.3A CN104933412B (zh) | 2015-06-16 | 2015-06-16 | 中高密度人群的异常状态检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510332969.3A CN104933412B (zh) | 2015-06-16 | 2015-06-16 | 中高密度人群的异常状态检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104933412A CN104933412A (zh) | 2015-09-23 |
| CN104933412B true CN104933412B (zh) | 2018-05-04 |
Family
ID=54120572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510332969.3A Expired - Fee Related CN104933412B (zh) | 2015-06-16 | 2015-06-16 | 中高密度人群的异常状态检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104933412B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447458B (zh) * | 2015-11-17 | 2018-02-27 | 深圳市商汤科技有限公司 | 一种大规模人群视频分析系统和方法 |
| JP2017097510A (ja) * | 2015-11-20 | 2017-06-01 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
| CN106023262B (zh) * | 2016-06-06 | 2018-10-12 | 深圳市深网视界科技有限公司 | 一种人群流动主方向估计方法和装置 |
| CN106203357A (zh) * | 2016-07-11 | 2016-12-07 | 浙江宇视科技有限公司 | 一种人员聚集的检测方法和装置 |
| CN106203360A (zh) * | 2016-07-15 | 2016-12-07 | 上海电力学院 | 基于多级过滤模型的密集场景人群分群检测算法 |
| CN106355142A (zh) * | 2016-08-24 | 2017-01-25 | 深圳先进技术研究院 | 一种人体跌倒状态识别方法及装置 |
| CN107330414A (zh) * | 2017-07-07 | 2017-11-07 | 郑州轻工业学院 | 暴力行为监控方法 |
| CN107993403A (zh) * | 2017-12-29 | 2018-05-04 | 深圳正品创想科技有限公司 | 一种危急情况应对方法、系统及无人商店 |
| CN108470154B (zh) * | 2018-02-27 | 2021-08-24 | 燕山大学 | 一种大规模人群显著性区域检测方法 |
| CN108416293A (zh) * | 2018-03-08 | 2018-08-17 | 中国科学院大学 | 一种特殊群体聚集行为早期检测及聚集地预测方法和系统 |
| CN109117701B (zh) * | 2018-06-05 | 2022-01-28 | 东南大学 | 基于图卷积的行人意图识别方法 |
| CN109063578B (zh) * | 2018-07-06 | 2022-05-06 | 江西洪都航空工业集团有限责任公司 | 一种人群聚集检测方法 |
| CN110427894A (zh) * | 2019-08-06 | 2019-11-08 | 齐鲁工业大学 | 一种人群异常运动监控方法、系统、设备及介质 |
| CN110751017B (zh) * | 2019-09-03 | 2021-03-02 | 上海交通大学 | 一种基于强化学习的在线非监督的人群组分割方法及终端 |
| CN110827316A (zh) * | 2019-10-29 | 2020-02-21 | 贵州民族大学 | 人群恐慌四散检测方法、系统、可读存储介质和电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872418A (zh) * | 2010-05-28 | 2010-10-27 | 电子科技大学 | 基于群体环境异常行为的检测方法 |
| CN102663491A (zh) * | 2012-03-13 | 2012-09-12 | 浙江工业大学 | 一种基于surf特征的高密度人群计数方法 |
| CN103020591A (zh) * | 2012-11-21 | 2013-04-03 | 燕山大学 | 一种基于因果网络分析的中等规模人群异常行为检测方法 |
-
2015
- 2015-06-16 CN CN201510332969.3A patent/CN104933412B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872418A (zh) * | 2010-05-28 | 2010-10-27 | 电子科技大学 | 基于群体环境异常行为的检测方法 |
| CN102663491A (zh) * | 2012-03-13 | 2012-09-12 | 浙江工业大学 | 一种基于surf特征的高密度人群计数方法 |
| CN103020591A (zh) * | 2012-11-21 | 2013-04-03 | 燕山大学 | 一种基于因果网络分析的中等规模人群异常行为检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| "VIDEO ANALYSIS USING CORNER MOTION STATISTICS";Antonio Albiol 等;《Proceedings of 11th IEEE International Workshop on Performance Evaluation of Tracking and》;20111231;第31-37页 * |
| "中高密度人群异常行为检测";胡斌斌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20131115;第I138-906页 * |
| "人群异常状态检测的图分析方法";朱海龙 等;《自动化学报》;20120515;第38卷(第5期);第742-750页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104933412A (zh) | 2015-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104933412B (zh) | 中高密度人群的异常状态检测方法 | |
| CN105844234B (zh) | 一种基于头肩检测的人数统计的方法及设备 | |
| Dong et al. | Dual discriminator generative adversarial network for video anomaly detection | |
| CN103839065B (zh) | 人群动态聚集特征提取方法 | |
| Gu et al. | Abnormal crowd behavior detection by using the particle entropy | |
| Wu et al. | A Bayesian model for crowd escape behavior detection | |
| CN103745230B (zh) | 一种自适应群体异常行为分析方法 | |
| CN108053427A (zh) | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 | |
| Zhang et al. | Abnormal crowd behavior detection based on social attribute-aware force model | |
| CN104680140B (zh) | 基于图像的人群聚集状态检测方法 | |
| Swathi et al. | Crowd behavior analysis: A survey | |
| CN105023019B (zh) | 一种用于视频监控自动探测人群异常行为的特征描述方法 | |
| CN105426813B (zh) | 一种视频异常行为检测方法 | |
| CN103281477A (zh) | 基于多级别特征数据关联的多目标视觉跟踪方法 | |
| CN105138982A (zh) | 一种基于多特征聚类及分类的人群异常检测与评估方法 | |
| Srivastava et al. | Crowd flow estimation using multiple visual features for scenes with changing crowd densities | |
| Lin et al. | A new network-based algorithm for human activity recognition in videos | |
| Zhao et al. | Crowd instability analysis using velocity-field based social force model | |
| CN106845389B (zh) | 一种基于方向-集群性模型的人群逃散事件检测方法及系统 | |
| CN106022234B (zh) | 基于光流计算的异常拥挤行为检测算法 | |
| Zhang et al. | Beyond particle flow: Bag of trajectory graphs for dense crowd event recognition | |
| CN103530601B (zh) | 一种基于贝叶斯网络的监控盲区人群状态推演方法 | |
| Hafeezallah et al. | Motion segmentation using Ward’s hierarchical agglomerative clustering for crowd disaster risk mitigation | |
| CN106599867A (zh) | 密集客流异常行为检测方法 | |
| CN107424170B (zh) | 自动探测监控视频中局部异常行为的运动特征描述方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180504 Termination date: 20210616 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |