CN114241401B - 异常判定方法、装置、设备、介质及产品 - Google Patents
异常判定方法、装置、设备、介质及产品 Download PDFInfo
- Publication number
- CN114241401B CN114241401B CN202111288937.XA CN202111288937A CN114241401B CN 114241401 B CN114241401 B CN 114241401B CN 202111288937 A CN202111288937 A CN 202111288937A CN 114241401 B CN114241401 B CN 114241401B
- Authority
- CN
- China
- Prior art keywords
- target
- detected
- image data
- target detection
- detection value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000005856 abnormality Effects 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 187
- 230000002159 abnormal effect Effects 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 abstract description 8
- 230000009471 action Effects 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000011176 pooling Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种异常判定方法、装置、设备、介质及产品，方法包括：确定通过摄像装置得到的视频数据的场景类别；判断场景类别对应的待检测目标是否需要移动，得到第一判断结果；将视频数据输入目标检测模型，通过目标检测模型输出视频数据中的待检测目标的目标检测值，其中，目标检测模型通过视频样本数据和待检测样本目标对应的目标检测样本值训练得到；基于目标检测值，判断待检测目标是否发生移动，得到第二判断结果；基于第一判断结果和第二判断结果，判定待检测目标是否存在异常。本发明用以解决现有技术中通过人工识别分析视频内容，导致无法及时发现乘客长时间无动作、重要物品移位等异常情况的缺陷。
Description
技术领域
本发明涉及轨道交通技术领域，尤其涉及一种异常判定方法、装置、设备、介质及产品。
背景技术
近年来我国轨道行业发展迅猛，由于其不占地面道路、运输量大、能耗低等优势，各城市积极投入轨道交通建设。随着巨量客流带来车站客运业务的巨大压力，对轨道交通的运营管理和公共安全保障等方面的压力与日俱增。现阶段主要是通过长期的运营经验结合传统视频监控进行配合来进行管理，其中，车站视频监控只提供视频的采集、预览、传输和存储等功能，而视频内容的分析识别主要依托人工实现。
而通过人工分析识别视频内容，存在诸多缺陷，例如，针对乘客长时间无动作、重要物品移位等特定场景的小尺寸目标分析的准确度不高，且无法准确判断物体所在位置。又例如，针对乘客长时间无动作、重要物品移位等异常情况不能及时发现，导致人员伤亡、应急处置不及时等诸多问题。
发明内容
本发明提供一种异常判定方法、装置、设备、介质及产品，用以解决现有技术中通过人工识别分析视频内容，导致无法及时发现乘客长时间无动作、重要物品移位等异常情况的缺陷，实现有效、及时的判定待检测目标是否发生异常的目的。
本发明提供一种异常判定方法，包括：
确定通过摄像装置得到的视频数据的场景类别；
判断所述场景类别对应的待检测目标是否需要移动，得到第一判断结果；
将所述视频数据输入目标检测模型，通过所述目标检测模型输出所述视频数据中的所述待检测目标的目标检测值，其中，所述目标检测模型通过视频样本数据和待检测样本目标对应的目标检测样本值训练得到；
基于所述目标检测值，判断所述待检测目标是否发生移动，得到第二判断结果；
基于所述第一判断结果和所述第二判断结果，判定所述待检测目标是否存在异常。
根据本发明提供的一种异常判定方法，所述将所述视频数据输入目标检测模型，通过所述目标检测模型输出所述视频数据中的所述待检测目标的目标检测值，包括：
将所述视频数据中的每帧数据进行切割，得到图像数据，并按照时间戳对所述图像数据进行排序，得到目标图像数据；
将所述目标图像数据依次输入所述目标检测模型，通过所述目标检测模型依次输出每帧所述目标图像数据中的所述待检测目标的目标检测值。
根据本发明提供的一种异常判定方法，所述将所述目标图像数据依次输入所述目标检测模型，通过所述目标检测模型依次输出每帧所述目标图像数据中的所述待检测目标的目标检测值，包括：
将所述目标图像数据依次输入所述目标检测模型；
通过所述目标检测模型对每帧所述目标图像数据执行以下处理过程：提取所述目标图像数据中的所述待检测目标的目标特征；为所述目标特征生成候选框；将所述候选框映射到所述目标图像数据上；通过所述目标图像数据上的所述候选框，确定所述待检测目标的目标检测值；
从所述候选框中确定目标候选框，输出所述目标候选框对应的所述待检测目标的目标检测值。
根据本发明提供的一种异常判定方法，所述提取所述目标图像数据中的所述待检测目标的目标特征，包括：
对所述目标图像数据进行浅层特征提取，得到目标浅层特征；
对所述目标图像数据进行深层特征提取，得到目标深层特征；
融合所述目标浅层特征和所述目标深层特征，得到所述目标特征。
根据本发明提供的一种异常判定方法，所述基于所述目标检测值，判断所述待检测目标是否发生移动，得到第二判断结果，包括：
基于当前时间对应的目标图像数据中的所述待检测目标的目标检测值，执行以下计算过程：
确定当前时间的每帧目标图像数据中的所述待检测目标的目标检测值；计算当前时间的第一帧目标图像数据中的所述待检测目标的目标检测值，与当前时间的其他每帧目标图像数据中的所述待检测目标的目标检测值的第一位置交并值，其中，将当前时间的第一帧目标图像数据中的所述待检测目标的目标检测值记为当前目标检测值；确定第一预设时间后的时间点对应的每帧目标图像数据中的所述待检测目标的目标检测值；计算所述当前目标检测值，与所述第一预设时间后的时间点对应的每帧目标图像数据中的所述待检测目标的目标检测值的第二位置交并值；当确定所述第一位置交并值和所述第二位置交并值分别大于第一预设阈值时，确定至少一个第二预设时间后的时间点对应的最后一帧目标图像数据中的所述待检测目标的目标检测值；计算所述当前目标检测值，与所述至少一个第二预设时间后的时间点对应的最后一帧目标图像数据中的所述待检测目标的目标检测值的第三位置交并值；
当确定所述第三位置交并值大于第二预设阈值时，确定所述第二判断结果为所述待检测目标未发生移动；
当确定所述第三位置交并值小于或等于所述第二预设阈值时，确定所述第二判断结果为所述待检测目标发生移动。
根据本发明提供的一种异常判定方法，所述基于所述第一判断结果和所述第二判断结果，判定所述待检测目标是否存在异常，包括：
当所述第一判断结果为所述待检测目标需要移动，所述第二判断结果为所述待检测目标未发生移动时，判定所述待检测目标存在异常；
当所述第一判断结果为所述待检测目标需要移动，所述第二判断结果为所述待检测目标发生移动时，判定所述待检测目标不存在异常；
当所述第一判断结果为所述待检测目标不需要移动，所述第二判断结果为所述待检测目标未发生移动时，判定所述待检测目标不存在异常；
当所述第一判断结果为所述待检测目标不需要移动，所述第二判断结果为所述待检测目标发生移动时，判定所述待检测目标存在异常。
本发明还提供一种异常判定装置，包括：
确定模块，用于确定通过摄像装置得到的视频数据的场景类别；
第一判断模块，用于判断所述场景类别对应的待检测目标是否需要移动，得到第一判断结果；
输出模块，用于将所述视频数据输入目标检测模型，通过所述目标检测模型输出所述视频数据中的所述待检测目标的目标检测值，其中，所述目标检测模型通过视频样本数据和待检测样本目标对应的目标检测样本值训练得到；
第二判断模块，用于基于所述目标检测值，判断所述待检测目标是否发生移动，得到第二判断结果；
判定模块，用于基于所述第一判断结果和所述第二判断结果，判定所述待检测目标是否存在异常。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述异常判定方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述异常判定方法的步骤。
本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时实现如上述任一种所述异常判定方法的步骤。
本发明提供的异常判定方法、装置、设备、介质及产品，通过确定通过摄像装置得到的视频数据的场景类别；判断场景类别对应的待检测目标是否需要移动，得到第一判断结果；将视频数据输入到目标检测模型，通过目标检测模型输出视频数据中的待检测目标的目标检测值；基于目标检测值，判断待检测目标是否发生移动，得到第二判断结果；基于第一判断结果和第二判断结果，判定待检测目标是否存在异常，本发明通过判断待检测目标是否需要移动，和判断待检测目标是否发生移动，来判定待检测目标是否存在异常，实现了有效、快速的判定待检测目标是否存在异常的目的，解决了现有技术中通过人工识别分析视频内容，不能及时有效的判定待检测目标是否存在异常，例如乘客长时间无动作、重要物品移位等异常情况，而导致人员伤亡、应急处置不及时等诸多问题，有效的提高了用户体验。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的异常判定方法的流程示意图之一；
图2是本发明提供的异常判定方法的流程示意图之二；
图3A为本发明提供的目标检测网络结构示意图之一；
图3B为本发明提供的目标检测网络结构示意图之二；
图4是本发明提供的异常判定方法的流程示意图之三；
图5是本发明提供的异常判定装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的异常判定方法。
本发明实施例提供了一种异常判定方法，该方法可以应用在智能终端，例如，手机、电脑、平板等，也可以应用在服务器中。下面，以该方法应用在服务器为例进行说明，但需要说明的是仅为举例说明，并不用于对本发明的保护范围进行限定。本发明实施例中的一些其他说明，也是举例说明，并不用于对本发明的保护范围进行限定，之后便不再一一说明。
具体的，地铁中的待检测目标，利用目标用户、消防设备等，的目标尺寸一般集中在96像素×96像素以内的小、中尺寸目标，几乎不存在较大的目标。现有的目标检测算法对大量小尺寸目标难以识别，在某些场景中一些背景区域，例如，人像海报等被识别成待检测目标，与识别任务相背离。因此，本发明所用的目标检测模型对小尺寸目标具有更强的检测性能。
本发明的异常判定方法的具体实现，如图1所示：
步骤101，确定通过摄像装置得到的视频数据的场景类别。
其中，摄像装置包括摄像头。
具体的，每个被监控区域包括至少一个摄像头，每个被监控区域内的摄像头可以设置在不同角度，以避免摄像头被遮挡，对判定结果存在影响。
具体的，获取每个被监控区域的各个摄像头发送的视频数据，识别分析各个视频数据中的场景类别。其中，场景类别包括：消防场景、公共休息场景等。
步骤102，判断场景类别对应的待检测目标是否需要移动，得到第一判断结果。
具体的，预先已经存储了场景类别与场景类别对应的待检测目标的对应关系，该对应关系用于指示场景类别对应的待检测目标是否需要移动。在确定场景类别后，基于预先存储的对应关系，确定场景类别对应的待检测目标是否需要移动。
例如，消防场景对应的待检测目标为消防物品，不需要移动；公共休息场景对应的待检测目标为目标用户，需要移动；等。
例如，当场景类别为消防场景时，第一判断结果为待检测目标不需要移动；当场景类别为公共休息场景时，第一判断结果为待检测目标需要移动。
步骤103，将视频数据输入目标检测模型，通过目标检测模型输出视频数据中的待检测目标的目标检测值。
其中，目标检测模型通过视频样本数据和待检测样本目标对应的目标检测样本值训练得到。
一个具体实施例中，将视频数据中的每帧数据进行切割，得到图像数据，并按照时间戳对图像数据进行排序，得到目标图像数据；将目标图像数据依次输入目标检测模型，通过目标检测模型依次输出每帧目标图像数据中的待检测目标的目标检测值。
具体的，利用数字IP摄像机、硬盘录像机(DVR)、网络硬盘录像机(NVR)等采集视频流，得到视频数据。具体的，按照实施流传输协议(Real Time Streaming Protocol，RTSP)获取视频流，以使其符合预设的文件格式。
一个具体实施例中，通过目标检测模型，确定目标图像数据中待检测目标的目标检测值的具体的实现为：将目标图像数据按照时间戳依次输入到目标检测模型，通过目标检测模型对每帧目标图像数据执行处理过程，进而，通过输出层从候选框中确定目标候选框，输出目标候选框对应的待检测目标的目标检测值。
其中，目标检测模型对每帧目标图像数据的处理过程的具体实现，如图2所示：
步骤201，提取目标图像数据中的待检测目标的目标特征。
其中，在将目标图像数据输入目标检测模型之前，对目标图像数据进行预处理操作，例如，对目标图像数据进行裁剪，得到预设尺寸的目标图像数据。
一个具体实施例中，通过对目标图像数据进行浅层特征提取，得到目标浅层特征；对目标图像数据进行深层特征提取，得到目标深层特征；融合目标浅层特征和目标深层特征，得到目标特征。
具体的，通过目标检测网络的特征提取层对目标图像数据进行特征提取，得到目标特征。
具体的，在地铁中采集的视频数据为例进行说明，本发明的目标图像数据基于地铁中的视频数据得到。利用深层神经网络对目标图像数据进行深层特征提取，深层神经网络会提取出大量的语义信息，有助于区分待检测目标和背景，但是会造成细节的丢失，导致对特定场景的检测效果下降。因此，针对深层神经网络的缺陷部分，利用浅层神经网络对目标图像数据进行浅层特征提取，进而，将目标浅层特征与目标深层特征两个不同尺度的特征图融合，形成新特征图，即目标特征，以能够更容易识别待检测目标，具体如公式(1)所示：
fan＝pooling(convn_1)+pooling(convn_2)
convn_1＝conv3×3(conv2_2)+conv3×3(deconv2×2(conv4_3))
convn_2＝conv3×3(conv3_3)+conv3×3(deconv2×2(conv5_3))
(1)
其中，fan表示目标特征，pooling(convn_1)表示对融合卷积convn_1进行池化操作，pooling(convn_2)表示对融合卷积convn_2进行池化操作，convn_1表示将网络第二层特征与第四层特征融合之后的卷积特征，convn_2表示将网络第三层特征与第四层特征融合之后的卷积特征，conv3×3(conv2_2)表示对第二层第二个卷积进行卷积操作，conv3×3(deconv2×2(conv4_3))表示对第四层第三个卷积先进行反卷积操作再进行卷积操作，conv3×3(conv3_3)表示对第三层第三个卷积进行卷积操作，conv3×3(deconv2×2(conv5_3))表示对第五层第三个卷积先进行反卷积操作再进行卷积操作。
步骤202，为目标特征生成候选框。
具体的，通过特征提取层将目标特征输入候选区域生成网络，为目标特征生成候选框，并通过小波神经网络判别候选框的类别，其中，类别包括：前景和背景。
具体的，基于地铁得到的图像数据比自然场景得到的图像数据会引入更多的噪声，并且，本发明的目标图像数据中的部分遮挡导致某些待检测目标仅用可见部分进行注释，导致检测只能将待检测目标的部分视为一个整体，因此采用小波神经网络判断候选框是前景还是背景，以突出所要处理的问题细节，有效提取局部信息，提高目标检测网络的泛化性能。其中，小波神经网络属于候选区域生成网络的一部分。
为了量化在视频检测过程中待检测目标的不完整的程度，采用前景交叉(IoF)标准，构建函数Si来考虑IoF和置信度这两个因素，具体参见公式(2)：
其中Ci表示第i个检测结果的置信度，Ii表示第i个检测结果的相应的最大IoF，λ表示用于调整IoF和置信度权重的平衡系数，δ为消除噪声影响的偏差因子，Si表示候选框的选择概率。
其中，本发明选择候选框的选择概率大于预设概率时的候选框。并且，在利用候选区域生成网络为目标特征生成候选框后，则会输出各个候选框的IoF和置信度的参数值，并将IoF和置信度的参数值带入公式(2)以得到各个候选框的选择概率。
步骤203，将候选框映射到目标图像数据上。
具体的，通过候选区域生成网络将带有候选框的目标特征输入池化层，通过池化层将候选框映射到目标图像数据上。
步骤204，通过目标图像数据上的候选框，确定待检测目标的目标检测值。
具体的，通过PrRoIPooling层与全连接层相连接，通过全连接层，最终确定待检测目标的目标检测值。
具体的，目标检测网络的具体结构可参见图3A，该目标检测网络包括：输入层301、特征提取层302、候选区域生成网络303、池化层304、全连接层305和输出层306，其中，候选区域生成网络303包括：小波神经网络。输入层301，用于输入目标图像数据；特征提取层302，用于提取目标特征；候选区域生成网络303，用于生成候选框；小波神经网络，用于判定生成的候选框的类别，其中，类别包括：前景和背景；池化层304，用于将特征图中的候选框映射到目标图像数据上；全连接层305，用于确定待检测目标的目标检测值；输出层306，用于从候选框中确定目标候选框，并输出目标候选框对应的待检测目标的目标检测值。
其中，候选生成网络303为候选生成网络(RegionProposal Network，简称RPN)。池化层304包括PrRoIPooling。
具体的，目标检测网络的结构、数据处理及数据交互可参见图3B，该目标图像数据输入特征提取层302，通过特征提取层对目标图像数据进行特征提取操作，特征提取操作包括：通过特征提取层302的卷积层(conv)进行卷积操作、反卷积操作等操作，以得到卷积特征，得到卷积特征后，再通过特征提取层302的池化层(pooling)对卷积特征进行池化操作得到浅层特征和深层特征，最后通过融合浅层特征和深层特征，得到目标特征。
特征提取层302将目标特征传输给候选生成网络303，候选生成网络303生成多个候选框，并利用候选生成网络303里面的小波神经网络判定候选框的类别。候选生成网络303将候选框判别后的特征图传输给PrRoIPooling304。PrRoIPooling304将候选框映射到目标图像数据上，并且，PrRoIPooling304与全连接层305相连接，通过全连接层305确定待检测目标的目标检测值和分类判定结果。
步骤104，基于目标检测值，判断待检测目标是否发生移动，得到第二判断结果。
一个具体实施例中，第二判断结果的具体获得过程为：基于当前时间对应的目标图像数据中的待检测目标的目标检测值，执行计算过程，以得到第三位置交并值；当确定第三位置交并值大于第二预设阈值时，确定第二判断结果为待检测目标未发生移动；当确定第三位置交并值小于或等于第二预设阈值时，确定第二判断结果为待检测目标发生移动。
其中，计算过程的具体实现如图4所示：
步骤401，确定当前时间的每帧目标图像数据中的待检测目标的目标检测值。
其中，当前时间共有n帧目标图像数据，其中，n为大于1的帧数。例如，将当前时间定为1s，n帧目标图像数据具体表示为：第1s第1帧，第1s第2帧，…，第1s第n帧。
步骤402，计算当前时间的第一帧目标图像数据中的待检测目标的目标检测值，与当前时间的其他每帧目标图像数据中的待检测目标的目标检测值的第一位置交并值。
其中，将当前时间的第一帧目标图像数据中的待检测目标的目标检测值记为当前目标检测值。
例如，第1s第1帧中的待检测目标的目标检测值记为loc1,1，第1s第2帧中的待检测目标的目标检测值记为loc1,2，…，第1s第n帧中的待检测目标的目标检测值记为loc1,n。
其中，第一位置交并值为一个集合，包括：loc1,1与loc1,2的IoU值，loc1,1与loc1,3的IoU值，…，loc1,1与loc1,n的IoU值。其中，位置交并值为IoU值。
步骤403，确定第一预设时间后的时间点对应的每帧目标图像数据中的待检测目标的目标检测值。
其中，以第一预设时间等于5s为例进行说明，那么第5s的时间点对应的每帧目标图像数据中的待检测目标的目标检测值记为：第5s第1帧中的待检测目标的目标检测值loc5,1，第5s第2帧中的待检测目标的目标检测值记为loc5,2，…，第5s第n帧中的待检测目标的目标检测值记为loc5,n。
步骤404，计算当前目标检测值，与第一预设时间后的时间点对应的每帧目标图像数据中的待检测目标的目标检测值的第二位置交并值。
其中，第二位置交并值为一个集合，包括：loc1,1与loc5,1的IoU值，loc1,1与loc5,2的IoU值，loc1,1与loc5,3的IoU值，…，loc1,1与loc5,n的IoU值。
步骤405，当确定第一位置交并值和第二位置交并值分别大于第一预设阈值时，确定至少一个第二预设时间后的时间点对应的最后一帧目标图像数据中的待检测目标的目标检测值。
具体的，当loc1,1与loc1,2的IoU值，loc1,1与loc1,3的IoU值，…，loc1,1与loc1,n的IoU值，loc1,1与loc5,1的IoU值，loc1,1与loc5,2的IoU值，loc1,1与loc5,3的IoU值，…，loc1,1与loc5,n的IoU值，都分别大于第一预设阈值时，确定至少一个第二预设时间后的时间点对应的最后一帧目标图像数据中的待检测目标的目标检测值。
其中，第二预设时间包括1min，3min，5min，10min、12min、15min等。
步骤406，计算当前目标检测值，与至少一个第二预设时间后的时间点对应的最后一帧目标图像数据中的待检测目标的目标检测值的第三位置交并值。
其中，以第二预设时间包括1min，3min，5min，10min为例进行说明。其中，1min等于60s，3min等于180s，5min等于300s，10min等于600s。
其中，第三位置交并值为一个集合，包括loc1,1与loc60,n的IoU值，loc1,1与loc180,n的IoU值，loc1,1与loc300,n的IoU值，…，loc1,1与loc600,n的IoU值。具体的，每个第二预设时间对应各自的第二预设阈值，例如，1min对应第二预设第一子阈值，3min对应第二预设第二子阈值，5min对应第二预设第三子阈值，10min对应第二预设第四子阈值。且，第二预设第四子阈值大于第二预设第三子阈值，第二预设第三子阈值大于第二预设第二子阈值，第二预设第二子阈值大于第二预设第一子阈值。
当loc1,1与loc60,n的IoU值大于第二预设第一子阈值，且loc1,1与loc180,n的IoU值大于第二预设第四子阈值，且loc1,1与loc300,n的IoU值大于第二预设第三子阈值，且loc1,1与loc600,n的IoU值大于第二预设第四子阈值时，确定第二判断结果为待检测目标未发生移动，否则，当上述任一条件不满足时，确定第二判断结果为待检测目标发生移动。
具体的，本实施例先判断的场景类别对应的待检测目标是否需要移动，再通过目标检测值，判断待检测目标是否发生移动为例进行说明的。但是，需要声明的是，本实施例并不对实现步骤进行具体的限定，此处只是举例说明，也可以先通过目标检测值，判断待检测目标是否发生移动，再判断场景类别对应的待检测目标是否需要移动。
步骤105，基于第一判断结果和第二判断结果，判定待检测目标是否存在异常。
一个具体实施例中，判定待检测目标是否存在异常，具体包括：当第一判断结果为待检测目标需要移动，第二判断结果为待检测目标未发生移动时，判定待检测目标存在异常；当第一判断结果为待检测目标需要移动，第二判断结果为待检测目标发生移动时，判定待检测目标不存在异常；当第一判断结果为待检测目标不需要移动，第二判断结果为待检测目标未发生移动时，判定待检测目标不存在异常；当第一判断结果为待检测目标不需要移动，第二判断结果为待检测目标发生移动时，判定待检测目标存在异常。
具体的，当判定待检测目标存在异常时，通过语音、文字等诸多形式提示工作人员，例如，通过短信的方式发送到工作人员的智能终端上，又例如，通过消息推送的方式发送到工作人员的智能终端上，又例如，通过语音报警的方式发送到工作人员的智能终端上，等，以使工作人员到被监控区域进行实地考察，并基于被监控区域的实际情况进行处理。
本发明利用人工智能、深度学习等技术，实现对乘客长时间无动作、重要物品移位等异常情况进行实时智能分析，出现意外情况及时提醒相关工作人员前去查看，可有效减少乘客长时间无动作、重要物品移位等异常情况导致的人员伤亡、应急处置不及时等问题。
本发明提供的异常判定方法、装置、设备、介质及产品，通过确定通过摄像装置得到的视频数据的场景类别；判断场景类别对应的待检测目标是否需要移动，得到第一判断结果；将视频数据输入到目标检测模型，通过目标检测模型输出视频数据中的待检测目标的目标检测值；基于目标检测值，判断待检测目标是否发生移动，得到第二判断结果；基于第一判断结果和第二判断结果，判定待检测目标是否存在异常，本发明通过判断待检测目标是否需要移动，和判断待检测目标是否发生移动，来判定待检测目标是否存在异常，实现了有效、快速的判定待检测目标是否存在异常的目的，解决了现有技术中通过人工识别分析视频内容，不能及时有效的判定待检测目标是否存在异常，例如乘客长时间无动作、重要物品移位等异常情况，而导致人员伤亡、应急处置不及时等诸多问题，有效的提高了用户体验。
下面对本发明提供的异常判定装置进行描述，下文描述的异常判定装置与上文描述的异常判定方法可相互对应参照，重复之处不再赘述，该装置具体如图5所示：
确定模块501，用于确定通过摄像装置得到的视频数据的场景类别；
第一判断模块502，用于判断场景类别对应的待检测目标是否需要移动，得到第一判断结果；
输出模块503，用于将视频数据输入目标检测模型，通过目标检测模型输出视频数据中的待检测目标的目标检测值，其中，目标检测模型通过视频样本数据和待检测样本目标对应的目标检测样本值训练得到；
第二判断模块504，用于基于目标检测值，判断待检测目标是否发生移动，得到第二判断结果；
判定模块505，用于基于第一判断结果和第二判断结果，判定待检测目标是否存在异常。
一个具体实施例中，输出模块503，具体用于将视频数据中的每帧数据进行切割，得到图像数据，并按照时间戳对图像数据进行排序，得到目标图像数据；将目标图像数据依次输入目标检测模型，通过目标检测模型依次输出每帧目标图像数据中的待检测目标的目标检测值。
一个具体实施例中，输出模块503，具体用于将目标图像数据依次输入目标检测模型；通过目标检测模型对每帧目标图像数据执行以下处理过程：提取目标图像数据中的待检测目标的目标特征；为目标特征生成候选框；将候选框映射到目标图像数据上；通过目标图像数据上的候选框，确定待检测目标的目标检测值；从候选框中确定目标候选框，输出目标候选框对应的待检测目标的目标检测值。
一个具体实施例中，输出模块503，具体用于对目标图像数据进行浅层特征提取，得到目标浅层特征；对目标图像数据进行深层特征提取，得到目标深层特征；融合目标浅层特征和目标深层特征，得到目标特征。
一个具体实施例中，第二判断模块，具有用于基于当前时间对应的目标图像数据中的待检测目标的目标检测值，执行以下计算过程：确定当前时间的每帧目标图像数据中的待检测目标的目标检测值；计算当前时间的第一帧目标图像数据中的待检测目标的目标检测值，与当前时间的其他每帧目标图像数据中的待检测目标的目标检测值的第一位置交并值，其中，将当前时间的第一帧目标图像数据中的待检测目标的目标检测值记为当前目标检测值；确定第一预设时间后的时间点对应的每帧目标图像数据中的待检测目标的目标检测值；计算当前目标检测值，与第一预设时间后的时间点对应的每帧目标图像数据中的待检测目标的目标检测值的第二位置交并值；当确定第一位置交并值和第二位置交并值分别大于第一预设阈值时，确定至少一个第二预设时间后的时间点对应的最后一帧目标图像数据中的待检测目标的目标检测值；计算当前目标检测值，与至少一个第二预设时间后的时间点对应的最后一帧目标图像数据中的待检测目标的目标检测值的第三位置交并值；当确定第三位置交并值大于第二预设阈值时，确定第二判断结果为待检测目标未发生移动；当确定第三位置交并值小于或等于第二预设阈值时，确定第二判断结果为待检测目标发生移动。
一个具体实施例中，判定模块，具体用于当第一判断结果为待检测目标需要移动，第二判断结果为待检测目标未发生移动时，判定待检测目标存在异常；当第一判断结果为待检测目标需要移动，第二判断结果为待检测目标发生移动时，判定待检测目标不存在异常；当第一判断结果为待检测目标不需要移动，第二判断结果为待检测目标未发生移动时，判定待检测目标不存在异常；当第一判断结果为待检测目标不需要移动，第二判断结果为待检测目标发生移动时，判定待检测目标存在异常。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(Communications Interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行异常判定方法，该方法包括：确定通过摄像装置得到的视频数据的场景类别；判断场景类别对应的待检测目标是否需要移动，得到第一判断结果；将视频数据输入目标检测模型，通过目标检测模型输出视频数据中的待检测目标的目标检测值，其中，目标检测模型通过视频样本数据和待检测样本目标对应的目标检测样本值训练得到；基于目标检测值，判断待检测目标是否发生移动，得到第二判断结果；基于第一判断结果和第二判断结果，判定待检测目标是否存在异常。
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的异常判定方法，该方法包括：确定通过摄像装置得到的视频数据的场景类别；判断场景类别对应的待检测目标是否需要移动，得到第一判断结果；将视频数据输入目标检测模型，通过目标检测模型输出视频数据中的待检测目标的目标检测值，其中，目标检测模型通过视频样本数据和待检测样本目标对应的目标检测样本值训练得到；基于目标检测值，判断待检测目标是否发生移动，得到第二判断结果；基于第一判断结果和第二判断结果，判定待检测目标是否存在异常。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的异常判定方法，该方法包括：确定通过摄像装置得到的视频数据的场景类别；判断场景类别对应的待检测目标是否需要移动，得到第一判断结果；将视频数据输入目标检测模型，通过目标检测模型输出视频数据中的待检测目标的目标检测值，其中，目标检测模型通过视频样本数据和待检测样本目标对应的目标检测样本值训练得到；基于目标检测值，判断待检测目标是否发生移动，得到第二判断结果；基于第一判断结果和第二判断结果，判定待检测目标是否存在异常。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种异常判定方法，其特征在于，包括：
确定通过摄像装置得到的视频数据的场景类别；
判断所述场景类别对应的待检测目标是否需要移动，得到第一判断结果；
将所述视频数据输入目标检测模型，通过所述目标检测模型输出所述视频数据中的所述待检测目标的目标检测值，其中，所述目标检测模型通过视频样本数据和待检测样本目标对应的目标检测样本值训练得到；
基于所述目标检测值，判断所述待检测目标是否发生移动，得到第二判断结果；
基于所述第一判断结果和所述第二判断结果，判定所述待检测目标是否存在异常；
所述将所述视频数据输入目标检测模型，通过所述目标检测模型输出所述视频数据中的所述待检测目标的目标检测值，包括：
将所述视频数据中的每帧数据进行切割，得到图像数据，并按照时间戳对所述图像数据进行排序，得到目标图像数据；
将所述目标图像数据依次输入所述目标检测模型，通过所述目标检测模型依次输出每帧所述目标图像数据中的所述待检测目标的目标检测值；
所述基于所述目标检测值，判断所述待检测目标是否发生移动，得到第二判断结果，包括：
基于当前时间对应的目标图像数据中的所述待检测目标的目标检测值，执行以下计算过程：
确定当前时间的每帧目标图像数据中的所述待检测目标的目标检测值；计算当前时间的第一帧目标图像数据中的所述待检测目标的目标检测值，与当前时间的其他每帧目标图像数据中的所述待检测目标的目标检测值的第一位置交并值，其中，将当前时间的第一帧目标图像数据中的所述待检测目标的目标检测值记为当前目标检测值；确定第一预设时间后的时间点对应的每帧目标图像数据中的所述待检测目标的目标检测值；计算所述当前目标检测值，与所述第一预设时间后的时间点对应的每帧目标图像数据中的所述待检测目标的目标检测值的第二位置交并值；当确定所述第一位置交并值和所述第二位置交并值分别大于第一预设阈值时，确定至少一个第二预设时间后的时间点对应的最后一帧目标图像数据中的所述待检测目标的目标检测值；计算所述当前目标检测值，与所述至少一个第二预设时间后的时间点对应的最后一帧目标图像数据中的所述待检测目标的目标检测值的第三位置交并值；
当确定所述第三位置交并值大于第二预设阈值时，确定所述第二判断结果为所述待检测目标未发生移动；
当确定所述第三位置交并值小于或等于所述第二预设阈值时，确定所述第二判断结果为所述待检测目标发生移动。
2.根据权利要求1所述的异常判定方法，其特征在于，所述将所述目标图像数据依次输入所述目标检测模型，通过所述目标检测模型依次输出每帧所述目标图像数据中的所述待检测目标的目标检测值，包括：
将所述目标图像数据依次输入所述目标检测模型；
通过所述目标检测模型对每帧所述目标图像数据执行以下处理过程：提取所述目标图像数据中的所述待检测目标的目标特征；为所述目标特征生成候选框；将所述候选框映射到所述目标图像数据上；通过所述目标图像数据上的所述候选框，确定所述待检测目标的目标检测值；
从所述候选框中确定目标候选框，输出所述目标候选框对应的所述待检测目标的目标检测值。
3.根据权利要求2所述的异常判定方法，其特征在于，所述提取所述目标图像数据中的所述待检测目标的目标特征，包括：
对所述目标图像数据进行浅层特征提取，得到目标浅层特征；
对所述目标图像数据进行深层特征提取，得到目标深层特征；
融合所述目标浅层特征和所述目标深层特征，得到所述目标特征。
4.根据权利要求1所述的异常判定方法，其特征在于，所述基于所述第一判断结果和所述第二判断结果，判定所述待检测目标是否存在异常，包括：
当所述第一判断结果为所述待检测目标需要移动，所述第二判断结果为所述待检测目标未发生移动时，判定所述待检测目标存在异常；
当所述第一判断结果为所述待检测目标需要移动，所述第二判断结果为所述待检测目标发生移动时，判定所述待检测目标不存在异常；
当所述第一判断结果为所述待检测目标不需要移动，所述第二判断结果为所述待检测目标未发生移动时，判定所述待检测目标不存在异常；
当所述第一判断结果为所述待检测目标不需要移动，所述第二判断结果为所述待检测目标发生移动时，判定所述待检测目标存在异常。
5.一种异常判定装置，应用权利要求1-4中任一项所述的异常判定方法，其特征在于，包括：
确定模块，用于确定通过摄像装置得到的视频数据的场景类别；
第一判断模块，用于判断所述场景类别对应的待检测目标是否需要移动，得到第一判断结果；
输出模块，用于将所述视频数据输入目标检测模型，通过所述目标检测模型输出所述视频数据中的所述待检测目标的目标检测值，其中，所述目标检测模型通过视频样本数据和待检测样本目标对应的目标检测样本值训练得到；
第二判断模块，用于基于所述目标检测值，判断所述待检测目标是否发生移动，得到第二判断结果；
判定模块，用于基于所述第一判断结果和所述第二判断结果，判定所述待检测目标是否存在异常。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述异常判定方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述异常判定方法的步骤。
8.一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时实现如权利要求1至4任一项所述异常判定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111288937.XA CN114241401B (zh) | 2021-11-02 | 2021-11-02 | 异常判定方法、装置、设备、介质及产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111288937.XA CN114241401B (zh) | 2021-11-02 | 2021-11-02 | 异常判定方法、装置、设备、介质及产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114241401A CN114241401A (zh) | 2022-03-25 |
| CN114241401B true CN114241401B (zh) | 2024-10-15 |
Family
ID=80743539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111288937.XA Active CN114241401B (zh) | 2021-11-02 | 2021-11-02 | 异常判定方法、装置、设备、介质及产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114241401B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115035395B (zh) * | 2022-07-07 | 2023-11-10 | 北京拙河科技有限公司 | 用于机场航站楼场景的安全分析装置方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626275A (zh) * | 2020-07-30 | 2020-09-04 | 江苏金智慧安科技有限公司 | 一种基于智能视频分析的异常停车检测方法 |
| CN111767783A (zh) * | 2020-04-22 | 2020-10-13 | 杭州海康威视数字技术股份有限公司 | 行为检测、模型训练方法、装置、电子设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978756B (zh) * | 2019-03-18 | 2021-03-09 | 腾讯科技（深圳）有限公司 | 目标检测方法、系统、装置、存储介质和计算机设备 |
| CN112614168B (zh) * | 2020-12-21 | 2023-08-29 | 浙江大华技术股份有限公司 | 一种目标人脸跟踪方法、装置、电子设备及存储介质 |
| CN112529942B (zh) * | 2020-12-22 | 2024-04-02 | 深圳云天励飞技术股份有限公司 | 多目标跟踪方法、装置、计算机设备及存储介质 |
-
2021
- 2021-11-02 CN CN202111288937.XA patent/CN114241401B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767783A (zh) * | 2020-04-22 | 2020-10-13 | 杭州海康威视数字技术股份有限公司 | 行为检测、模型训练方法、装置、电子设备及存储介质 |
| CN111626275A (zh) * | 2020-07-30 | 2020-09-04 | 江苏金智慧安科技有限公司 | 一种基于智能视频分析的异常停车检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114241401A (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921159B (zh) | 用于检测安全帽的佩戴情况的方法和装置 | |
| CN110689054B (zh) | 一种工人违规行为监测方法 | |
| CN112906463A (zh) | 基于图像的火情检测方法、装置、设备及存储介质 | |
| CN111898581B (zh) | 动物检测方法、装置、电子设备及可读存储介质 | |
| CN113052029A (zh) | 基于动作识别的异常行为监管方法、装置及存储介质 | |
| CN110516529A (zh) | 一种基于深度学习图像处理的投喂检测方法和系统 | |
| CN110852147B (zh) | 一种安防报警方法、装置、服务器及计算机可读存储介质 | |
| CN110852222A (zh) | 一种基于目标检测的校园走廊场景智能监控方法 | |
| CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| CN113792578A (zh) | 用于变电站异常的检测方法、设备及系统 | |
| CN112434612A (zh) | 吸烟检测方法、装置、电子设备及计算机可读存储介质 | |
| CN113114986B (zh) | 基于画面和声音同步的预警方法及相关设备 | |
| CN113963438A (zh) | 行为识别方法及装置、设备和存储介质 | |
| CN114241401B (zh) | 异常判定方法、装置、设备、介质及产品 | |
| KR102540208B1 (ko) | 딥러닝을 이용한 화재감지방법 | |
| CN106803937B (zh) | 一种具有文本日志的双摄像头视频监控方法、系统和监控装置 | |
| CN114005019A (zh) | 一种翻拍图像识别方法及其相关设备 | |
| CN113342978A (zh) | 一种城市事件处理方法及装置 | |
| CN117253120A (zh) | 火灾的识别方法、装置及存储介质 | |
| CN105187821A (zh) | 一种视频质量智能诊断分析系统 | |
| CN116189063A (zh) | 一种用于智能视频监控的关键帧优化方法及装置 | |
| CN115311680A (zh) | 人体图像质量检测方法、装置、电子设备及存储介质 | |
| CN114898140A (zh) | 一种基于paa算法的行为检测方法、装置及可读介质 | |
| KR20210114169A (ko) | 객체검증을 이용한 모니터링 영상 분석 방법 및 이를 위한 장치 | |
| CN113515986A (zh) | 视频处理、数据处理方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |