CN109460744B - 一种基于深度学习的视频监控系统 - Google Patents
一种基于深度学习的视频监控系统 Download PDFInfo
- Publication number
- CN109460744B CN109460744B CN201811418016.9A CN201811418016A CN109460744B CN 109460744 B CN109460744 B CN 109460744B CN 201811418016 A CN201811418016 A CN 201811418016A CN 109460744 B CN109460744 B CN 109460744B
- Authority
- CN
- China
- Prior art keywords
- module
- image
- classification
- stage
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种基于深度学习的视频监控系统，包括图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块以及分类结果统计模块；所述图像采集模块连接各监控源，采集各监控源的图像数据；所述图像预处理及筛选模块对采集到的图像进行处理并筛选；所述分组转发模块对处理过的图像数据进行统一编码并将其发送到两级分类模块；所述两级分类模块对图像数据进行可疑异常检测、第二级的异常目标检测以及生产区域的安全隐患检测；所述分类结果统计模块统计得到的分类结果并通过对分类结果的连续时间性判断做出分类结果判定。本发明能够有效的结合到现有视频监控系统，能够实现实时的生产区域安全信息的提取，达到预防和控制安全隐患的目的。
Description
技术领域
本发明涉及视频监控领域，特别是涉及一种基于深度学习的视频监控系统。
背景技术
安全生产是社会发展和建设的重要方针之一，生产必安全，安全为了生产。在实施增产节约的同时必须注意职工的安全健康和不可缺少的福利事业。
在企业安全监控方面，现有的大部分电力公司都有完备的视频监控系统，并且能够覆盖主要安全节点的视频监控及录像，但是其实际情况仍然需要非常多的人力去主动巡视以及对监视器的日夜查看。而且，在目前的视频监控中，通常都是在各待监控区域分别安设一个摄像头，并在监控中心设置专门地显示窗口以供所有人查看，并在发现有异常时，由监看人员通知其相应的工作人员去现场查看。有可能出现并不能直接通知到相应工作人员地情况，另一方面，不同的紧急事件是需要不同地人分类别地查看，因此监控视频的处理和显示并没有针对性，也不够及时，这样会大大地减少了监控视频的可利用率和针对异常事件的处理效率。
发明内容
发明目的：根据上述不足，本发明提出了基于深度学习的视频监控系统，能够有效的结合到现有的企业视频监控系统，能够实现实时的生产区域安全信息的提取，达到预防和控制安全隐患的目的。
技术方案：
一种基于深度学习的视频监控系统，包括图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块以及分类结果统计模块；
所述图像采集模块连接各监控源，采集各监控源的图像数据；
所述图像预处理及筛选模块对所述图像采集模块采集到的图像使用中值滤波去噪，并通过二阶Sobel滤波对感兴趣区域进行相应的边缘提取并通过对所述图像进行分割计算提取工程阈值值，通过工程阈值筛选出异常的图像帧；
所述分组转发模块对所述图像预处理及筛选模块处理过的图像数据进行统一编码并将其发送到两级分类模块；所述编码将包括所属组信息、当前时间信息以及预处理结果信息设置唯一性的ID；所属组信息根据异常类型或者处理方案进行分组；
所述两级分类模块对所述分组转发模块发送的图像数据进行可疑异常检测、第二级的异常目标检测以及生产区域的安全隐患检测；所述可疑异常检测对特定目标图像进行初筛选，得到特定目标的图像帧；所述第二级的异常目标检测以及生产区域的安全隐患检测通过卷积神经网络对预先采集的实际场景的样图训练，对无目标下的管道气体或者液体或者雾状颗粒漏出进行监测得到异常报警信息，对可疑异常检测得到的特定目标的图像帧进行有目标下的目标异常程度进行辨别；
所述分类结果统计模块统计所述两级分类模块得到的分类结果并通过对分类结果的连续时间性判断做出分类结果判定，并将相应的结果数据保存到本地；所述分类结果判定采用时间连续性判定，即通过判断是否在设定时间段出现相同结果得到最终判断结果，并且将得到的结果存储到本地用于线下模型优化。
所述图像采集模块采用添加输出功能的监控设备或者可执行图像数据提取的处理单元。
所述图像预处理及筛选模块使用具备图像数据处理功能的监控设备或者可执行图像数据处理的处理单元。
所述两级分类模块包括第一级神经网络和第二级神经网络；所述第一级神经网络由一个神经网络模型组成，所述神经网络模型选用RCNN、Fast R-CNN、Faster R-CNN、FPN、YOLO v1、YOLO v2、SSD或RetinaNet；所述第二级神经网络使用卷积神经网络模型，根据实施场景的数目确定所述神经网络模型数量。
所述分类结果统计模块的分类结果判定中所述设定时间根据不同的要求和不同的场景确定。
还包括主控中心，所述主控中心包括用户管理模块、消息管理模块以及预警和显示模块；
所述用户管理模块用于用户信息注册、认证和创建以及删除；所述用户管理模块包括用户信息更新模块和权限管理模块；所述用户信息更新模块用于注册新用户和修改用户信息，所述用户信息包括用户名、姓名、工号、工作组；所述权限管理模块用于对用户的所有等级进行权限划分，对不同工作组的权限等级进行划分；
所述消息管理模块用于接收和传递各模块间事件消息；
所述预警和显示模块用于接收分类结果并对相应的结果发送至终端做出警示并输出到显示设备。
所述终端采用带有警示信息的提示灯或者带有警示信息的提示铃，所述显示设备为手机客户端或者网页端。
有益效果：本发明基于深度学习的视频监控系统能够有效的结合到现有的企业视频监控系统，能够实现实时的生产区域安全信息的提取，达到预防和控制安全隐患的目的。
附图说明
图1为本发明基于深度学习的视频监控系统较佳实施例中总的结构示意图。
图2为本发明基于深度学习的视频监控系统较佳实施例中部分结构示意图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明。
图1为本发明基于深度学习的视频监控系统较佳实施例中总的结构示意图。如图1所示，本发明的视频监控系统包括图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块、分类结果统计模块以及主控中心；
所述图像采集模块连接本发明视频监控系统的监控源，用于采集各监控源的图像数据，可以使用添加了输出功能的监控设备或者可以执行图像数据的提取的处理单元；
所述图像预处理及筛选模块对所述图像采集模块采集到的图像使用中值滤波去噪，并通过二阶Sobel滤波对感兴趣区域(ROI)进行相应的边缘提取并通过对所述图像进行分割计算提取工程阈值值，通过工程阈值筛选出异常的图像帧，减少大部分干扰图像，可以使用具备图像数据处理功能的监控设备或者可以执行图像数据处理的处理单元；
所述分组转发模块用于对所述图像预处理及筛选模块处理过的图像数据进行统一编码并将其发送到两级分类模块，可以使用具备编码功能的监控设备或者可以执行编码处理的处理单元；所述编码包括所属组信息、当前时间信息以及预处理结果信息设置唯一性的ID；所属组信息根据异常类型或者处理方案进行分组；
所述两级分类模块用于对所述分组转发模块发送的图像数据进行可疑异常检测、第二级的异常目标检测以及生产区域的安全隐患检测；可疑异常检测用于特定目标图像初筛选，得到特定目标的图像帧，在TensorFlow的环境下使用Fast RCNN识别网络进行；在本发明中，通过对不同场景下的相应特征使用不同的图像检测算法进行筛选；第二级的异常目标检测以及生产区域的安全隐患检测通过卷积神经网络对预先采集的实际场景的样图训练，对无目标下的管道气体或者液体或者雾状颗粒漏出进行监测得到异常报警信息，对可疑异常检测得到的特定目标的图像帧进行有目标下的目标异常程度进行辨别；
所述两级分类模块包括第一级神经网络和第二级神经网络；第一级神经网络主要由一个神经网络模型组成，可选用的神经网络有RCNN、Fast R-CNN、Faster R-CNN、FPN、YOLO v1、YOLO v2、SSD、RetinaNet。第二级神经网络使用卷积神经网络模型，具体根据实施场景的数目有关，实际选用方案可以是小型的传统卷积神经网络如AlexNet、GoogleNet、VGGNet。
所述分类结果统计模块用于统计所述两级分类模块得到的分类结果并通过对分类结果的连续时间性判断做出更加准确的分类结果判定，并将相应的结果数据保存到本地；分类结果判定采用时间连续性判定，即通过判断是否在设定时间段出现相同结果得到最终判断结果，并且将得到的结果存储到本地用于线下模型优化；在本发明中，所述设定时间根据不同的要求和不同的场景确定。
所述主控中心管理所有模块的交互，包括用户管理模块、消息管理模块以及预警和显示模块；所述用户管理模块用于用户信息注册、认证和创建以及删除；所述用户管理模块包括用户信息更新模块和权限管理模块；所述用户信息更新模块用于注册新用户和修改用户信息，所述用户信息包括用户名、姓名、工号、工作组；所述权限管理模块用于对企业的所有职位等级进行权限划分，对不同工作组的权限等级进行划分；所述消息管理模块用于接收和传递模块间事件消息；所述预警和显示模块用于接收分类结果并对相应的结果发送至终端做出警示并输出到显示设备，实际的终端预警设备可以是带有警示信息的提示灯或者是带有警示信息的提示铃，显示设备主要是存在于手机客户端或者网页端上。
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。
Claims (7)
1.一种基于深度学习的视频监控系统，其特征在于：包括图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块以及分类结果统计模块；
所述图像采集模块连接各监控源，采集各监控源的图像数据；
所述图像预处理及筛选模块对所述图像采集模块采集到的图像使用中值滤波去噪，并通过二阶Sobel滤波对感兴趣区域进行相应的边缘提取并通过对所述图像进行分割计算提取工程阈值，通过工程阈值筛选出异常的图像帧；
所述分组转发模块对所述图像预处理及筛选模块处理过的图像数据进行统一编码并将其发送到两级分类模块；所述编码将包括所属组信息、当前时间信息以及预处理结果信息设置唯一性的ID；所属组信息根据异常类型或者处理方案进行分组；
所述两级分类模块对所述分组转发模块发送的图像数据进行可疑异常检测、第二级的异常目标检测以及生产区域的安全隐患检测；所述可疑异常检测对特定目标图像进行初筛选，得到特定目标的图像帧；所述第二级的异常目标检测以及生产区域的安全隐患检测通过卷积神经网络对预先采集的实际场景的样图训练，对无目标下的管道气体或者液体或者雾状颗粒漏出进行监测得到异常报警信息，对可疑异常检测得到的特定目标的图像帧进行有目标下的目标异常程度进行辨别；
所述分类结果统计模块统计所述两级分类模块得到的分类结果并通过对分类结果的连续时间性判断做出分类结果判定，并将相应的结果数据保存到本地；所述分类结果判定采用时间连续性判定，即通过判断是否在设定时间段出现相同结果得到最终判断结果，并且将得到的结果存储到本地用于线下模型优化。
2.根据权利要求1所述的视频监控系统，其特征在于：所述图像采集模块采用添加输出功能的监控设备或者可执行图像数据提取的处理单元。
3.根据权利要求1所述的视频监控系统，其特征在于：所述图像预处理及筛选模块使用具备图像数据处理功能的监控设备或者可执行图像数据处理的处理单元。
4.根据权利要求1所述的视频监控系统，其特征在于：所述两级分类模块包括第一级神经网络和第二级神经网络；所述第一级神经网络由一个神经网络模型组成，所述神经网络模型选用RCNN、Fast R-CNN、Faster R-CNN、FPN、YOLO v1、YOLO v2、SSD或RetinaNet；所述第二级神经网络使用卷积神经网络模型，根据实施场景的数目确定所述神经网络模型数量。
5.根据权利要求1所述的视频监控系统，其特征在于：所述分类结果统计模块的分类结果判定中所述设定时间段根据不同的要求和不同的场景确定。
6.根据权利要求1所述的视频监控系统，其特征在于：还包括主控中心，所述主控中心包括用户管理模块、消息管理模块以及预警和显示模块；
所述用户管理模块用于用户信息注册、认证和创建以及删除；所述用户管理模块包括用户信息更新模块和权限管理模块；所述用户信息更新模块用于注册新用户和修改用户信息，所述用户信息包括用户名、姓名、工号、工作组；所述权限管理模块用于对用户的所有等级进行权限划分，对不同工作组的权限等级进行划分；
所述消息管理模块用于接收和传递各模块间事件消息；
所述预警和显示模块用于接收分类结果并对相应的结果发送至终端做出警示并输出到显示设备。
7.根据权利要求6所述的视频监控系统，其特征在于：所述终端采用带有警示信息的提示灯或者带有警示信息的提示铃，所述显示设备为手机客户端或者网页端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811418016.9A CN109460744B (zh) | 2018-11-26 | 2018-11-26 | 一种基于深度学习的视频监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811418016.9A CN109460744B (zh) | 2018-11-26 | 2018-11-26 | 一种基于深度学习的视频监控系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109460744A CN109460744A (zh) | 2019-03-12 |
| CN109460744B true CN109460744B (zh) | 2021-08-27 |
Family
ID=65611632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811418016.9A Active CN109460744B (zh) | 2018-11-26 | 2018-11-26 | 一种基于深度学习的视频监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109460744B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110553151B (zh) * | 2019-07-17 | 2021-05-07 | 石化盈科信息技术有限责任公司 | 一种管道泄漏监测方法和系统 |
| CN112307821A (zh) * | 2019-07-29 | 2021-02-02 | 顺丰科技有限公司 | 一种视频流处理方法、装置、设备及存储介质 |
| CN110687132A (zh) * | 2019-10-08 | 2020-01-14 | 嘉兴凡视智能科技有限公司 | 一种基于深度学习算法的液体内异物与气泡智能视觉检测系统 |
| CN112004053B (zh) * | 2020-07-20 | 2022-08-16 | 浙江大华技术股份有限公司 | 监控图像电子放大的方法、装置和计算机设备 |
| CN112861681B (zh) * | 2021-01-29 | 2023-04-07 | 长兴云尚科技有限公司 | 一种基于云端处理的管廊视频智能分析方法及系统 |
| CN113625603B (zh) * | 2021-07-27 | 2023-06-23 | 金鹏电子信息机器有限公司 | 基于大数据的安防监控管理系统及管理方法 |
| CN115081957B (zh) * | 2022-08-18 | 2022-11-15 | 山东超华环保智能装备有限公司 | 一种危废暂存及监测的危废管理平台 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845890A (zh) * | 2016-12-23 | 2017-06-13 | 济南博图信息技术有限公司 | 一种基于视频监控的仓储监控方法及装置 |
| WO2017136137A1 (en) * | 2016-02-04 | 2017-08-10 | Nec Laboratories America, Inc. | Semantic segmentation based on global optimization |
| CN108805002A (zh) * | 2018-04-11 | 2018-11-13 | 杭州电子科技大学 | 基于深度学习和动态聚类的监控视频异常事件检测方法 |
| CN108830457A (zh) * | 2018-05-14 | 2018-11-16 | 国网辽宁省电力有限公司 | 基于人工智能的电网运行监视与控制全景管理系统 |
-
2018
- 2018-11-26 CN CN201811418016.9A patent/CN109460744B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017136137A1 (en) * | 2016-02-04 | 2017-08-10 | Nec Laboratories America, Inc. | Semantic segmentation based on global optimization |
| CN106845890A (zh) * | 2016-12-23 | 2017-06-13 | 济南博图信息技术有限公司 | 一种基于视频监控的仓储监控方法及装置 |
| CN108805002A (zh) * | 2018-04-11 | 2018-11-13 | 杭州电子科技大学 | 基于深度学习和动态聚类的监控视频异常事件检测方法 |
| CN108830457A (zh) * | 2018-05-14 | 2018-11-16 | 国网辽宁省电力有限公司 | 基于人工智能的电网运行监视与控制全景管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109460744A (zh) | 2019-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109460744B (zh) | 一种基于深度学习的视频监控系统 | |
| CN106251578B (zh) | 基于探针的人流预警分析方法和系统 | |
| CN202773015U (zh) | 一种用于视频监控系统图像质量诊断装置 | |
| US20100231714A1 (en) | Video pattern recognition for automating emergency service incident awareness and response | |
| CN112052804A (zh) | 实现安全管理的视频智能分析及报警系统及其方法 | |
| US20230005176A1 (en) | Throwing position acquisition method and apparatus, computer device and storage medium | |
| CN210691345U (zh) | 一种基于深度学习的云智能安检辅助系统 | |
| CN108922114A (zh) | 安防监测方法和系统 | |
| CN103514694A (zh) | 一种入侵检测监控系统 | |
| CN117319609A (zh) | 一种物联网大数据智能视频监控系统及方法 | |
| CN104394361A (zh) | 行人越界智能监控装置与检测方法 | |
| CN210222962U (zh) | 一种智能电子围栏系统 | |
| CN114418388A (zh) | 一种基于图像识别的人员管理方法、装置及存储介质 | |
| CN112686130B (zh) | 一种智慧渔船监管决策系统 | |
| CN213424017U (zh) | 一种智能工地系统 | |
| CN114170272A (zh) | 一种云端环境下基于感知传感器的事故报告、储存方法 | |
| CN211184122U (zh) | 铁路作业安全防控和大客流预警联动的智能视频分析系统 | |
| CN105427519A (zh) | 一种隧道智能三合一报警系统 | |
| CN117612060A (zh) | 基于人工智能检测的视频预警系统、方法、设备及介质 | |
| CN112487935A (zh) | 一种危险点源安全管控系统 | |
| CN104574729A (zh) | 一种报警方法、装置及系统 | |
| CN110928305A (zh) | 用于铁路客运车站巡更机器人的巡更方法及系统 | |
| CN107820051A (zh) | 监控系统及其监控方法和装置 | |
| CN114140738A (zh) | 一种基于图像识别的车间安全隐患智能监测系统与方法 | |
| CN113628172A (zh) | 一种人员手持武器智能检测算法及智慧城市安防系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |