CN113642474A - 一种基于yolov5的危险区域人员监控方法 - Google Patents
一种基于yolov5的危险区域人员监控方法 Download PDFInfo
- Publication number
- CN113642474A CN113642474A CN202110941137.7A CN202110941137A CN113642474A CN 113642474 A CN113642474 A CN 113642474A CN 202110941137 A CN202110941137 A CN 202110941137A CN 113642474 A CN113642474 A CN 113642474A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- network model
- learning network
- monitoring
- yolov5
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于YOLOV5的危险区域人员监控方法，包括以下步骤：步骤1、构建深度学习模型训练集：从矿下监控视频流获取图像，并对图像进行样本标注；步骤2、利用步骤1标注好的样本训练基于YOLOV5的深度学习网络模型，步骤3、构建测试数据集，并传入训练好的深度学习网络模型进行测试，判断深度学习网络模型是否符合工程需求，若是则结束训练，否则修改网络参数重新进行训练；步骤4、利用训练好的深度学习网络模型对矿下视频监控中的人员危险行为进行识别，并输出识别结果。本发明在稳定基础的YOLOV5框架上，引入了更多特征提取和自适应模块，能有效地应用到实际的人员行为监控任务中，极大提高监控的数据解析能力。
Description
技术领域
本发明属于图像检测和图像分割技术领域，特别涉及一种基于YOLOV5的危险区域人员监控方法。
背景技术
目标检测是泛身份识别领域的一个基础性的算法，是智能监控系统的核心部分，以及图像处理和计算机视觉学科的重要分支，同时目标检测对后续的人脸识别、步态识别、人群计数、实例分割等任务起着至关重要的作用。由于深度学习的广泛运用，目标检测算法得到了较为快速的发展。
基于YOLO的目标检测算法将对象检测重新定义为一个回归问题。它将单个卷积神经网络(CNN)应用于整个图像，将图像分成网格，并预测每个网格的类概率和边界框。
目标检测算法对每个类的对象应用一个称为“非最大抑制(Non MaxSuppression)”的方法来过滤出“置信度”小于阈值的边界框，这可以对图像进行预测。
目标检测的边界框可以使用四个描述符进行描述，分别为：边界框的中心、高度、宽度、值映射到对象所属的类。
暗图像增强算法用于增强图像中的有用信息，其目的是要改善图像的视觉效果。目前图像增强常用算法有：直方图均衡化、直方图规定化、基于物理模型图像增强算法、基于偏微分方程和变分的图像增强算法以及变化域图像增强算法等等，随着技术的发展，算法也在不断地改进。
发明内容
本发明的目的在于克服现有技术的不足，提供一种在稳定基础的YOLOV5框架上，引入了更多特征提取和自适应模块，能有效地应用到实际的人员行为监控任务中，可以极大地提高监控的数据解析能力的基于YOLOV5的危险区域人员监控方法。
本发明的目的是通过以下技术方案来实现的：一种基于YOLOV5的危险区域人员监控方法，包括以下步骤：
步骤1、构建深度学习模型训练集：从矿下监控视频流获取图像，并对图像进行样本标注；
步骤2、利用步骤1标注好的样本训练基于YOLOV5的深度学习网络模型，
步骤3、构建测试数据集，并传入训练好的深度学习网络模型进行测试，判断深度学习网络模型是否符合工程需求，若是则结束训练，否则修改网络参数重新进行训练；
步骤4、利用训练好的深度学习网络模型对矿下视频监控中的人员危险行为进行识别，并输出识别结果。
进一步地，所述步骤1包括以下子步骤：
步骤11、从矿下监控视频流获取图像，并对图像进行预处理：将亮度低于设定阈值的图像进行增强；然后对图像进行随机水平/垂直翻转、旋转、裁剪操作；
步骤12、将处理后的图像做样本标注，对每张图像上的人员的位置信息做预先标注。
进一步地，所述深度学习网络模型由三个主要组件组成：
1)Backbone组件：在不同图像细粒度上聚合并形成图像特征的卷积神经网络；
2)Neck组件：一系列混合和组合图像特征的网络层，并将图像特征传递到预测层；
3)Prediction组件：对图像特征进行预测，生成边界框并预测类别。
进一步地，所述Backbone组件包括依次连接的Focus层、CBL模块、CSP_A模块、AC-Block模块、CBL模块、CSP_A模块、AC-Block模块、CBL模块和SPP模块。
进一步地，所述步骤3中，判断深度学习网络模型是否符合工程需求具体方法为：判断深度学习网络模型是否能够准确识别出视频画面中的工作人员；判断深度学习网络模型是否能够准确识别出工作人员的活动区域；判断深度学习网络模型是否能够精确判断出工作人员是否进入画面中的危险区域；判断深度学习网络模型是否能够及时对违规行为做出实时预警反馈。
本发明的有益效果是：本发明在稳定基础的YOLOV5框架上，引入了更多特征提取和自适应模块，能有效地应用到实际的人员行为监控任务中，可以极大地提高监控的数据解析能力。利用关键区域监控策略，可以高效精确地关注关键区域(危险区域)中的人员活动情况，并做出预警反馈。
附图说明
图1为本发明的基于YOLOV5的危险区域人员监控方法的流程图；
图2为本发明的基于YOLOV5的深度学习网络模型的结构图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
如图1所示，本发明的一种基于YOLOV5的危险区域人员监控方法，包括以下步骤：
步骤1、构建深度学习模型训练集：从矿下监控视频流获取图像，并对图像进行样本标注；具体包括以下子步骤：
步骤11、从矿下监控视频流获取图像，并对图像进行预处理：将亮度低于设定阈值的图像进行增强，使数据集整体更好地贴合训练需求，可以对较暗环境下获取到的视频作出高精度的预测；然后对图像进行随机水平/垂直翻转、旋转、裁剪操作，增加训练集样本容量，增加模型的泛化能力和鲁棒性；
步骤12、将处理后的图像做样本标注，对每张图像上的人员的位置信息做预先标注，作为标签数据用于模型训练和参数优化。
步骤2、利用步骤1标注好的样本训练基于YOLOV5的深度学习网络模型，本发明将高效实用的特征提取模块应用到深度模型中，把处理后的图像数据传入训练模型进行训练，同时调节网络优化策略使得模型的性能指标可以达到最优；在稳定基础的YOLOV5框架上，引入了更多特征提取和自适应模块，具体网络模型如图2所示。本发明的深度学习网络模型由三个主要组件组成：
1)Backbone组件：在不同图像细粒度上聚合并形成图像特征的卷积神经网络；
2)Neck组件：一系列混合和组合图像特征的网络层，并将图像特征传递到预测层；
3)Prediction组件：对图像特征进行预测，生成边界框并预测类别。
所述Backbone组件包括依次连接的Focus层、CBL模块、CSP_A模块、AC-Block模块、CBL模块、CSP_A模块、AC-Block模块、CBL模块和SPP模块。本发明在Backbone组件的每个CSP_A模块之后增加一个AC-Block模块(非对称卷积结构)，能够加强卷积对于中心位置的特征提取，克服现有技术在视频质量较差时，因提取特征的能力较差而表现出的检测准确率不高的缺陷，从而提高检测取证的准确率。其余网络结构与现有的YOLOV5网络模型相同。
所述Focus层的作用是将输入图像复制四份，然后通过切片操作将这个四个图片切成四个切片；
CSP_A模块先是经过1x1的卷积结构(Conv+Batch_norm+Leaky relu，CBL)，然后通过残差结构与初始输入相加，最后再通过残差结构与初始输入拼接。
Neck组件采用了FPN+PAN结构，FPN层自顶向下传达强语义特征，将高层的特征信息通过上采样的方式进行传递融合，输出76*76、38*38和19*19的特征图；后接一个PAN结构，自底向上传达强定位特征，采用下采样的方式，输出76*76、38*38和19*19的特征图，并与FPN结构的输出图进行concate操作，从不同的主干层对不同的检测层进行参数聚合，进一步提高特征提取的能力；
FA模块分为通道特征注意力CFA以及像素特征注意力PFA，CFA负责给不同通道的特征图分配不同的权重；像素注意力则负责对图像不同区域给予不同权重的关注。
使用本发明的模型能有效地应用到实际的人员行为监控任务中。
步骤3、构建测试数据集，并传入训练好的深度学习网络模型进行测试，判断深度学习网络模型是否符合工程需求，若是则结束训练，否则修改网络参数重新进行训练；
判断深度学习网络模型是否符合工程需求具体方法为：判断深度学习网络模型是否能够准确识别出视频画面中的工作人员；判断深度学习网络模型是否能够准确识别出工作人员的活动区域；判断深度学习网络模型是否能够精确判断出工作人员是否进入画面中的危险区域；判断深度学习网络模型是否能够及时对违规行为做出实时预警反馈。
步骤4、利用训练好的深度学习网络模型对矿下视频监控中的人员危险行为进行识别，并输出识别结果。
构建系统整体监控方案，制定危险区域人员监控策略，并采用本发明的深度学习网络模型识别矿下视频监控中的人员危险行为信息，并反馈相应的预警任务，即可实现危险区域人员监控任务。本发明具体实施的监控方案和策略为：1)对存在危险区域的位置实施视频监控；2)利用上述算网络模型对传回的视频画面进行人员活动区域监控；3)对模型检测的数据结果进行精确度评估；4)利用算法判断画面中人员是否进入活动区域；5)对于违规行为，系统自动实施预警措施。
同时，系统的危险反馈信号是通过多维信息反馈的，包括人员所在具体位置信息反馈、系统软件界面异常画面红色预警反馈、预警装置声音警报反馈等。本发明对于视频画面中人员的危险行为，可做出多种违规分析，即通过算法获取违规人员对应位置、具体活动区域、相应监控摄像画面等系统信息，和行为数据库比对将监测的违规行为进行正确分类，并实施相应预警反馈。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (5)
1.一种基于YOLOV5的危险区域人员监控方法，其特征在于，包括以下步骤：
步骤1、构建深度学习模型训练集：从矿下监控视频流获取图像，并对图像进行样本标注；
步骤2、利用步骤1标注好的样本训练基于YOLOV5的深度学习网络模型，
步骤3、构建测试数据集，并传入训练好的深度学习网络模型进行测试，判断深度学习网络模型是否符合工程需求，若是则结束训练，否则修改网络参数重新进行训练；
步骤4、利用训练好的深度学习网络模型对矿下视频监控中的人员危险行为进行识别，并输出识别结果。
2.根据权利要求1所述的一种基于YOLOV5的危险区域人员监控方法，其特征在于，所述步骤1包括以下子步骤：
步骤11、从矿下监控视频流获取图像，并对图像进行预处理：将亮度低于设定阈值的图像进行增强；然后对图像进行随机水平/垂直翻转、旋转、裁剪操作；
步骤12、将处理后的图像做样本标注，对每张图像上的人员的位置信息做预先标注。
3.根据权利要求1所述的一种基于YOLOV5的危险区域人员监控方法，其特征在于，所述深度学习网络模型由三个主要组件组成：
1)Backbone组件：在不同图像细粒度上聚合并形成图像特征的卷积神经网络；
2)Neck组件：一系列混合和组合图像特征的网络层，并将图像特征传递到预测层；
3)Prediction组件：对图像特征进行预测，生成边界框并预测类别。
4.根据权利要求1所述的一种基于YOLOV5的危险区域人员监控方法，其特征在于，所述Backbone组件包括依次连接的Focus层、CBL模块、CSP_A模块、AC-Block模块、CBL模块、CSP_A模块、AC-Block模块、CBL模块和SPP模块。
5.根据权利要求1所述的一种基于YOLOV5的危险区域人员监控方法，其特征在于，所述步骤3中，判断深度学习网络模型是否符合工程需求具体方法为：判断深度学习网络模型是否能够准确识别出视频画面中的工作人员；判断深度学习网络模型是否能够准确识别出工作人员的活动区域；判断深度学习网络模型是否能够精确判断出工作人员是否进入画面中的危险区域；判断深度学习网络模型是否能够及时对违规行为做出实时预警反馈。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110941137.7A CN113642474A (zh) | 2021-08-17 | 2021-08-17 | 一种基于yolov5的危险区域人员监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110941137.7A CN113642474A (zh) | 2021-08-17 | 2021-08-17 | 一种基于yolov5的危险区域人员监控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113642474A true CN113642474A (zh) | 2021-11-12 |
Family
ID=78422233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110941137.7A Pending CN113642474A (zh) | 2021-08-17 | 2021-08-17 | 一种基于yolov5的危险区域人员监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113642474A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114445748A (zh) * | 2022-01-28 | 2022-05-06 | 深圳市中云慧通科技有限公司 | 一种视频人体特征检测、联动告警方法及存储介质 |
| CN114724246A (zh) * | 2022-04-11 | 2022-07-08 | 中国人民解放军东部战区总医院 | 危险行为识别方法及装置 |
| CN115041487A (zh) * | 2022-05-18 | 2022-09-13 | 深圳能源环保股份有限公司 | 一种基于高精度室外定位的飞灰填埋综合管理方法及系统 |
| CN115294661A (zh) * | 2022-10-10 | 2022-11-04 | 青岛浩海网络科技股份有限公司 | 一种基于深度学习的行人危险行为识别方法 |
| CN116206255A (zh) * | 2023-01-06 | 2023-06-02 | 广州纬纶信息科技有限公司 | 基于机器视觉的危险区域人员监控方法与装置 |
| CN116740821A (zh) * | 2023-08-16 | 2023-09-12 | 南京迅集科技有限公司 | 基于边缘计算的智能车间控制方法和系统 |
| CN117456610A (zh) * | 2023-12-21 | 2024-01-26 | 浪潮软件科技有限公司 | 一种攀爬异常行为检测方法、系统及电子设备 |
| CN117726967A (zh) * | 2023-11-07 | 2024-03-19 | 中信重工开诚智能装备有限公司 | 一种煤矿副井智能操车监测系统及控制方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110457984A (zh) * | 2019-05-21 | 2019-11-15 | 电子科技大学 | 监控场景下基于ResNet-50的行人属性识别方法 |
| CN112966589A (zh) * | 2021-03-03 | 2021-06-15 | 中润油联天下网络科技有限公司 | 一种在危险区域的行为识别方法 |
-
2021
- 2021-08-17 CN CN202110941137.7A patent/CN113642474A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110457984A (zh) * | 2019-05-21 | 2019-11-15 | 电子科技大学 | 监控场景下基于ResNet-50的行人属性识别方法 |
| CN112966589A (zh) * | 2021-03-03 | 2021-06-15 | 中润油联天下网络科技有限公司 | 一种在危险区域的行为识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| YNXDB2002: "YOLO V5 模型结构及迁移学习", 《CSDN》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114445748A (zh) * | 2022-01-28 | 2022-05-06 | 深圳市中云慧通科技有限公司 | 一种视频人体特征检测、联动告警方法及存储介质 |
| CN114724246A (zh) * | 2022-04-11 | 2022-07-08 | 中国人民解放军东部战区总医院 | 危险行为识别方法及装置 |
| CN114724246B (zh) * | 2022-04-11 | 2024-01-30 | 中国人民解放军东部战区总医院 | 危险行为识别方法及装置 |
| CN115041487A (zh) * | 2022-05-18 | 2022-09-13 | 深圳能源环保股份有限公司 | 一种基于高精度室外定位的飞灰填埋综合管理方法及系统 |
| CN115294661A (zh) * | 2022-10-10 | 2022-11-04 | 青岛浩海网络科技股份有限公司 | 一种基于深度学习的行人危险行为识别方法 |
| CN116206255A (zh) * | 2023-01-06 | 2023-06-02 | 广州纬纶信息科技有限公司 | 基于机器视觉的危险区域人员监控方法与装置 |
| CN116206255B (zh) * | 2023-01-06 | 2024-02-20 | 广州纬纶信息科技有限公司 | 基于机器视觉的危险区域人员监控方法与装置 |
| CN116740821A (zh) * | 2023-08-16 | 2023-09-12 | 南京迅集科技有限公司 | 基于边缘计算的智能车间控制方法和系统 |
| CN116740821B (zh) * | 2023-08-16 | 2023-10-24 | 南京迅集科技有限公司 | 基于边缘计算的智能车间控制方法和系统 |
| CN117726967A (zh) * | 2023-11-07 | 2024-03-19 | 中信重工开诚智能装备有限公司 | 一种煤矿副井智能操车监测系统及控制方法 |
| CN117456610A (zh) * | 2023-12-21 | 2024-01-26 | 浪潮软件科技有限公司 | 一种攀爬异常行为检测方法、系统及电子设备 |
| CN117456610B (zh) * | 2023-12-21 | 2024-04-12 | 浪潮软件科技有限公司 | 一种攀爬异常行为检测方法、系统及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| CN110969130B (zh) | 一种基于yolov3司机危险动作识别方法及系统 | |
| CN110689054B (zh) | 一种工人违规行为监测方法 | |
| WO2021051601A1 (zh) | 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质 | |
| CN111368690B (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
| CN111222478A (zh) | 一种工地安全防护检测方法和系统 | |
| CN115131283B (zh) | 目标对象的缺陷检测、模型训练方法、装置、设备及介质 | |
| CN115797736B (zh) | 目标检测模型的训练和目标检测方法、装置、设备和介质 | |
| CN110298297A (zh) | 火焰识别方法和装置 | |
| CN112131951A (zh) | 一种自动化识别施工中违规使用梯子行为的系统 | |
| CN114648714A (zh) | 一种基于yolo的车间规范行为的监测方法 | |
| CN114373162B (zh) | 用于变电站视频监控的危险区域人员入侵检测方法及系统 | |
| CN114913233A (zh) | 图像处理方法、装置、设备、介质及产品 | |
| GB2605580A (en) | Apparatus and method of image processing to detect a substance spill on a solid surface | |
| CN116959099B (zh) | 一种基于时空图卷积神经网络的异常行为识别方法 | |
| CN113642473A (zh) | 一种基于计算机视觉的矿下煤机状态识别方法 | |
| CN106530199B (zh) | 基于窗口式假设检验的多媒体综合隐写分析方法 | |
| CN116798117A (zh) | 一种基于视频理解的矿井下异常动作识别方法 | |
| CN116822939A (zh) | 基于三维空间关系的变电站带电区域风险辨识方法及系统 | |
| CN116977256A (zh) | 缺陷检测模型的训练方法、装置、设备及存储介质 | |
| CN115909493A (zh) | 一种面向课堂实录视频的教师不当手势检测方法及系统 | |
| CN114694090A (zh) | 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法 | |
| CN114332051A (zh) | 一种基于图像推理的输配电线路设备资产普查方法 | |
| CN113936294A (zh) | 建筑工地人员识别方法、可读存储介质和电子设备 | |
| CN110728310A (zh) | 一种基于超参数优化的目标检测模型融合方法及融合系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |