CN110263686A - 一种基于深度学习的施工工地图像安全帽检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的施工工地图像安全帽检测方法。本发明首先通过深度学习的目标检测方法检测到施工人员目标区域，获得该人员目标图像区域后，截取该区域的上1/3部分的图像，然后将上1/3部分的图像使用深度学习中的迁移学习方法进行安全帽分类网络的训练，判断该图像部分是否包含安全帽的信息，如果分类为安全帽，则图像中该人员佩戴了安全帽，否则图像中该人员未佩戴安全帽。本发明方法能满足安全帽检测的准确性要求，具有较大的使用价值。

Description

一种基于深度学习的施工工地图像安全帽检测方法

技术领域

本发明涉及施工工地是否佩戴安全帽的检测方法，具体涉及一种基于深度学习的施工工地图像安全帽检测方法。

背景技术

施工工地作业人员的工作时常伴随着安全隐患，安全帽作为一种个人头部防护用品，能有效地防止和减轻操作人员在生产作业中遭受坠落物体或自己坠落时对头部的伤害。作业人员佩戴安全帽工作是一种必要的安全措施，这能在一定程度上保障施工人员的人身安全，因此，对施工现场的施工人工要求进行安全帽的佩戴具有重要的意义。对进出施工现场的施工人员进行监控，并在发现没带安全帽的工人及时发出告警，能实现资源的合理分配和人员的有效管理，并能尽可能的保障施工人员的安全。然而目前施工现场对安全帽佩戴情况的监控大多依赖于人工的监视，尚未形成一个良好的自动监控系统，人工监视不能时时刻刻的检查，因此会造成一些疏忽现象。

传统的安全帽检测方法，采用的是背景建模方法来检测人体区域，这种方法容易受环境的影响，当环境不太稳定时，会造成较多的误检测情况。同时在对安全帽的检测采用的是颜色检测方法，这在安全帽颜色与背景环境颜色比较接近的情况下，很容易造成误检，导致安全帽佩戴的检测结果准确度不高。

本文针对施工工地安全帽检测这一需求，提出一种完全基于深度学习的安全帽佩戴情况的监控方法，该方法的行人识别与定位、是否佩戴安全帽都是通过神经网络算法来检测的，其可自动对施工现场施工人员的安全帽佩戴情况进行视频监控。本文的检测流程分为两步，首先是采用行人检测算法进行施工人员的检测，然后是对被检测到的人员的头部使用二分类算法进行分类，判断其是否佩戴安全帽。

发明内容

针对施工工地需要统计和监控工人佩戴安全帽的情况，为了解决施工工地安全帽检测准确率的问题，本发明提供了一种基于深度学习的施工工地安全帽检测方法，识别方法简单，方便工程应用集成，能够很大程度上提高安全帽佩戴的检测结果的准确度。

本发明所采用技术方案包括如下步骤：

1)采用已经标注信息区域的施工现场的视频图像，视频图像标注的信息区域分为人体区域和背景区域，图像中有行人的区域框定为正样本，其余为负样本区域；将所有视频图像构建为训练数据，将训练数据输入到深度学习目标检测网络进行训练，使用该训练好的深度学习目标检测网络对图像进行人体区域检测，如果检测到人体区域，将人体区域的上部1/3作为人体头部区域；

所述的视频图像中包含有人戴安全帽或者人未戴安全帽的图像。

2)构建佩戴安全帽和未佩戴安全帽的图像数据集，构建用于检测是否佩戴安全帽的深度学习分类网络，将图像数据集输入到深度学习分类网络进行训练；如果步骤2)得到了人体头部区域，使用训练好的深度学习分类网络对步骤1)中的人体头部区域进行深度学习分类检测，判断人体头部区域中的是否存在佩戴安全帽的情况，从而实现施工现场图像中的安全帽检测。

本发明的安全帽检测为两个模型的结合，通过训练得到对人体进行位置检测的模型，如果得到了人体区域后，将该区域的上1/3部分作为人体头部区域，使用训练得到的对佩戴安全帽的头部区域以及未佩戴安全帽的头部区域进行分类的深度学习网络对得到的人体头部区域进行分类。

所述的步骤1)中，人体区域和背景区域均采用矩形包围框进行标注，并对人体区域和背景区域进行类型标记，其中人体区域对应为标签1，背景区域对应为标签1，从而组成人体区域检测的训练数据；将训练数据输入到深度学习目标检测网络中，采用梯度下降算法使得目标检测网络的损失函数收敛到一个最小值完成训练，损失函数使用smooth L1损失函数。

所述的步骤1)中，深度学习目标检测网络主要由5个模块、5个模块依次连接构成：第一个模块为基础网络模块，使用去除了分类层的ResNet-50层网络，通过基础网络模型对原始图片进行特征抽取；第二模块至第四模块均为高和宽减半模块，高宽减半模块主要由两个填充为1的3×3的卷积层串联后接着再连接一个步长为2×2的最大池化层构成，通过高宽减半模块将上层的输入特征图的高和宽变为原来的一半大小；第五模块为全局最大池化层，将特征图的高和宽降为1；并且，在第二至第五模块的每个模块输出的特征图中，以每个像素为中心生成固定数量的锚框，对每个锚框分别采用类别预测层和边界预测层进行类别预测和边界框预测：类别预测层使用一个填充为1的3×3的卷积层，卷积层的输入和输出的高和宽保持不变，输出的通道数为锚框数×目标检测的类别数目，类别预测层使用卷积层的输出的通道来对类别进行预测；边界预测层使用的一个填充为1的3×3的卷积层，卷积层的输入和输出的高和宽保持不变，输出的通道数为锚框数×每个锚框预测的4个偏移量，4个偏移量为锚框的左上角坐标x和y，锚框的宽w和高h，边界预测层使用卷积层的输出的通道来对锚框的边界进行预测；目标检测网络包含有两个损失，分别为锚框类别损失和正类锚框偏移量损失，锚框类别损失的类别预测使用的多分类对数损失函数，正类锚框偏移量损失使用L1范数损失函数，锚框预测值与真实值之间差的绝对值；锚框类别损失和正类锚框偏移量损失的损失相加作为目标检测网络的最终损失函数。

所述步骤3)中，所述的深度学习分类网络具体结构为：包括依次连接的六个分类模块层、一层一维数据转换层、一层全连接层、一层Softmax函数分类层，其中每个分类模块层主要由一个卷积层、一个ReLU函数激活层和一个最大池化层依次连接构成，图像数据集输入到第一个分类模块的卷积层中，预测结果从Softmax函数分类层输出。训练中采用Adam优化算法训练深度学习分类网络，直到深度学习分类网络的损失函数收敛到稳定的最小值，其中损失函数采用的是多分类对数损失函数。

所述步骤2)之后，当图像的检测结果为未佩戴安全帽时，发送未佩戴安全帽的人体区域图像和提醒信号到终端，进而发出警报声音提醒未佩戴安全帽的人。

所述的终端是指施工现场的计算机或者移动设备。

本发明的有益效果是：

1)本发明中的行人识别与定位、是否佩戴安全帽都是通过神经网络算法来检测的，该检测方法能够通过学习提取到更加丰富的图像细节特征，提高对佩戴安全帽检测的准确度。

2)本发明对于检测佩戴安全帽具有很好的准确性和实时性，一张512×512尺寸的待检测坚果图像检测时间只需要150ms，深度学习具有更抽象的特征提取能力从而提升了对佩戴安全帽检测的能力。

3)本发明方法应用范围广泛，方法简便易于应用，检测效率高，识别检测模型维护无需工作人员具有计算机图像专业特征提取的知识经验，在视频监控检测方面具有较大的应用潜力。

附图说明

图1是本发明的流程图。

图2是本发明的深度学习目标检测网络的结构图图。

图3是本发明实施例1中的施工工地视频图像样本示意图。

图4是本发明实施例1中使用目标检测网络检测人体区域的样本示意图。

图5是本发明实施例1中的得到的人体头部区域的示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

如图1所示，本发明的的实施过程如下：

步骤一：采集施工工地的图像数据样本，将图像样本中的人体区域使用矩形包围框进行框定标注。使用这些标注好的图像数据来构建训练样本，输入训练数据到目标检测网络中来训练网络，具体的过程为：

1.1)对施工工地的图像使用矩形包围框进行位置框定和类别标注，其中框定的位置信息为矩形包围框左上角的坐标(x,y)，以及该矩形包围框的高和宽(h,w)，其中人体区域对应的类别标号为1，背景对应的类别标号为0，从而组成用于训练目标检测网络的训练数据；

1.2)将步骤1.1)中的训练数据分别两批，分别为训练集与验证集，其中80％的数据为训练集，20％的数据为验证集。

步骤二：将步骤1)中所有图像构建为训练数据用于训练深度学习目标检测网络，所述训练数据为人体区域标注信息以及背景区域标注信息，使用该训练好的目标检测网络对图像进行人体区域检测，如果检测到人体区域，将该区域的上1/3作为人体的头部区域，具体过程为：

2.1)设计如图2所示的用于行人检测的目标检测网络，该网络的结构是一个单发多框检测器，它是由一个基础网络快和若干个多尺度特征快串联而成，在这里我们使用的是去除分类层的ResNet-50层网络作为基础网络块用于特征的抽取，接下来的每个多尺度特征快将上一层提供的特征图的高和宽进行缩小，这可以使得网络能在不同的尺度上进行目标的检测；

2.2)定义损失函数，目标检测有两个损失函数：一个是锚框类别的损失，该损失使用的是分类问题中的多分类对数损失函数；二是与正类锚框偏移量的损失，该损失使用的是L1范数损失，即预测值与真实值之间差的绝对值。最后将锚框类别和偏移量的损失相加得到目标检测网络模型的最终损失函数。

2.3)将步骤一中的训练数据采用小批量法来训练目标检测网络，直到目标检测网络的最终损失函数收敛到一个稳定的最小值。

步骤三：构建佩戴安全帽以及未佩戴安全帽的图像数据集，设计用于检测是否佩戴安全帽的深度学习分类网络并进行训练；具体过程为：

3.1)构建佩戴安全帽的头部区域以及未佩戴安全帽的头部区域组成的训练数据集，其中佩戴安全帽图像对应类型标号为1的集合，未佩戴安全帽图像对应类型标号为0的集合。

3.2)设计佩戴安全帽分类网络，佩戴安全帽分类网络是一个依次连接的六个分类模块层、一层一维数据转换层、一层全连接层、一层Softmax函数分类层的分类网络，其中每个分类模块层主要由一个卷积层、一个ReLU函数激活层和一个最大池化层依次连接构成，图像数据集输入到第一个分类模块的卷积层中，预测结果从Softmax函数分类层输出。

3.3)将训练数据输入到深度学习的分类网络中进行网络模型的训练，训练过程中采用Adam优化算法训练深度学习分类网络，直到深度学习分类网络的损失函数收敛到稳定的最小值，其中损失函数采用的是多分类对数损失函数。

步骤四：采集施工工地的施工人员的原始图像，将原始图像输入步骤二中的目标检测网络中，如果目标检测网络检测到行人目标，则截取该人体区域的上1/3部分区域作为行人的头部区域。再将得到的头部区域输入到步骤三中的佩戴安全帽分类网络中，判断该头部区域中是否为佩戴安全帽，如果是，则认为该人员正常佩戴了安全帽，如果不是，则该工作人员为佩戴安全帽，进行该人员的图像收集以及发出警报处理。

具体实施例：

本发明采用如图3所示的施工工地视频的原始图像作为输入图像，该图像中有施工工地的作业人员。首先将原始图片输入到目标检测网络，目标检测网络将会检测出原始图片中的行人，结果如图4所示，目标检测网络将行人使用锚框框出来了。获取行人的锚框后，选取行人锚框区域的上1/3区域作为待检测的头部区域，如图5所示。将得到的头部区域作为佩戴安全帽检测网络的输入数据，输入到训练好的佩戴安全帽的深度学习分类网络中进行是否佩戴安全帽的类别预测，网络将会输出佩戴安全帽和没有佩戴安全帽的预测值，当预测佩戴安全帽的预测值大于0.7时，则认为该行人佩戴了安全帽，否则认为未佩戴安全帽，此时系统将会收集该人员的图像以及发出警报。

本发明可以实现检测施工人员佩戴安全帽情况的目的，检测有着很好的准确性，且算法简单有效，在视频监控领域具有较大的应用潜力。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (5)

1.一种基于深度学习的施工工地图像安全帽检测方法，其特征在于：该方法包括如下步骤：

1)采用已经标注信息区域的施工现场的视频图像，视频图像标注的信息区域分为人体区域和背景区域，将所有视频图像构建为训练数据，将训练数据输入到深度学习目标检测网络进行训练，使用该训练好的深度学习目标检测网络对图像进行人体区域检测，如果检测到人体区域，将人体区域的上部1/3作为人体头部区域；

2)构建佩戴安全帽和未佩戴安全帽的图像数据集，构建用于检测是否佩戴安全帽的深度学习分类网络，将图像数据集输入到深度学习分类网络进行训练；使用训练好的深度学习分类网络对步骤1)中的人体头部区域进行深度学习分类检测，判断人体头部区域中的是否存在佩戴安全帽的情况，从而实现施工现场图像中的安全帽检测。

2.根据权利要求1所述的一种基于深度学习的施工工地图像安全帽检测方法，其特征在于：

所述的步骤1)中，人体区域和背景区域均采用矩形包围框进行标注，并对人体区域和背景区域进行类型标记，其中人体区域对应为标签1，背景区域对应为标签1，从而组成人体区域检测的训练数据；将训练数据输入到深度学习目标检测网络中，采用梯度下降算法使得目标检测网络的损失函数收敛到一个最小值完成训练，损失函数使用smooth L1损失函数。

3.根据权利要求1所述的一种基于深度学习的施工工地图像安全帽检测方法，其特征在于：

所述的步骤1)中，深度学习目标检测网络主要由5个模块、5个模块依次连接构成：第一个模块为基础网络模块，使用去除了分类层的ResNet-50层网络；第二模块至第四模块均为高和宽减半模块，高宽减半模块主要由两个填充为1的3×3的卷积层串联后接着再连接一个步长为2×2的最大池化层构成；第五模块为全局最大池化层，将特征图的高和宽降为1；并且，在第二至第五模块的每个模块输出的特征图中，以每个像素为中心生成固定数量的锚框，对每个锚框分别采用类别预测层和边界预测层进行类别预测和边界框预测：类别预测层使用一个填充为1的3×3的卷积层，卷积层的输入和输出的高和宽保持不变，输出的通道数为锚框数×目标检测的类别数目，类别预测层使用卷积层的输出的通道来对类别进行预测；边界预测层使用的一个填充为1的3×3的卷积层，卷积层的输入和输出的高和宽保持不变，输出的通道数为锚框数×每个锚框预测的4个偏移量，4个偏移量为锚框的左上角坐标x和y，锚框的宽w和高h，边界预测层使用卷积层的输出的通道来对锚框的边界进行预测；目标检测网络包含有两个损失，分别为锚框类别损失和正类锚框偏移量损失，锚框类别损失的类别预测使用的多分类对数损失函数，正类锚框偏移量损失使用L1范数损失函数，锚框类别损失和正类锚框偏移量损失的损失相加作为目标检测网络的最终损失函数。

4.根据权利要求1所述的一种基于深度学习的施工工地图像安全帽检测方法，其特征在于：所述步骤3)中，所述的深度学习分类网络具体结构为：包括依次连接的六个分类模块层、一层一维数据转换层、一层全连接层、一层Softmax函数分类层，其中每个分类模块层主要由一个卷积层、一个ReLU函数激活层和一个最大池化层依次连接构成，图像数据集输入到第一个分类模块的卷积层中，预测结果从Softmax函数分类层输出。训练中采用Adam优化算法训练深度学习分类网络，直到深度学习分类网络的损失函数收敛到稳定的最小值，其中损失函数采用的是多分类对数损失函数。

5.根据权利要求1所述的一种基于深度学习的施工工地图像安全帽检测方法，其特征在于：所述步骤2)之后，当图像的检测结果为未佩戴安全帽时，发送未佩戴安全帽的人体区域图像和提醒信号到终端，进而发出警报声音提醒未佩戴安全帽的人。