CN113989711B - 一种配电施工安全工器具使用识别方法及系统 - Google Patents

Abstract

本发明提供了一种配电施工安全工器具使用识别方法及系统，属于计算机视觉识别技术领域。本发明通过对电力作业现场进行实时监控，对监控视频利用预先训练好的目标检测模型提取作业人员手部图像信息、操作杆图像信息和绝缘手套图像信息，进而再分别根据手部图像信息与操作杆图像信息以及手部图像信息与绝缘手套图像信息来判断作业人员对操作杆和绝缘手套的佩戴情况。本发明通过对电力作业现场实时监控并对监控视频进行分析，从而能够不间断的检测作业人员的工器具使用情况。避免了人工巡检导致的劳动强度大且不能实时巡检的问题。

Description

一种配电施工安全工器具使用识别方法及系统

技术领域

本发明属于计算机视觉识别技术领域，具体涉及一种配电施工安全工器具使用识别方法及系统。

背景技术

随着生产生活对电力能源的需求量不断增加，我国对电力生产产生了更高的需求。受多方面因素的影响，我国电力生产事故的发生频率处于较高水平，对城市的安全生产造成了威胁。因此，必须要将全方位的安全生产理念引入到电力生产作业中，为电力系统的正常运行提供保障，电力生产作业过程中工序复杂，日常巡检和维修过程中会接触高压电力设备，如操作不当或未佩戴防护装备，容易出现安全事故。

综上所述，为确保电力工作人员在采用合规防护措施和操作流程，提高工作人员安全防护意识，提升现场安全作业水平，传统的方式是采用人工巡检或者每个作业现场驻守一个监督者，这样，巡检人员的劳动强度大，生产成本高，每个作业现场距离远，巡检人员大部分时间浪费在路途中，作业人员暂时满足巡检人员要求，巡检人员离开后，作业人员贪图方便，没有采用合规的防护措施。近年来，随着计算机视觉和物联网技术的逐渐成熟，尤其是神经网络技术的飞速发展，深度学习技术开始应用于各类生产环境中。采用深度学习相关技术对施工现场进行实时合规防护措施检测是目前的主流研究方向。

发明内容

有鉴于此，本发明旨在解决现有对电力生产作业进行人工巡检存在的劳动强度大且不能实时巡检的问题。

为了解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供了一种配电施工安全工器具使用识别方法，包括以下步骤：

通过摄像头rtsp获取电力作业现场的作业视频图像，并进行解码；

对解码后的作业视频图像进行预处理，将经过预处理的作业视频图像输入到预先训练好的目标检测模型中，以获得目标检测模型输出的目标的类别、矩形框坐标和分数；

根据设定的类别和分数阈值，对目标检测模型输出的目标信息进行过滤，得到工作人员、操作杆和绝缘手套的矩形框坐标信息；

根据工作人员的矩形框坐标信息截取工作人员图像区域，利用人体关键点检测算法，从工作人员图像区域中获取工作人员的手部坐标信息；

根据操作杆的矩形框坐标信息截取操作杆图像区域，检测操作杆的轮廓，获取操作杆的轮廓坐标信息；

根据工作人员的手部坐标信息和绝缘手套的矩形框坐标信息以及工作人员的手部坐标信息和操作杆的轮廓坐标信息判断工作人员是否佩戴绝缘手套以及工作人员是否手持操作杆。

进一步的，对解码后的作业视频图像进行预处理具体包括：

对解码后的作业视频图像进行质量检测，剔除作业视频图像中的黑屏、模糊、过曝和抖动的图片。

进一步的，将经过预处理的作业视频图像输入到预先训练好的目标检测模型中，以获得目标检测模型输出的目标的类别、矩形框坐标和分数具体为：

将经过预处理的作业视频图像输入到基于YOLO-v4算法训练而成的目标检测模型中，以获得目标检测模型输出的目标的类别、矩形框坐标和分数。

进一步的，根据工作人员的手部坐标信息和绝缘手套的矩形框坐标信息判断工作人员是否佩戴绝缘手套具体包括：

根据工作人员的手部坐标信息和绝缘手套的矩形框坐标信息获取手部区域图像和绝缘手套区域图像；

利用图像按位与函数计算手部区域图像和绝缘手套区域图像的交集并统计交集中的白色像素点数；

根据白色像素点数与交集中总像素数目的比值判断工作人员是否佩戴绝缘手套。

进一步的，根据工作人员的手部坐标信息和操作杆的轮廓坐标信息判断工作人员是否手持操作杆具体包括：

根据工作人员的手部坐标信息和操作杆的轮廓坐标信息获取手部区域图像和操作杆轮廓图像；

利用图像按位与函数计算手部区域图像和操作杆轮廓图像的交集并统计交集中的白色像素点数；

根据白色像素点数与交集中总像素数目的比值判断工作人员是否手持操作杆。

第二方面，本发明提供了一种配电施工安全工器具使用识别系统，包括：

实时监控单元，用于通过摄像头rtsp获取电力作业现场的作业视频图像，并进行解码；

目标检测单元，用于对解码后的作业视频图像进行预处理，将经过预处理的作业视频图像输入到预先训练好的目标检测模型中，以获得目标检测模型输出的目标的类别、矩形框坐标和分数；

目标识别单元，用于根据设定的类别和分数阈值，对目标检测模型输出的目标信息进行过滤，得到工作人员、操作杆和绝缘手套的矩形框坐标信息；

手部识别单元，用于根据工作人员的矩形框坐标信息截取工作人员图像区域，利用人体关键点检测算法，从工作人员图像区域中获取工作人员的手部坐标信息；

操作杆识别单元，用于根据操作杆的矩形框坐标信息截取操作杆图像区域，检测操作杆的轮廓，获取操作杆的轮廓坐标信息；

工器具使用识别单元，用于根据工作人员的手部坐标信息和绝缘手套的矩形框坐标信息以及工作人员的手部坐标信息和操作杆的轮廓坐标信息判断工作人员是否佩戴绝缘手套以及工作人员是否手持操作杆。

进一步的，目标检测单元包括：图像预处理单元；

图像预处理单元用于对解码后的作业视频图像进行质量检测，剔除作业视频图像中的黑屏、模糊、过曝和抖动的图片。

进一步的，目标检测单元还包括：图像识别单元；

图像识别单元用于将经过预处理的作业视频图像输入到基于YOLO-v4算法训练而成的目标检测模型中，以获得目标检测模型输出的目标的类别、矩形框坐标和分数。

进一步的，工器具使用识别单元包括：绝缘手套使用识别单元；

绝缘手套使用识别单元用于根据工作人员的手部坐标信息和绝缘手套的矩形框坐标信息获取手部区域图像和绝缘手套区域图像；

利用图像按位与函数计算手部区域图像和绝缘手套区域图像的交集并统计交集中的白色像素点数；

根据白色像素点数与交集中总像素数目的比值判断工作人员是否佩戴绝缘手套。

进一步的，工器具使用识别单元包括：操作杆使用识别单元；

操作杆使用识别单元用于根据工作人员的手部坐标信息和操作杆的轮廓坐标信息获取手部区域图像和操作杆轮廓图像；

利用图像按位与函数计算手部区域图像和操作杆轮廓图像的交集并统计交集中的白色像素点数；

根据白色像素点数与交集中总像素数目的比值判断工作人员是否手持操作杆。

综上，本发明提供了一种配电施工安全工器具使用识别方法及系统，通过对电力作业现场进行实时监控，对监控视频利用预先训练好的目标检测模型提取作业人员手部图像信息、操作杆图像信息和绝缘手套图像信息，进而再分别根据手部图像信息与操作杆图像信息以及手部图像信息与绝缘手套图像信息来判断作业人员对操作杆和绝缘手套的佩戴情况。本发明通过对电力作业现场实时监控并对监控视频进行分析，从而能够不间断的检测作业人员的工器具使用情况。避免了人工巡检导致的劳动强度大且不能实时巡检的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种配电施工安全工器具使用识别方法的流程示意图；

图2为本发明实施例提供的目标检测模型的训练示意图；

图3为本发明实施例提供的操作杆和绝缘手套的佩戴检测示意图。

具体实施方式

为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

随着生产生活对电力能源的需求量不断增加，我国对电力生产产生了更高的需求。受多方面因素的影响，我国电力生产事故的发生频率处于较高水平，对城市的安全生产造成了威胁。因此，必须要将全方位的安全生产理念引入到电力生产作业中，为电力系统的正常运行提供保障，电力生产作业过程中工序复杂，日常巡检和维修过程中会接触高压电力设备，如操作不当或未佩戴防护装备，容易出现安全事故。

综上所述，为确保电力工作人员在采用合规防护措施和操作流程，提高工作人员安全防护意识，提升现场安全作业水平，传统的方式是采用人工巡检或者每个作业现场驻守一个监督者，这样，巡检人员的劳动强度大，生产成本高，每个作业现场距离远，巡检人员大部分时间浪费在路途中，作业人员暂时满足巡检人员要求，巡检人员离开后，作业人员贪图方便，没有采用合规的防护措施。近年来，随着计算机视觉和物联网技术的逐渐成熟，尤其是神经网络技术的飞速发展，深度学习技术开始应用于各类生产环境中。采用深度学习相关技术对施工现场进行实时合规防护措施检测是目前的主流研究方向。

基于此，本发明实施例提供一种配电施工安全工器具使用识别方法及系统，用于解决现有对电力生产作业进行人工巡检存在的劳动强度大且不能实时巡检的问题。

以下是对本发明的一种配电施工安全工器具使用识别方法的实施例进行的详细介绍。

请参阅图1，本实施例提供了一种配电施工安全工器具使用识别方法，包括：

S100：通过摄像头rtsp获取电力作业现场的作业视频图像，并进行解码。

需要说明的是，RTSP(Real Time Streaming Protocol)是一种实时流传输协议。

在电力作业现场布设摄像头，对作业现场的无死角覆盖监控。再通过摄像头rstp实时获取作业视频图像，从而实现对作业人员的实时巡检。

S200：对解码后的作业视频图像进行预处理，将经过预处理的作业视频图像输入到预先训练好的目标检测模型中，以获得目标检测模型输出的目标的类别、矩形框坐标和分数。

需要说明的是，对解码后的图像采用opencv进行预处理，并且进行图像质量检测，剔除黑屏、模糊、过曝、抖动的图像，得到质量合格的图像；将质量合格的图像输入到预先训练好的目标检测模型中，预先训练好的目标检测模型会输出目标的类别、矩形框坐标和分数；这里所需要的目标是：作业人员、操作杆和绝缘手套。

本实施例中的目标检测模型可以为基于YOLO-v4算法训练而成的目标检测模型。其训练过程如图2所示，即采集现场作业图片；对现场作业图片进行标注，包括标注作业人员、操作杆和绝缘手套；然后对图像进行数据增强处理，包括旋转、镜像和增加噪点等处理；再将处理后的图片划分为训练集和测试集；修改YOLO-v4网络参数进行训练，最终得到基于YOLO-v4的目标检测模型。

S300：根据设定的类别和分数阈值，对目标检测模型输出的目标信息进行过滤，得到工作人员、操作杆和绝缘手套的矩形框坐标信息。

需要说明的是，根据设置的分数阈值和类别进行判断，将目标检测模型返回的目标信息进行过滤，剔除一些分数低于分数阈值的疑似目标，最后获得类别为作业人员、操作杆、绝缘手套的矩形框坐标信息。

S400：根据工作人员的矩形框坐标信息截取工作人员图像区域，利用人体关键点检测算法，从工作人员图像区域中获取工作人员的手部坐标信息。

需要说明的是，获得工作人员的矩形框坐标信息后，需要截取作业人员的图像区域，并调用人体关键点检测算法，获取作业人员手部坐标信息，此时得到的手部坐标是相对于作业人员的局部图像区域的，需要转换相对于整张图像的手部坐标。

S400：根据操作杆的矩形框坐标信息截取操作杆图像区域，检测操作杆的轮廓，获取操作杆的轮廓坐标信息。

需要说明的是，在获得操作杆坐标信息，根据坐标信息，截取操作杆图像区域。因为一些操作杆比较长，当操作杆没在使用状态的时候，图像存在二维视角的局限性，操作杆会横跨人体区域，这样会简单认为作业人员在手持操作杆；为了更精准判断作业人员是否手持操作杆，需要提取操作杆轮廓坐标，使用opencv的findcontours函数检测轮廓，根据设定的轮廓周长阈值，可以筛选出操作杆的轮廓，最后获取操作杆的轮廓坐标。

S600：根据工作人员的手部坐标信息和绝缘手套的矩形框坐标信息以及工作人员的手部坐标信息和操作杆的轮廓坐标信息判断工作人员是否佩戴绝缘手套以及工作人员是否手持操作杆。

需要说明的是，如图3所示，检测是否佩戴绝缘手套的具体步骤为：

根据作业人员的手部坐标把作业人员的手部图像绘制在一张空白图像A，根据绝缘手套矩形框坐标将绝缘手套的图像绘制在一张空白图像D，通过图像按位与，调用opencv的bitwise_and函数，求图像A与图像D的交际，得到图像E，统计图像E的白色像素点，最后计算白色像素点与重合图像总像素的比例，如果比例超过设定的阈值，则判断作业人员佩戴绝缘手套，否则，判断作业人员没有佩戴绝缘手套，需要发出告警信息。

检测是否手持操作杆的具体步骤为：

根据作业人员的手部坐标把作业人员的手部图像绘制在一张空白图像A，根据操作杆轮廓坐标把操作杆图像绘制在一张空白图像B，通过图像按位与，调用opencv的bitwise_and函数，求图像A与图像B的交际，得到图像C，统计图像C的白色像素点，最后计算白色像素点与图像总像素的比例，如果比例超过设定的阈值，则判断作业人员手持操作杆，否则，判断作业人员没有手持操作杆，需要发出告警信息。

本实施例提供了一种配电施工安全工器具使用识别方法，通过对电力作业现场进行实时监控，对监控视频利用预先训练好的目标检测模型提取作业人员手部图像信息、操作杆图像信息和绝缘手套图像信息，进而再分别根据手部图像信息与操作杆图像信息以及手部图像信息与绝缘手套图像信息来判断作业人员对操作杆和绝缘手套的佩戴情况。本发明通过对电力作业现场实时监控并对监控视频进行分析，从而能够不间断的检测作业人员的工器具使用情况。避免了人工巡检导致的劳动强度大且不能实时巡检的问题。

以上是对本发明的一种配电施工安全工器具使用识别方法的实施例进行的详细介绍，以下将对本发明的一种配电施工安全工器具使用识别系统的实施例进行详细的介绍。

本实施例提供了一种配电施工安全工器具使用识别系统，包括：实时监控单元、目标检测单元、图像识别单元、目标识别单元、手部识别单元、操作杆识别单元和工器具使用识别单元。

在本实施例中，实时监控单元用于通过摄像头rtsp获取电力作业现场的作业视频图像，并进行解码；

在本实施例中，目标检测单元用于对解码后的作业视频图像进行预处理，将经过预处理的作业视频图像输入到预先训练好的目标检测模型中，以获得目标检测模型输出的目标的类别、矩形框坐标和分数。

需要说明的是，目标检测单元还包括：图像识别单元和图像预处理单元。

图像识别单元用于将经过预处理的作业视频图像输入到基于YOLO-v4算法训练而成的目标检测模型中，以获得目标检测模型输出的目标的类别、矩形框坐标和分数。

图像预处理单元用于对解码后的作业视频图像进行质量检测，剔除作业视频图像中的黑屏、模糊、过曝和抖动的图片。

在本实施例中，目标识别单元用于根据设定的类别和分数阈值，对目标检测模型输出的目标信息进行过滤，得到工作人员、操作杆和绝缘手套的矩形框坐标信息；

在本实施例中，手部识别单元用于根据工作人员的矩形框坐标信息截取工作人员图像区域，利用人体关键点检测算法，从工作人员图像区域中获取工作人员的手部坐标信息；

在本实施例中，操作杆识别单元用于根据操作杆的矩形框坐标信息截取操作杆图像区域，检测操作杆的轮廓，获取操作杆的轮廓坐标信息；

在本实施例中，工器具使用识别单元用于根据工作人员的手部坐标信息和绝缘手套的矩形框坐标信息以及工作人员的手部坐标信息和操作杆的轮廓坐标信息判断工作人员是否佩戴绝缘手套以及工作人员是否手持操作杆。

需要说明的是，工器具使用识别单元包括：绝缘手套使用识别单元和操作杆使用识别单元。

其中，绝缘手套使用识别单元用于根据工作人员的手部坐标信息和绝缘手套的矩形框坐标信息获取手部区域图像和绝缘手套区域图像；利用图像按位与函数计算手部区域图像和绝缘手套区域图像的交集并统计交集中的白色像素点数；根据白色像素点数与交集中总像素数目的比值判断工作人员是否佩戴绝缘手套。

操作杆使用识别单元用于根据工作人员的手部坐标信息和操作杆的轮廓坐标信息获取手部区域图像和操作杆轮廓图像；利用图像按位与函数计算手部区域图像和操作杆轮廓图像的交集并统计交集中的白色像素点数；根据白色像素点数与交集中总像素数目的比值判断工作人员是否手持操作杆。

本实施例提供了一种配电施工安全工器具使用识别系统，通过实时监控单元实现对电力现场作业的不间断实时监控，并且还通过操作杆使用识别单元对监控视频进行识别，自动判断作业人员对于安全工器具的使用情况。节省了人力巡检成本的同时提升了巡检效率。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种配电施工安全工器具使用识别方法，其特征在于，包括以下步骤：

通过摄像头rtsp获取电力作业现场的作业视频图像，并进行解码；

对解码后的所述作业视频图像进行预处理，将经过预处理的所述作业视频图像输入到预先训练好的目标检测模型中，以获得所述目标检测模型输出的目标的类别、矩形框坐标和分数；

根据设定的类别和分数阈值，对所述目标检测模型输出的目标信息进行过滤，得到工作人员、操作杆和绝缘手套的矩形框坐标信息；

根据工作人员的矩形框坐标信息截取工作人员图像区域，利用人体关键点检测算法，从所述工作人员图像区域中获取工作人员的手部坐标信息；

根据操作杆的矩形框坐标信息截取操作杆图像区域，检测操作杆的轮廓，获取操作杆的轮廓坐标信息；

根据所述工作人员的手部坐标信息和绝缘手套的矩形框坐标信息以及所述工作人员的手部坐标信息和所述操作杆的轮廓坐标信息判断工作人员是否佩戴绝缘手套以及工作人员是否手持操作杆；

所述将经过预处理的所述作业视频图像输入到预先训练好的目标检测模型中，以获得所述目标检测模型输出的目标的类别、矩形框坐标和分数具体为：

将经过预处理的所述作业视频图像输入到基于YOLO-v4算法训练而成的目标检测模型中，以获得所述目标检测模型输出的目标的类别、矩形框坐标和分数；

根据所述工作人员的手部坐标信息和绝缘手套的矩形框坐标信息判断工作人员是否佩戴绝缘手套具体包括：

根据所述工作人员的手部坐标信息和绝缘手套的矩形框坐标信息获取手部区域图像和绝缘手套区域图像；

利用图像按位与函数计算所述手部区域图像和绝缘手套区域图像的交集并统计交集中的白色像素点数；

根据所述白色像素点数与交集中总像素数目的比值判断工作人员是否佩戴绝缘手套；

根据所述工作人员的手部坐标信息和绝缘手套的矩形框坐标信息判断工作人员是否佩戴绝缘手套具体包括：

根据所述工作人员的手部坐标信息和绝缘手套的矩形框坐标信息获取手部区域图像和绝缘手套区域图像；

利用图像按位与函数计算所述手部区域图像和绝缘手套区域图像的交集并统计交集中的白色像素点数；

根据所述白色像素点数与交集中总像素数目的比值判断工作人员是否佩戴绝缘手套，所述图像按位与函数为opencv的bitwise_and函数。

2.根据权利要求1所述的一种配电施工安全工器具使用识别方法，其特征在于，所述对解码后的所述作业视频图像进行预处理具体包括：

对解码后的所述作业视频图像进行质量检测，剔除所述作业视频图像中的黑屏、模糊、过曝和抖动的图片。

3.一种配电施工安全工器具使用识别系统，其特征在于，包括：

实时监控单元，用于通过摄像头rtsp获取电力作业现场的作业视频图像，并进行解码；

目标检测单元，用于对解码后的所述作业视频图像进行预处理，将经过预处理的所述作业视频图像输入到预先训练好的目标检测模型中，以获得所述目标检测模型输出的目标的类别、矩形框坐标和分数；

目标识别单元，用于根据设定的类别和分数阈值，对所述目标检测模型输出的目标信息进行过滤，得到工作人员、操作杆和绝缘手套的矩形框坐标信息；

手部识别单元，用于根据工作人员的矩形框坐标信息截取工作人员图像区域，利用人体关键点检测算法，从所述工作人员图像区域中获取工作人员的手部坐标信息；

操作杆识别单元，用于根据操作杆的矩形框坐标信息截取操作杆图像区域，检测操作杆的轮廓，获取操作杆的轮廓坐标信息；

工器具使用识别单元，用于根据所述工作人员的手部坐标信息和绝缘手套的矩形框坐标信息以及所述工作人员的手部坐标信息和所述操作杆的轮廓坐标信息判断工作人员是否佩戴绝缘手套以及工作人员是否手持操作杆；

所述目标检测单元还包括：图像识别单元；

所述图像识别单元用于将经过预处理的所述作业视频图像输入到基于YOLO-v4算法训练而成的目标检测模型中，以获得所述目标检测模型输出的目标的类别、矩形框坐标和分数；

所述工器具使用识别单元包括：绝缘手套使用识别单元；

所述绝缘手套使用识别单元用于根据所述工作人员的手部坐标信息和绝缘手套的矩形框坐标信息获取手部区域图像和绝缘手套区域图像；

利用图像按位与函数计算所述手部区域图像和绝缘手套区域图像的交集并统计交集中的白色像素点数；

根据所述白色像素点数与交集中总像素数目的比值判断工作人员是否佩戴绝缘手套；

所述工器具使用识别单元包括：操作杆使用识别单元；

所述操作杆使用识别单元用于根据所述工作人员的手部坐标信息和所述操作杆的轮廓坐标信息获取手部区域图像和操作杆轮廓图像；

利用图像按位与函数计算所述手部区域图像和操作杆轮廓图像的交集并统计交集中的白色像素点数；

根据所述白色像素点数与交集中总像素数目的比值判断工作人员是否手持操作杆，所述图像按位与函数为opencv的bitwise_and函数。

4.根据权利要求3所述的一种配电施工安全工器具使用识别系统，其特征在于，所述目标检测单元包括：图像预处理单元；

所述图像预处理单元用于对解码后的所述作业视频图像进行质量检测，剔除所述作业视频图像中的黑屏、模糊、过曝和抖动的图片。