CN112561899A - 电力巡检图像识别方法 - Google Patents

Abstract

本发明公开了一种电力巡检图像识别方法，包括以下步骤：对摄像机进行标定，对视频进行处理得到帧图，采用基于主动光照的图像增强的方法对得到的图像进行预处理，基于YOLOv4网络目标检测方法，对绝缘子图像进行目标识别，绝缘子提取，绝缘子特征提取。由于本发明方法只对预选框图像进行特征匹配运算，减少了图片中图像大小，大大提高了计算效率，为提高目标检测实时性起到有益效果。本发明对真实环境下的包含复杂背景的巡检图像中的绝缘子进行缺陷识别，为电网维修部门提供可靠的技术支持。

Description

电力巡检图像识别方法

技术领域

本发明涉及一种电力巡检图像识别方法，属于图像处理识别技术领域。

背景技术

随着国民经济的飞速发展，人们对于电能的依赖和需求也越来越大，由此带来的电力巡检任务也在不断增大。近年来，科技水平的提高使得无人机巡线、机器人巡线等方式逐步替代了传统的人工巡线方式，这些新兴的巡线方式在一定程度上提高了工作效率和安全性能。然而，海量的背景复杂、缺陷种类繁多的巡检图像，仍然给相关检修部门带来了极大的挑战。随着人工智能和图像技术不断发展和成熟，对电力器件缺陷进行智能识别成为可能。

电力器件中，绝缘子是输电线路中用量庞大且极其重要的部件，起到电气绝缘及机械支撑作用。由于绝缘子长期暴露在野外环境中，极易出现各种缺陷和隐患，据统计，由绝缘子缺陷引起的事故目前已成为电力系统故障中所占比例最高的。因此，对此缺陷绝缘子进行智能精确检测，及时完成缺陷或隐患诊断尤为重要。

目前，对巡检图像绝缘子识别存在以下技术难题：

绝缘子体积小，数量多，机巡图像中的绝缘子本身属于较小目标检测，在光线暗弱、、背景复杂、天气状况不佳(如雨雪霜雾天气)条件下，难以对图像中的绝缘子进行识别定位。

现有技术基于巡检图像的绝缘子缺陷识别大多是通过基本图像处理或模式识别方法检测绝缘子缺陷，该类算法要求图像背景较纯净、绝缘子与背景对比度高。近几年，有研究人员将人工智能引入绝缘子的检测过程中，采用深度学习检测绝缘子的缺陷，但也存在以下问题：深度学习可实现多层非线性变换，将底层特征有效地组合成一个更加抽象的高层表示属性，当存在目标遮挡，目标尺寸较小时也有一定检测效果，但由于深度神经网络结构复杂，这使其应用到特定环境中时需调整大量参数，计算量大，耗费计算资源多，识别速度慢。

发明内容

本发明的目的在于提供一种电力巡检图像识别方法，基于YOLOv4(YOU ONLY LOOKONCE)目标检测方法来进行目标特征提取与识别，解决现有技术在光线暗弱、背景复杂条件下对体积较小的绝缘子无法准确识别定位，以及计算量大，耗费计算资源多，识别速度慢的问题。

本发明的目的通过以下技术予以实现：

一种电力巡检图像识别方法，包括以下步骤：

1)前景视场分别在左右摄像机上成像，形成左图和右图，采集左右摄像机图像，对摄像机进行标定，得到摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵；

2)对视频进行处理得到帧图，采用基于主动光照的图像增强的方法对得到的图像进行预处理，包括以下步骤：

①利用景深将图像分为前景与背景区域；

②在景深的基础上，根据绝缘子与背景的梯度信息把绝缘子与背景分割开；

③选择无穷远处与绝缘子非相关性较低的像素点作为背景光估计；

④利用红色逆通道法求出R、G、B三个通道的透射率；

⑤得到背景光与透射率之后，计算下式

I^c(x)＝J^c(x)·t^c(x)+B^∞c[1-t^c(x)] (1)

其中t^c(x)是透射率,I^c(x)代表经过图像衰减过后相机得到的图像，B^∞c表示背景光,J^c(x)是去散射后的图像；

⑥利用探测出的灰色像素的特性估计并去除人造光源的颜色增益；

⑦补偿光从光源发出到绝缘子表面的传播过程中的衰减，校正色差；

3)基于YOLOv4网络目标检测方法，对绝缘子图像进行目标识别，包括以下

步骤：

①下载Darknet，利用Cmake进行编译，修改Makefile配置项；

②根据双目摄像机获得的图片信息，对图片进行标注；

③建立网络结构，网络结构基于YOLOv4网络，以CSPdarknet53作为主干网络，空间金字塔池化模块和路径聚合网络模块作为颈部，YOLOV4作为头部预测输出；

④设置每批次送入网络的图片数batch＝64，每张图的大小为608x608，批次细分subdivision＝32,最大批次数max_batches＝4000；下载预训练权重，放在主目录下，然后开始训练的数据集，得到训练结果；

4)绝缘子提取

输入待检测的巡检图像，利用训练好的YOLOv4网络模型检测绝缘子，得到绝缘子的边界框信息；然后通过得到的边界框信息从巡检图像中截取出绝缘子所在的边界框，得到子图像；

5)绝缘子特征提取

5.1)选取绝缘子的颜色样本，将颜色样本和所述子图像转换到HSV色彩空间；

5.2)采用颜色直方图比较的方法对子图像进行阈值分割处理，具体步骤如下：

S1)分别计算颜色样本中H、S、V三通道的直方图H1、H2、H3，并将H1、H2、H3归一化，以便与子图像对应的直方图进行对比；

S2)将子图像分割成小区域I，对每个小区域I分别计算H、S、V三通道的直方图h1、h2、h3，并将h1、h2、h3归一化处理；

S3)采用欧氏距离的标准，对H1、H2、H3和h1、h2、h3进行相似度S比较，相似度S的数值越大表示相似度越大；S定义如下：

S4)设置相似度阈值，高于相似度阈值的区域内的像素点置255，低于相似度阈值的区域内的像素点置0；

5.3)对图像进行膨胀操作，将绝缘子串连接成连通区域；

5.4)获取绝缘子所在连通区域的最小外接矩形信息：中心点坐标(x0，y0)，x轴正方向与外接矩形长边的夹角θ；

5.5)将步骤5.4)中的最小外接矩形以点(x0，y0)为中心旋转，旋转角度为θ，其旋转变换矩阵定义如下：

利用仿射变换对绝缘子位置进行矫正，仿射变换实现二维坐标到二维坐标之间的线性变换，根据旋转变换矩阵，原坐标(x0，y0)转换为新坐标(x′，y′)；

本发明的目的还可以通过以下技术措施来进一步实现：

前述电力巡检图像识别方法，所述步骤5.3)中，对图像进行膨胀操作之前还包括，采用中值滤波消除小物体噪声干扰的步骤。

与现有技术相比，本发明的有益效果是：

针对光线暗弱、、背景复杂条件下，难以对图像中的绝缘子进行识别定位的问题，本发明首先提出一种新的图像增强算法.该算法无需过多先验信息，直接从原始图像入手，通过景深与梯度信息将图像中绝缘子与背景区分开，利用背景光与物体的非相关性有效计算背景光，避免人造光照射的前景区域或白色物体上亮像素对背景光估计的影响，最大限度去除散射效应，提高对比度.同时，考虑到去散射图像中仍然存在人造光源的颜色增益以及光在传播过程中的衰减带来的颜色失真问题，去除光源的颜色增益并补偿光在传播过程中的损失，从根本上解决图像失真的原因，无需额外的拉伸均衡，避免颜色调整过程中，因过度拉伸导致的图像过曝现象。本发明图像识别算法基于YOLOv4网络构建，YOLOv4对于大分辨率、小目标检测的准确性，相比其他算法更符合工业界对目标检测算法实时性的要求，简单易实现。相比其他特征提取网络速度更快、准确率更高。YOLOv4网络不仅可以检测出目标物，还可以框出预选框。由于本发明方法只对预选框图像进行特征匹配运算，减少了图片中图像大小，大大提高了计算效率，为提高目标检测实时性起到有益效果。本发明对真实环境下的包含复杂背景的巡检图像中的绝缘子进行缺陷识别，为电网维修部门提供可靠的技术支持。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

如图1所示，电力巡检图像识别方法，包括以下步骤：

1)前景视场分别在左右摄像机上成像，形成左图和右图，采集左右摄像机图像，对摄像机进行标定，得到摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵；

2)对视频进行处理得到帧图，采用基于主动光照的图像增强的方法对得到的图像进行预处理，包括以下步骤：

①利用景深将图像分为前景与背景区域；

②在景深的基础上，根据绝缘子与背景的梯度信息把绝缘子与背景分割开；

③选择无穷远处与绝缘子非相关性较低的像素点作为背景光估计；

④利用红色逆通道法求出R、G、B三个通道的透射率；

⑤得到背景光与透射率之后，计算下式

I^c(x)＝J^c(x)·t^c(x)+B^∞c[1-t^c(x)] (1)

其中t^c(x)是透射率,I^c(x)代表经过图像衰减过后相机得到的图像，B^∞c表示背景光,J^c(x)是去散射后的图像；

⑥利用探测出的灰色像素的特性估计并去除人造光源的颜色增益；

⑦补偿光从光源发出到绝缘子表面的传播过程中的衰减，校正色差；

3)基于YOLOv4网络目标检测方法，对绝缘子图像进行目标识别，包括以下

步骤：

①下载Darknet，利用Cmake进行编译，修改Makefile配置项；

②根据双目摄像机获得的图片信息，对图片进行标注；

③建立网络结构，网络结构基于YOLOv4网络，以CSPdarknet53作为主干网络，空间金字塔池化模块和路径聚合网络模块作为颈部，YOLOV4作为头部预测输出；

④设置每批次送入网络的图片数batch＝64，每张图的大小为608x608，批次细分subdivision＝32,最大批次数max_batches＝4000；下载预训练权重，放在主目录下，然后开始训练的数据集，得到训练结果；

4)绝缘子提取

输入待检测的巡检图像，利用训练好的YOLOv4网络模型检测绝缘子，得到绝缘子的边界框信息；然后通过得到的边界框信息从巡检图像中截取出绝缘子所在的边界框，得到子图像；

5)绝缘子特征提取

5.1)选取绝缘子的颜色样本，将颜色样本和所述子图像转换到HSV色彩空间；

5.2)采用颜色直方图比较的方法对子图像进行阈值分割处理，具体步骤如下：

S1)分别计算颜色样本中H、S、V三通道的直方图H1、H2、H3，并将H1、H2、H3归一化，以便与子图像对应的直方图进行对比；

S2)将子图像分割成小区域I，对每个小区域I分别计算H、S、V三通道的直方图h1、h2、h3，并将h1、h2、h3归一化处理；

S3)采用欧氏距离的标准，对H1、H2、H3和h1、h2、h3进行相似度S比较，相似度S的数值越大表示相似度越大；S定义如下：

S4)设置相似度阈值，高于相似度阈值的区域内的像素点置255，低于相似度阈值的区域内的像素点置0；

5.3)采用中值滤波消除小物体噪声干扰，对图像进行膨胀操作，将绝缘子串连接成连通区域；

5.4)获取绝缘子所在连通区域的最小外接矩形信息：中心点坐标(x0，y0)，x轴正方向与外接矩形长边的夹角θ；

5.5)将步骤5.4)中的最小外接矩形以点(x0，y0)为中心旋转，旋转角度为θ，其旋转变换矩阵定义如下：

利用仿射变换对绝缘子位置进行矫正，仿射变换实现二维坐标到二维坐标之间的线性变换，根据旋转变换矩阵，原坐标(x0，y0)转换为新坐标(x′，y′)；

采用上述方法对绝缘子特征进行提取后，对绝缘子缺陷进行识别和定位。

除上述实施例外，本发明还可以有其他实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围内。

Claims (2)

1.一种电力巡检图像识别方法，其特征在于，包括以下步骤：

1)前景视场分别在左右摄像机上成像，形成左图和右图，采集左右摄像机图像，对摄像机进行标定，得到摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵；

2)对视频进行处理得到帧图，采用基于主动光照的图像增强的方法对得到的图像进行预处理，包括以下步骤：

①利用景深将图像分为前景与背景区域；

②在景深的基础上，根据绝缘子与背景的梯度信息把绝缘子与背景分割开；

③选择无穷远处与绝缘子非相关性较低的像素点作为背景光估计；

④利用红色逆通道法求出R、G、B三个通道的透射率；

⑤得到背景光与透射率之后，计算下式

I^c(x)＝J^c(x)·t^c(x)+B^∞c[1-t^c(x)] (1)

其中t^c(x)是透射率，I^c(x)代表经过图像衰减过后相机得到的图像，B^∞c表示背景光，J^c(x)是去散射后的图像；

⑥利用探测出的灰色像素的特性估计并去除人造光源的颜色增益；

⑦补偿光从光源发出到绝缘子表面的传播过程中的衰减，校正色差；

3)基于YOLOv4网络目标检测方法，对绝缘子图像进行目标识别，包括以下步骤：

①下载Darknet，利用Cmake进行编译，修改Makefile配置项；

②根据双目摄像机获得的图片信息，对图片进行标注；

③建立网络结构，网络结构基于YOLOv4网络，以CSPdarknet53作为主干网络，空间金字塔池化模块和路径聚合网络模块作为颈部，YOLOV4作为头部预测输出；

④设置每批次送入网络的图片数batch＝64，每张图的大小为608x608，批次细分subdivision＝32，最大批次数max_batches＝4000；下载预训练权重，放在主目录下，然后开始训练的数据集，得到训练结果；

4)绝缘子提取

输入待检测的巡检图像，利用训练好的YOLOv4网络模型检测绝缘子，得到绝缘子的边界框信息；然后通过得到的边界框信息从巡检图像中截取出绝缘子所在的边界框，得到子图像；

5)绝缘子特征提取

5.1)选取绝缘子的颜色样本，将颜色样本和所述子图像转换到HSV色彩空间；

5.2)采用颜色直方图比较的方法对子图像进行阈值分割处理，具体步骤如下：

S1)分别计算颜色样本中H、S、V三通道的直方图H1、H2、H3，并将H1、H2、H3归一化，以便与子图像对应的直方图进行对比；

S2)将子图像分割成小区域I，对每个小区域I分别计算H、S、V三通道的直方图h1、h2、h3，并将h1、h2、h3归一化处理；

S3)采用欧氏距离的标准，对H1、H2、H3和h1、h2、h3进行相似度S比较，相似度S的数值越大表示相似度越大；S定义如下：

S4)设置相似度阈值，高于相似度阈值的区域内的像素点置255，低于相似度阈值的区域内的像素点置0；

5.3)对图像进行膨胀操作，将绝缘子串连接成连通区域；

5.4)获取绝缘子所在连通区域的最小外接矩形信息：中心点坐标(x0，y0)，x轴正方向与外接矩形长边的夹角θ；

5.5)将步骤5.4)中的最小外接矩形以点(x0，y0)为中心旋转，旋转角度为θ，其旋转变换矩阵定义如下：

利用仿射变换对绝缘子位置进行矫正，仿射变换实现二维坐标到二维坐标之间的线性变换，根据旋转变换矩阵，原坐标(x0，y0)转换为新坐标(x′，y′)；

2.根据权利要求1所述的电力巡检图像识别方法，其特征在于，所述步骤5.3)中，对图像进行膨胀操作之前还包括，采用中值滤波消除小物体噪声干扰的步骤。

Images