CN114065642A

CN114065642A - 基于温度视觉的智能识别方法

Info

Publication number: CN114065642A
Application number: CN202111405636.0A
Authority: CN
Inventors: 梁川; 常娜; 苏岩松; 朱怡良; 高俊丽; 杨龙飞
Original assignee: Zhejiang Tianbo Yunke Optoelectronics Co ltd
Current assignee: Zhejiang Tianbo Yunke Optoelectronics Co ltd
Priority date: 2021-11-24
Filing date: 2021-11-24
Publication date: 2022-02-18

Abstract

本发明公开了基于温度视觉的智能识别方法，包括获取被测目标设备的红外通用数据文件存储格式的jpg文件，即红外热像图；从所述jpg文件中提取出温度视觉数据，获得106种电力设备的温度视觉数据；对所述温度视觉数据进行数据集标注，获得温度视觉数据集；搭建电力设备识别模型，获得电力设备目标检测模型；电力设备部件检测。本发明基于温度视觉信息，通过目标检测网络定位电力设备位置，通过特征点网络定位电力设备部件位置，来精准定位电力设备各部件位置并获取相应的温度信息。

Description

基于温度视觉的智能识别方法

技术领域

本发明涉及电力行业技术领域，尤其涉及基于温度视觉的智能识别方法。

背景技术

目前电力设备检测的方法，主要是以红外图像为研究基础，研究电力设备异常发热的问题。由于红外图片包含多种伪彩色，拍摄环境复杂导致的被拍摄设备干扰严重、训练数据类型少等问题，目前现有的方法存在检测准确率低、模型泛化能力较差等缺陷。

为此，我们提出基于温度视觉的智能识别方法来解决上述问题。

发明内容

本发明的目的是为了解决现有技术中电力设备检测存在检测准确率低、模型泛化能力较差的问题，而提出的基于温度视觉的智能识别方法。

为了实现上述目的，本发明采用了如下技术方案：

基于温度视觉的智能识别方法，包括以下步骤：

S1、获取被测目标设备的红外通用数据文件存储格式的jpg文件，即红外热像图；

S2、从所述jpg文件中提取出温度视觉数据，获得106种电力设备的温度视觉数据；

S3、对所述温度视觉数据进行数据集标注，获得温度视觉数据集；

S4、搭建电力设备识别模型，获得电力设备目标检测模型；

S5、电力设备部件检测。

优选的，所述步骤S1中的jpg文件的数据格式包括文件头、标定数据、测温参数、温度数据、成像参数、分析数据、声音和用户自定义数据和文件尾。

优选的，所述温度数据是一个长宽与红外热像图分辨率相同的 float类型二维矩阵，能够以数值的形式对环境温度进行成像，即为温度视觉。

优选的，所述步骤S3中的数据集标注包括设备框标注和特征点标注。

优选的，所述设备框标注是针对步骤S2采集的温度视觉数据，对位于温度视觉中心的电力设备标注目标框。

优选的，所述特征点标注是针对步骤S2采集的温度视觉数据，对位于温度视觉中心的电力设备中的部件标注特征点。

优选的，获得步骤S5种的电力设备目标检测模型的步骤包括对输入的温度视觉数据进行标准化处理和使用R-CNN、Fast R-CNN、 Faster R-CNN、YOLO、SSD、RetinaNet、RefineDet等目标检测网络，对设备框标注的温度视觉数据集进行训练。

优选的，电力设备部件检测方法包括：

S51：针对以上106种电力设备，由于每一种电力设备的部件组成结构、外观形状等存在差异，将每个电力设备分类为多个小类别；

S52：针对每一个小分类的电力设备，基于LeNet、AlexNet、 CaffeNet、ZFNet、VggNet、ResNet、NiN、GoogLeNet、DenseNet、Senet、BAM、MobileNet等卷积神经网络，将其修改为特征点提取网络，网络输出电力设备各部件的特征点坐标，并对特征点标注的温度视觉数据集进行训练，获得特征点检测模型，特征点检测模型对电力设备温度视觉数据进行检测，输出电力设备特征点所在位置，最后将特征点转化为部件框，框出电力设备各部件位置。

与现有技术相比，本发明的有益效果是：

1、本发明基于温度视觉信息，通过目标检测网络定位电力设备位置，通过特征点网络定位电力设备部件位置，来精准定位电力设备各部件位置并获取相应的温度信息。

2、本发明基于温度视觉数据，能够对106种电力设备进行精准的识别、定位。对106种电力设备类型的识别mAP＝98％，对106种电力设备的小分类识别mAP＝99％，对106种电力设备部件特征点的定位 IoU＝95％。

附图说明

图1为本发明的温度视觉智能识别整体流程图；

图2为本发明红外通用数据文件存储格式表图；

图3为本发明红外热像图；

图4为本发明温度视觉图；

图5为本发明目标框标注示例图；

图6为本发明特征点标注示例图；

图7为本发明搭建电力设备智能识别模型的整体流程图；

图8为本发明小分类模型流程图；

图9为本发明特征点检测模型以及部件框检测流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1-9，基于温度视觉的智能识别方法，包括：

S1、获取被测目标设备的红外通用数据文件存储格式的jpg文件，即红外热像图，如图3所示；

红外温度传感器将探测器接收到的被测目标的红外辐射能量分布图反映到红外探测器的光敏元件上，经处理器处理得到红外通用数据文件存储格式的，jpg文件。如图2所示，步骤S1中的jpg文件的数据格式包括文件头、标定数据、测温参数、温度数据、成像参数、分析数据、声音和用户自定义数据和文件尾，其中，温度数据是一个长宽与红外热像图分辨率相同的float类型二维矩阵，能够以数值的形式对环境温度进行成像，即为温度视觉。如图4所示，矩阵中一个元素的数值，对应环境中一块区域的实际温度值(摄氏度)，比如矩阵左上角的温度数值为37.0，则对应的环境中左上角区域的实际温度便为37.0℃。

106种电力设备包括GIS气室、中性点压变、JP柜、套管、低压桩头、阻尼电阻箱、结合滤波器、高压侧套管、照明箱、金属导线、进线仓、汇聚箱、泵机、绝缘子、汇集箱、GIS套管、组合互感器、转接箱、避雷器、耦合互感器、接线箱、变压器、蓄电池组、机构箱、开关柜、滤波器、动力箱、穿墙套管、避雷针、终端柜、磁抗器、母排、电容箱、站用变、母线、电阻箱、低压侧桩头、支撑绝缘子、计量箱、电抗器、柱上真空开关、智控柜、电缆终端、耦合电容器、智能汇控柜、电力电缆、空气开关、智能组件柜、电流互感器、补偿装置、智能终端柜、电容器、熔断器、屏柜、油箱、垂直绝缘子、检修电源箱、消弧装置、导线、检修电源线箱、电压互感器、散热器、电容器箱、接续管、线夹、控制箱、电阻器、消弧线圈、汇控柜、跌落式熔断器、悬垂绝缘子、配电箱、连接桥、油枕、端子箱、软连接、低抗、阻尼箱、断路器、充气套管、调节柜、放电间隙、电源箱、放电线圈、柱上断路器、电控箱、分压器、柱上隔离开关、组件柜、电缆终端尾管、桩头、开关箱、高压熔断器、阻波器、风控箱、高压套管、管母、低压开关箱、隔离开关、交流滤波器、低压侧开关箱、换流阀、接地变、检修箱和冷控箱。

步骤S3中的数据集标注包括设备框标注和特征点标注。

如图5所示，设备框标注是针对步骤S2采集的温度视觉数据，对位于温度视觉中心的电力设备标注目标框；

如图6所示，特征点标注是针对步骤S2采集的温度视觉数据，对位于温度视觉中心的电力设备中的部件标注特征点。

S4、搭建电力设备识别模型，获得电力设备目标检测模型；

如图7所示，为了有效地识别和定位106种电力设备，本发明使用目标检测架构搭建电力设备识别模型。首先，对输入的温度视觉数据进行标准化处理，降低由于温度视觉数据之间数值差异较大对结果造成的影响。然后，使用R-CNN、FastR-CNN、FasterR-CNN、YOLO、SSD、RetinaNet、RefineDet等目标检测网络，对设备框标注的温度视觉数据集进行训练，获得电力设备目标检测模型。该模型用于对输入的温度视觉数据进行检测，获取其中的电力设备所在位置，以及其属于106种电力设备中的哪个类型，并对位置信息、类型信息进行输出。

S5、电力设备部件检测。

为了更加准确地获取电力设备中各部件的位置，本发明将电力设备部件检测方法分为以下两步：

S51、针对以上106种电力设备，由于每一种电力设备的部件组成结构、外观形状等存在差异，首先，将每个电力设备分类为多个小类别。然后使用LeNet、AlexNet、CaffeNet、ZFNet、VggNet、ResNet、 NiN、GoogLeNet、DenseNet、Senet、BAM、MobileNet等卷积神经网络，对106种电力设备的温度视觉目标框标注数据集的标注框区域进行裁剪，对得到的电力设备温度视觉数据集(去除背景部分)进行训练，获得106个分类模型用于对同类型设备下不同外观设备进行划分。温度视觉数据通过目检检测模型获得了设备位置信息、类型信息，根据设备位置信息裁剪出设备所在区域的温度视觉数据，再根据类型信息调用相应的分类模型进行分类。该步骤会106种电力设备的每一种，根据外观进行更加细致的划分，本发明将这个步骤称为对电力设备进行小分类的划分，用于小分类的模型被称为小分类模型。以套管举例，如图8所示，首先对温度视觉数据进行裁剪，然后送入网络进行训练，得到套管小分类模型；

S51、针对每一个小分类的电力设备，基于LeNet、AlexNet、 CaffeNet、ZFNet、VggNet、ResNet、NiN、GoogLeNet、DenseNet、 Senet、BAM、MobileNet等卷积神经网络，将其修改为特征点提取网络，网络输出电力设备各部件的特征点坐标，并对特征点标注的温度视觉数据集进行训练，获得特征点提取模型。特征点检测模型对电力设备温度视觉数据进行检测，输出电力设备特征点所在位置，最后将特征点转化为部件框，用于框出电力设备各部件位置，用于之后的故障诊断，如图9所示。

本发明的最佳使用状态是：目标检测的设备的温度与周围环境的温度存在温差。

本发明基于温度视觉数据，能够对106种电力设备进行精准的识别、定位。对106种电力设备类型的识别mAP＝98％，对106种电力设备的小分类识别mAP＝99％，对106种电力设备部件特征点的定位 IoU＝95％。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims

1.基于温度视觉的智能识别方法，其特征在于，所述方法包括以下步骤：

S4、搭建电力设备识别模型，获得电力设备目标检测模型；

S5、电力设备部件检测。

2.根据权利要求1所述的基于温度视觉的智能识别方法，其特征在于，所述步骤S1中的jpg文件的数据格式包括文件头、标定数据、测温参数、温度数据、成像参数、分析数据、声音和用户自定义数据和文件尾。

3.根据权利要求2所述的基于温度视觉的智能识别方法，其特征在于，所述温度数据是一个长宽与红外热像图分辨率相同的float类型二维矩阵，能够以数值的形式对环境温度进行成像，即为温度视觉。

4.根据权利要求1所述的基于温度视觉的智能识别方法，其特征在于，所述步骤S3中的数据集标注包括设备框标注和特征点标注。

5.根据权利要求4所述的基于温度视觉的智能识别方法，其特征在于，所述设备框标注是针对步骤S2采集的温度视觉数据，对位于温度视觉中心的电力设备标注目标框。

6.根据权利要求4所述的基于温度视觉的智能识别方法，其特征在于，所述特征点标注是针对步骤S2采集的温度视觉数据，对位于温度视觉中心的电力设备中的部件标注特征点。

7.根据权利要求1所述的基于温度视觉的智能识别方法，其特征在于，获得步骤S5种的电力设备目标检测模型的步骤包括对输入的温度视觉数据进行标准化处理和使用R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD、RetinaNet、RefineDet等目标检测网络，对设备框标注的温度视觉数据集进行训练。

8.根据权利要求1所述的基于温度视觉的智能识别方法，其特征在于，电力设备部件检测方法包括：

S52：针对每一个小分类的电力设备，基于LeNet、AlexNet、CaffeNet、ZFNet、VggNet、ResNet、NiN、GoogLeNet、DenseNet、Senet、BAM、MobileNet等卷积神经网络，将其修改为特征点提取网络，网络输出电力设备各部件的特征点坐标，并对特征点标注的温度视觉数据集进行训练，获得特征点检测模型，特征点检测模型对电力设备温度视觉数据进行检测，输出电力设备特征点所在位置，最后将特征点转化为部件框，框出电力设备各部件位置。