CN101957325B - 基于变电站巡检机器人变电站设备外观异常识别方法 - Google Patents

Abstract

本发明涉及一种基于变电站巡检机器人变电站设备外观异常识别方法。它基于电力巡检机器人平台(其型号为LER-3000)，利用图像处理及模式识别等相关技术，对电力设备采集图像进行检测，判断该设备是否有污损、破损、异物等异常现象，通过对采集的图像进行分析，找到对应的缺陷识别方法，准确，快速的检测到设备异常，及时报告，消除安全隐患。它的步骤为：1)电力巡检机器人在巡检路线上对各设备图像进行采集；2)将处理好的图像与预先存储的相应设备参考图进行配准；3)在图像配准后，根据两幅图像的差异，检测出发生异常的区域；4)异常分类，根据检测出的异常区域的特征参数，对异常进行分类。

Description

基于变电站巡检机器人变电站设备外观异常识别方法

技术领域

本发明涉及一种基于变电站巡检机器人变电站设备外观异常识别方法。

背景技术

当前的变电站状态检测设备，只通过对设备出采集到的电流、电压等相关的数据进行监测，对于设备外观可能存在的异常，无法检测到。这种外观上的异常情况，如变压器表面出现油渍，设备外形发生了改变，设备上悬挂了风筝、飘带等情况，存在很大的安全隐患，应及时发现并排除；当前这类异常情况主要靠人工现场检查，这种检查方法存在以下两个问题：一，不安全，由于变电站内存在高压和放电，随时可能对人体造成伤害；二，不及时，由于工作人员不能长期在站内巡视，问题发生时，很难被及时发现。

现有的室外环境监测设备一般固定相机位置，实时的采集连续的图像序列进行异常的检测；由于摄像机拍摄的场景有限，且每次停靠的位置存在偏差，这种检测方式和检测方法对于变电站中多种设备的监测并不适用。

由于变电站设置在室外环境，不同的光照影响对图像质量影响较大；变电站巡检机器人采集图像时，两次停靠的位置会存在误差，使得拍摄的设备在图像中位置不一致；上述两种情况是异常检测面对的两个主要困难，现在没有成熟通用的方法来解决上述问题。

发明内容

本发明的目的就是为解决上述问题，提供一种基于变电站巡检机器人变电站设备外观异常识别方法，它基于电力巡检机器人平台(其型号为LER-3000)，利用图像处理及模式识别等相关技术，对电力设备采集图像进行检测，判断该设备是否有污损、破损、异物等异常现象，通过对采集的图像进行分析，找到对应的缺陷识别方法，准确，快速的检测到设备异常，及时报告，消除安全隐患。

为实现上述目的，本发明采用如下技术方案：

一种基于变电站巡检机器人变电站设备外观异常识别方法，它的步骤为：

1)电力巡检机器人在巡检路线上对各设备图像进行采集；

2)将处理好的图像与预先存储的相应设备参考图进行配准；

3)在图像配准后，根据两幅图像的差异，检测出发生异常的区域；

4)异常分类，根据检测出的异常区域的特征参数，对异常进行分类。

所述步骤2)中，在得到待配准图像后，使用下述方法对与参考图像进行配准，所述配准过程为：首先使用具有光照不变、旋转和尺度不变等性质的尺度不变特征SIFT(ScaleInvariant Feature Transform)进行匹配；然后，基于随机采样一致方法RANSAC(RANdomSAmple Consensus)随机采样一致方法，计算待检测图像和参考图像的单应关系H(Homography)矩阵；

由于有多个不同的设备，很难直接根据当前图像检测出设备发生的异常。因此，使用正常情况下得到图像作为模板，使用当前图像与之对比；由于，电力巡检机器人每次停靠的位置和角度有所偏差，在同一采集点获得图像位置不相同，因此，需要得到两幅图像的位置关系。基于SIFT特征的光照不变、尺度和旋转不变性，对于室外光照和拍摄位置有很高的鲁棒性，不同时刻拍摄的图像都能提取足够多的特征点，因此选用该特征来进行匹配。SIFT特征向量由4×4数组表示，其中每个元素包含了8个方向的直方图信息；在得到128维的特征向量后，通过计算向量间的最小距离来的得到匹配关系；

这边假设两幅图像由一个成像系统获得，且光心位置相同，参考图像和待建模图像上点与点的单应关系通过一个单应矩阵H来表示；在2维图像空间中，单应矩阵被定义成一个3×3的矩阵H：

wp′＝Hp                    (1)

$\left[\begin{array}{c}{\mathrm{wx}}^{\′}\\ {\mathrm{wy}}^{\′}\\ w\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}/h_{33}& h_{11}/h_{33}& h_{11}/h_{33}\\ h_{11}/h_{33}& h_{11}/h_{33}& h_{11}/h_{33}\\ h_{11}/h_{33}& h_{33}/h_{33}& 1\end{array}\right]---\left(2\right)$

其中，w是尺度因子，h_ij为H矩阵的i行j列的元素值，p＝(x，y)，p′＝(x′，y′)分别代表两幅图像的x轴，y轴坐标值；由两幅图像点的匹配关系得到关于H的方程，H矩阵有8个变量，最少使用四对匹配关系就可以得到一个H。

RANSAC(随机采样一致性)算法，通过随机采样建立模型H需要的最小的样本集合，找到与该集合匹配的模型，然后检测其余样本与该模型的一致性，这里检测匹配点的反投影误差；如果没有显著的一致性，重新随机采样，计算新的模型；通过多次迭代就找到与足够多的样本一致的模型；该方法能够很好的处理存在错误匹配的情况，从而减少H矩阵的计算误差和提高计算速度。

所述步骤3中)，异常检测基于当前待检测图像和参考图像的差值图像进行检测，在对待检测图像配准后，对两幅图像做差，由于差值图像对比度较小，先将差值图像归一化到0到255之间；然后使用Mean Shift分割算法，直接得到差异较大的区域。

由于不同时刻拍摄的参考图像和待检测图像受光照的影响，差值的分布情况不确定。使用Mean Shift(均值滤波)图像分割方法，直接根据差值图像的自动收敛情况，对差异较大的区域进行分割，从而自动将发生异常的区域分割出来，这里将分割算法中的阈值与检测标准相结合，使得分割结果更可靠；其中，参数设置为h_sptial＝7.5，h_color＝6.5，最小分割面积为500像素。由于光照对差值图像的影响主要有两种：一是整体的灰度分布，二是局部的高亮区域；对于第一种情况，不同光照下的两幅图像的差值整体分布一致，不会对结果造成影响。对于第二种情况，有可能因为高亮区域与其他区域对比度较大，在分割时被检测出来；这种情况，可以通过颜色空间阈值的选取来去除掉；选择h_color＝6.5能够很好的去除高亮区域的影响，且能够分割出对比度高的异常区域。

所述步骤4)中，异常的分类，是根据异常区域在目标区域的分布情况，判断是设备自身的变化，或者是外来的悬挂物造成的异常；首先使用自适应的二值化将目标区域进行分割，同检测出来的异常区域统计重合区域，计算重合区域的面积和质心所在的位置，结合当前设备类型给出判断；当异常区域与目标区域重合率达到95％以上，且面积大于设定的像素数，认为异常发生在目标区域；当异常区域与目标区域重合率在95％以下，且面积大于设定的像素数认为可能是悬挂物或发生破损；当异常区域的像素个数小于设定的像素数时，认为是可以忽略的异常；由于现场情况复杂，这里只对异常做简单的分类。

本发明的有益效果是：基于电力巡检机器人平台，由机器人代替人工检查，能够安全的及时的完成变电站巡检工作；通过图像处理技术实时准确的发现异常，通过报警系统进行报警，能够快速准确对异常进行报告。基于光照和旋转不变的SIFT特征匹配，任何光照下的图像都能得到相应的匹配关系，不受室外环境下太阳光的影响；使用鲁棒的RANSAC求解方法获得H矩阵，使得结果不受错误匹配的影响；使用均值滤波(Mean Shift)方法，对差值图像进行分割，自动根据像素收敛情况进行分割，不受参考图像和待检测图像的灰度整体分布的不一致的影响，对光照变化十分鲁棒；通过颜色空间阈值的合理选取，去除高亮区域可能造成的误判，使得检测结果不受光照影响；当相机两次拍摄角度有较大变化时，会造成目标边缘区域配准误差较大，通过最小检测面积去除配准误差造成的目标边缘区域可能引起的误判。

附图说明

图1为系统流程图；

图2为参考图；

图3为代检测图；

图4a为图1的SIFT特征图；

图4b为图2的SIFT特征图；

图5为基于SIFT的匹配结果图；

图6为5配准后的结果图；

图7为差值图像拉伸结果图；

图8为Mean Shift分割的结果图。

图9a为参考图；

图9b为有异物的待检测图；

图9c为检测结果图。

具体实施方式

下面结合附图与实施例对比发明做进一步说明。

图1-图8中，本发明的步骤为：

1)电力巡检机器人在巡检路线上对各设备图像进行采集；

2)将处理好的图像与预先存储的相应设备参考图进行配准；

3)在图像配准后，根据两幅图像的差异，检测出发生异常的区域；

4)异常分类，根据检测出的异常区域的特征参数，对异常进行分类。

所述步骤1)中，电力巡检机器人在选件线路上的固定点，采集当前图像，并进行存储；如图2，图3所示，分别给出了不同时刻，拍摄的电流互感器(CT)的图像，在位置和光照条件上有所不同。

所述步骤2)中，在得到待配准图像后，使用下述方法对与参考图像进行配准，所述配准过程为：首先使用具有光照不变、旋转和尺度不变等性质的SIFT特征进行匹配；然后，基于RANSAC随机采样一致方法，计算待检测图像和参考图像的单应关系H矩阵；

由于有多个不同的设备，很难直接根据当前图像检测出设备发生的异常；因此，使用正常情况下得到图像作为模板，使用当前图像与之对比。由于，电力巡检机器人每次停靠的位置有所偏差，在同一采集点获得的图像所有偏差，因此，需要得到两幅图像的位置关系；基于SIFT特征的光照不变、尺度和旋转不变性，对于室外光照和拍摄位置有很高的鲁棒性，不同时刻拍摄的图像都能提取足够多的特征点，因此选用该特征来进行匹配；

如图4a，图4b所示，分别给出了不同光照条件下的两幅图像SIFT特征点的位置，整体分布较为一致；从图4匹配结果看出，SIFT特征几乎不受光照的影响，得到了足够多的匹配关系；其中，SIFT特征向量由4×4数组表示，其中每个元素包含了8个方向的直方图信息；在得到128维的特征向量后，通过计算向量间的最小距离来的得到匹配关系。

这边假设两幅图像由一个成像系统获得，且光心位置相同，参考图像和待建模图像上点与点的单应关系通过一个单应矩阵H来表示；在2维图像空间中，单应矩阵被定义成一个3×3的矩阵H：

wp′＝Hp             (1)

$\left[\begin{array}{c}{\mathrm{wx}}^{\′}\\ {\mathrm{wy}}^{\′}\\ w\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}/h_{33}& h_{11}/h_{33}& h_{11}/h_{33}\\ h_{11}/h_{33}& h_{11}/h_{33}& h_{11}/h_{33}\\ h_{11}/h_{33}& h_{33}/h_{33}& 1\end{array}\right]---\left(2\right)$

其中，w是尺度因子，h_ij为H矩阵的i行j列的元素值，p＝(x，y)，p′＝(x′，y′)分别代表两幅图像的x轴，y轴坐标值；由两幅图像点的匹配关系得到关于H的方程，H矩阵有8个变量，最少使用四对匹配关系就可以得到一个H。

RANSAC(随机采样一致性)算法，通过随机采样建立模型H需要的最小的样本集合，找到与该集合匹配的模型，然后检测其余样本与该模型的一致性，这里检测匹配点的反投影误差；如果没有显著的一致性，重新随机采样，计算新的模型；通过多次迭代就找到与足够多的样本一致的模型；该方法能够很好的处理存在错误匹配的情况，从而减少H矩阵的计算误差和提高计算速度。

如图5所示，在得到H矩阵后，将H矩阵作用到待检测图像上，得到变换后的结果，可以直观的得到两幅图像在位置上的偏差。需要保存参考图像和待检测图像的配准区域，对于不重合的区域，使用0值填充，在后面的操作用不予考虑。

所述步骤3中)，异常检测基于当前待检测图像和参考图像的差值图像进行检测，在对待检测图像配准后，对两幅图像做差，由于差值图像对比度较小，先将图像归一化到0到255之间；然后使用Mean Shift分割算法，直接得到差异较大的区域。

其中，参数设置为h_sptial＝7.5，h_color＝6.5，最小分割面积为500像素。由于光照对差值图像的影响主要有两种：一是整体的灰度分布，二是局部的高亮区域。对于第一种情况，不同光照下的两幅图像的差值整体分布一致，不会对结果造成影响。对于第二种情况，有可能因为高亮区域与其他区域相比，对比度较大，被分割出来。这种情况，可以通过颜色空间阈值的合理选取来去除掉。选择h_color＝6.5能够很好的去除高亮区域的影响，且能够分割出对比度高的异常区域。

如图7所示，给出了图6与图1做差后归一化到0到255之间的结果，可以看出光照情况对差值图像，影响较小，没有由于光照造成图像的不平滑。

如图8所示，给出了对图7做Mean Shift分割的结果，从该结果可以直接的看出，两幅图的重合区域最终收敛到了一个分布上，因此没有异常发生。

所述步骤4)中，异常的分类，是根据异常区域在目标区域的分布情况，判断是设备自身的变化，或者是外来的悬挂物造成的异常；首先使用自适应的二值化将目标区域进行分割，同检测出来的异常区域统计重合区域，计算重合区域的面积和质心所在的位置，结合当前设备类型给出判断。当异常区域与目标区域重合达到95％以上，且面积大于500像素，认为异常发生在目标区域；当异常区域与目标区域重合95％以下，且面积大于500像素认为可能是悬挂物或发生破损；当异常区域的像素个数小于500像素时，认为是可以忽略的异常。

图9a为待检测图像，图9b为参考图像，为不同时刻拍摄的变压器套管的图像，可以看出在光照条件和位置上都有所偏差，且待检测图像上挂有飘带，图9c直接给出了分割的结果，检测结果为：有异物，异物所在位置(144，117)，异物的面积：2982个像素，其中与目标区域重合面积为：1529，51.％的区域与目标区域重合，因此判断该异物为附着物。

Claims (1)

1.一种基于变电站巡检机器人变电站设备外观异常识别方法，其特征是，它的步骤为：

1)电力巡检机器人在巡检路线上对各设备图像进行采集；

2)将处理好的图像与预先存储的相应设备参考图进行配准；

3)在图像配准后，根据两幅图像的差异，检测出发生异常的区域；异常检测基于当前待检测图像和参考图像的差值图像进行检测，在对待检测图像配准后，对两幅图像做差，由于差值图像可视化较差，先将图像归一化到0到255之间；然后使用Mean Shift分割算法，直接得到要检测的异常区域；

4)异常分类，根据检测出的异常区域的统计参数，对异常进行分类；异常的分类，是根据异常区域在目标区域的分布情况，判断是设备自身的变化，或者是外来的悬挂物造成的异常；首先使用自适应的二值化将参考图像的目标区域进行分割，同检测出来的异常区域统计重合区域，计算重合区域的面积和质心所在的位置，结合当前设备类型给出判断；当异常区域与目标区域重合率达到95％以上，且面积大于设定的像素数，则异常发生在目标区域；当异常区域与目标区域重合率在95％以下，且面积大于设定的像素数，则为悬挂物或发生破损；当异常区域的像素个数小于设定的像素数时，则忽略；

所述步骤2)中，所述配准过程为：首先使用具有光照不变、旋转和尺度不变性质的SIFT特征进行匹配；然后，基于RANSAC随机采样一致方法，计算待检测图像和参考图像的单应关系H矩阵；

其中，尺度不变特征SIFT是一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子；该算子首先在尺度空间中寻找高斯差分极值点从而确定关键点所在的尺度，然后确定关键点位置，并使用邻域梯度的主方向作为该点的方向特征，最后由4×4数组，其中每个元素包含了8个方向的直方图信息，得到128维的特征向量；特征点之间的匹配关系是通过计算向量间的最小距离来的得到的；

由于两幅图像由一个成像系统获得，假设光心位置相同，将参考图像和待建模图像上点与点的单应关系通过一个单应矩阵H来表示；在2维图像空间中，单应矩阵被定义成一个3×3的矩阵H：

wp′＝Hp(1)

其中，w是尺度因子，h_ij为H矩阵的i行j列的元素值，p＝(x，y)，p′＝(x′，y′)分别代表两幅图像的x轴，y轴坐标值；由两幅图像点的匹配关系得到关于H的方程，H矩阵有8个变量，最少使用四对匹配点就可以得到一个H；

RANSAC随机采样一致性算法，通过随机采样建立模型H需要的最小的样本集合，找到与该集合匹配的模型，然后检测其余样本与该模型的一致性，这里检测匹配点的反投影误差；如果没有显著的一致性，重新随机采样，计算新的模型；通过多次迭代就找到与足够多的样本一致的模型；该方法能够很好的处理存在错误匹配的情况，从而减少H矩阵的计算误差和提高计算速度。

Images