CN109102036A - 一种用于输电线路故障识别的图像标记方法及装置 - Google Patents
一种用于输电线路故障识别的图像标记方法及装置 Download PDFInfo
- Publication number
- CN109102036A CN109102036A CN201811122966.7A CN201811122966A CN109102036A CN 109102036 A CN109102036 A CN 109102036A CN 201811122966 A CN201811122966 A CN 201811122966A CN 109102036 A CN109102036 A CN 109102036A
- Authority
- CN
- China
- Prior art keywords
- region
- similarity
- image
- size
- transmission line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例示出一种用于输电线路故障识别的图像标记方法及装置,本申请实施例示出的技术方案基于区域合并的选择性搜索方式进行输电线路故障的图像标记。其中区域合并思想的引入提高了图像分割的效率,能够更快速的获得区域假设。改进的SVM(Support Vector Machine)的使用能够同时进行输电线路多种故障的分类,提高图像标记的效率。
Description
技术领域
本发明涉及图像识别技术领域,特别涉及一种用于输电线路故障识别的图像标记方法及装置。
背景技术
电网输电线路里程的迅速延伸以及走廊环境的日益复杂,在人员有限的现实情况下,线路运维检修工作面临着巨大挑战。目前,各级线路运检部门主要采用人工巡检方式,并辅以直升机、无人机等先进技术进行协同作业,以期提高作业效率。电网每年开展的机巡作业中产生的巡检图像视频量巨大,仅仅依靠人工对视频图像进行判读,工作量巨大并且易发生漏判,导致只能完成少量及怀疑明显有缺陷的数据的判读,大量数据只能放在硬盘里无法应用。
近年来,随着数码摄像和计算机视觉技术的快速发展和广泛应用,采用直升机、无人机等搭载照相(摄像)机等手段实现高效、快速的输电线路巡检也得到迅速推广和应用。通过对大量的机巡可见光影像数据(图片、视频)的深度挖掘利用,可以有效的发现输电线路外观、运行环境、元件异常等输电线路主要缺陷,为设备管理和运行维护提供参考。
对无人机巡检图像、视频进行深度挖掘的前提是对图像、视频中的输电线路故障进行目标标记。在图像中找到一个故障的具体位置,确定故障的具体分类,并做出图像标记。之前的做法主要是基于穷举搜索,选择一个窗口扫描整张图像,改变窗口大小,继续扫描整张图像,这种做法结果太复杂,而且非常耗时。在寻找合适位置时需要花费大量的时间,导致用于物体识别分类的特征也不能太复杂,只能使用一些简单特征。在故障分类时通常采用的是SVM二分类方法,分类效率低下。对于多种类型的输电线路故障只能重复多次进行故障分类。
因此,有必要采用基于区域合并的选择性搜索方法,进行故障目标位置假设搜索。由于选择搜索在得到物体的位置假设这一步效率较高,其可以采用尺度不变特征变换(SIFT)等运算量大,表示能力强的特征。在分类过程中可以采用改进的SVM多分类方法(OVRSVMs)进行分类,提高多类型故障的分类效率。对于多种类型的输电线路故障也能一次进行分类标记。
发明内容
本发明的发明目的在于提供一种用于输电线路故障识别的图像标记方法及装置,以解现有技术。
本申请实施例第一方面示出一种用于输电线路故障识别的图像标记方法,所述方法包括:
输入待处理输电线路图片;
将所述待处理输电线路图片分割成像素点,根据预置规则合并所述像素点,生成合并区域图像;
提取合并区域图像的局部特征,构建所述局部特征的描述子;
将所述描述子输入图像标记模型,生成所述待处理输电线路图片的图像标记。
可选择的,所述将所述待处理输电线路图片分割成像素点,根据预置规则合并所述像素点,生成合并区域图像的步骤包括:
将图片抽象为图,所述图包括:像素点,以及,分支;
以像素点作为图的顶点,对图的分支依据颜色差赋予权值:W(Vi,Vj);
图中每个顶点作为一个区域,区域的内部差为:Int(C);
其中,Int(C)=max W(e);
区域之间的差别为:Dif(C1,C2);
其中,Dif(C1,C2)=min W((V1,V2)),如果两个边没有连接则Dif取无穷大;
区域分割的判断标准为:
其中,MInt(C1,C2)=min((Int(C1))+τ(C1),(Int(C2))+τ(C2)),τ(C)为设定阈值;
根据上述的区域分割标准进行区域合并;
当W(C1,C2)<MInt时将两区域进行合并;最后得到区域分割集合;
计算相邻区域之间的相似度,得到相似度集合,将相似度最大的两个区域进行合并,直至相似度集合为空集,得到生成合并区域图像。
可选择的,所述计算相邻区域之间的相似度,得到相似度集合,将相似度最大的两个区域进行合并,直至相似度集合为空集,得到生成合并区域图像的步骤包括:
计算所述区域的颜色相似度、纹理相似度、大小相似度、吻合相似度,得到相似度集合;
从相似度集合中搜索出相似度最大的两个区域进行合并;
在相似度集合中除去与原来区域相关的相似度,计算新区域与其相邻区域的相似度,将新计算出的相似度添加到相似度集合中,直至相似度集合为空集,得到生成合并区域图像。
可选择的,计算颜色相似度的方法具体为:
使用L1范数归一化,得到区域各个颜色通道的直方图,最终得到一个多维向量
区域之间颜色相似度计算方式如下:
其中Scolour(ri,rj)表示区域ri和rj区域之间的颜色相似度;
表示区域的颜色通道直方图;
在区域两两合并之后需要重新对新的区域计算直方图,计算方式如下:
其中size(ri),size(rj)表示区域ri,rj的大小,Ct表示区域合并之后的颜色直方图;
可选择的,纹理相似度的计算方法具体为:
纹理相似度计算采用SIFT特征,对每个颜色通道的8个不同方向进行高斯微分计算;
采用L1归一化,每个颜色通道取直方图,每个区域可以得到一个多维向量;区域之间的纹理相似度计算方式如下:
其中Stexture(ri,rj)表示ri,rj区域之间的纹理相似度,表示区域的纹理;
在区域合并之后需要重新进行纹理特征计算,计算公式如下:
其中texture(ri),texture(rj)表示区域ri,rj的大小,Tt表示合并后区域的纹理特征;
接着进行大小相似度的计算;为了使得小的区域能够优先合并,我们进行区域大小相似度的计算,区域大小是指区域中包含的像素点多少,计算公式如下:
其中size(ri),size(rj)表示ri,rj区域的大小;
size(im)表示图片的大小,Ssize(ri,rj)表示ri,rj区域大小相似度。
可选择的,然后进行吻合相似度计算具体为:
其中Sfill(ri,rj)表示空间重叠度,size(BBij)表示区域合并之后的Bound Box的大小,size(im)表示图片的大小;
对每一种相似度赋权值,获得两个区域之间总的相似度;
计算公式如下:
S(ri,rj)=α1Scolour(ri,rj)+α2Stexture(ri,rj)+α3Ssize(ri,rj)+α4Sfill(ri,rj);
其中S(ri,rj)表示区域之间的总相似度,权值αi∈{0,1}。
可选择的,所述提取合并区域图像的局部特征,构建所述局部特征的描述子:
利用高斯模糊对区域图像进行处理,以高斯金字塔的形式构建区域图像的尺度空间,具体的,通过对区域图像进行连续的降阶采样,得到尺寸大小不同的图像;
从大到小,从下往上依次排列,形成高斯金字塔;
然后利用高斯金字塔上下两层图像做差分,得到高斯差分图像;
将高斯差分图像上每张图像上的每一个像素点与周围所有像素点进行比较,如果该像素点比它相邻的26个像素点都大或者小,则认为该点为极值点;
确定所述极值点的位置,方向,以及,尺寸,即为局部特征的描述子。
可选择的,所述确定所述极值点的位置,方向,以及尺寸的步骤包括:
过拟合三维二次函数来精确获得极值点的位置;
确定极值点的基准方向,利用图像梯度的方法求取;
梯度的模值和方向计算公式如下:
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)));
其中L为极值点所在的尺度空间值;x,y为极值点的位置。
本申请实施例第二方面示出一种用于输电线路故障识别的图像标记装置,所述装置包括:
输入模块,用于输入待处理输电线路图片;
切割模块,用于将所述待处理输电线路图片分割成像素点,根据预置规则合并所述像素点,生成合并区域图像;
构建模块,用于提取合并区域图像的局部特征,构建所述局部特征的描述子;
标记模块,用于将所述描述子输入图像标记模型,生成所述待处理输电线路图片的图像标记。
由以上技术方案可知,本申请实施例示出一种用于输电线路故障识别的图像标记方法及装置,本申请实施例示出的技术方案基于区域合并的选择性搜索方式进行输电线路故障的图像标记。其中区域合并思想的引入提高了图像分割的效率,能够更快速的获得区域假设。改进的SVM(Support Vector Machine)的使用能够同时进行输电线路多种故障的分类,提高图像标记的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据一优选实施例示出的一种本申请实施例一种用于输电线路故障识别的图像标记方法的流程图;
图2为根据一优选实施例示出的SVM分类示意图;
图3为根据一优选实施例示出的图像尺度空间示意图;
图4为根据一优选实施例示出的一种本申请实施例一种用于输电线路故障识别的图像标记装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本申请实施例第一方面示出一种用于输电线路故障识别的图像标记方法,所述方法包括:
S101输入待处理输电线路图片;
S102将所述待处理输电线路图片分割成像素点,根据预置规则合并所述像素点,生成合并区域图像;
S103提取合并区域图像的局部特征,构建所述局部特征的描述子;
S104将所述描述子输入图像标记模型,生成所述待处理输电线路图片的图像标记。
具体的,在视频处理和图像识别领域内,用于模型训练的正样本的标记准确性对模型的训练起着至关重要的作用。目前在做样本标记时,大多采用人工标记的方法,这种方法耗时耗力,效率低下。本发明采用基于区域合并的选择性搜索方法进行目标假设位置搜索,获取所有可能存在的位置假设。再采用改进的SVM分类方法对故障目标进行多类型分类,进而实现对故障目标的自动化标记。
本发明的上述技术问题主要是通过下述两部分实现的:
第一部分,在进行输电线路故障分类和标记之前需要对图像进行区域分割。基于区域合并原理,前期先对图像进行原始分割,获得图像的原始区域,然后使用一些合并策略将原始区域进行合并,得到一个层次化的区域结构,而这些结构中包含可能需要标记的故障目标。
步骤1.1,使用Efficient Graph-Based Image Segmentation的方法获取原始分割区域R={r1,r2,…rn}。
步骤1.2,初始化相似度集合
步骤1.3,计算每两个相邻区域之间的相似度,将计算得到的相似度添加到集合S中。
步骤1.4,从相似度集合S中找出,相似度最大的两个区域ri和rj,将其合并成为一个区域rt,从相似度集合中除去原先与ri和rj相邻区域之间计算的相似度,计算rt与其相邻区域的相似度,将其结果添加到相似度集合S中。同时将新区域rt添加到区域集合R中。循环上述过程,直到集合S为空时循环结束。
步骤1.5,获取每个区域的Bound Boxes,这个结果就是物体位置的可能结果。
第二部分,通过第一部分的区域合并,可以得到一些输电线路故障的位置假设,第二部分的任务就是如何从这些位置假设中找出故障的真正位置并确定故障的类型,从而对输电线路故障进行标记。在物体识别特征提取时,可以采用运算量大,表示能力强的尺度不变特征变换(SIFT)进行图像特征提取。输电线路的故障分类则采用改进的SVM分类器进行多种故障分类。在具体步骤如下:
步骤2.1,特征提取。在进行图像特征提取时采用尺度不变特征变换算法(SIFT),在预先设定的尺度下进行图像的抽样特征提取。经过特征提取可以得到一个一维的特征向量。
步骤2.2,改进的SVM分类器训练。分类方法采用改进的SVM进行输电线路故障多类型分类。第一步是正、负样本的设置,即以真实的输电线路故障目标作为正样本,选择与正样本重复率在20%-50%的样本作为负样本,并且在样本的选择过程中排除掉重叠率超过70%的负样本。第二步是重复迭代,对模型进行训练。
本发明采用基于区域合并的选择性搜索方式进行输电线路故障的图像标记。其中区域合并思想的引入提高了图像分割的效率,能够更快速的获得区域假设。改进的SVM分类器的使用能够同时进行输电线路多种故障的分类,提高图像标记的效率。
实施例1:
结合附图,对本发明的技术方案进行进一步说明。
步骤1,首先输入一张需要标记的输电线路彩色图片。
步骤2,采用选择性目标识别(Efficient Graph-Based Image Segmentation)方法进行区域分割。首先将图像按照像素点分割成一个个点,然后通过事先设定好的区域合并策略进行合并,最后得到一个合理的图像分割集R={r1,r2,…rn},其中ri表示一个图像分割。
所述步骤2中,首先将图像抽象为图,像素点作为图的顶点,对图的分支依据颜色差赋予一定的权值W(Vi,Vj),其中Vi,Vj表示图的顶点,然后权值按升序排列。其次进行图像的原始分割S,图中每个顶点作为一个区域。区域的内部差表示为Int(C),其中Int(C)=maxW(e),W(e)表示图的分支的权值,区域之间的差别表示为Dif(C1,C2),其中Dif(C1,C2)=minW((V1,V2)),如果两个边没有连接则Dif取无穷大。区域分割的判断标准为:
其中,MInt(C1,C2)=min((Int(C1))+τ(C1),(Int(C2))+τ(C2)),τ(C)为设定阈值,D(C1,C2)表示区域之间的分割。根据上述的区域分割标准进行区域合并,当W(C1,C2)<MInt时将两区域进行合并,反之则不合并两区域。重复合并操作,最后得到区域分割集合。
步骤3,相似度集合初始化。我们从四个方面来计算相邻区域之间的相似度,分别是颜色相似度、纹理相似度、大小相似度、吻合相似度。相似度集合初始化为空集
请参阅图2,具体分类过程如图2所示。
步骤4,分别计算每两个相邻区域间的相似度,然后将计算出的相似度添加到相似度集合S中。
所述步骤4中,首先计算颜色相似度,使用L1范数归一化,得到图像各个颜色通道的25bins直方图,最终得到一个75维向量区域之间颜色相似度计算方式如下:
其中Scolour(ri,rj)表示区域ri和rj区域之间的颜色相似度。表示区域的颜色通道直方图。
在区域两两合并之后需要重新对新的区域计算直方图,计算方式如下:
其中size(ri),size(rj)表示区域ri,rj的大小,Ct表示区域合并之后的颜色直方图。
然后是纹理相似度的计算。纹理相似度计算采用SIFT特征,对每个颜色通道的8个不同方向进行高斯微分计算,其中方差设定为σ=1。采用L1归一化,每个颜色通道取10bins直方图,每个区域可以得到一个240维向量区域之间的纹理相似度计算方式如下:
其中Stexture(ri,rj)表示ri,rj区域之间的纹理相似度,表示区域的纹理。
在区域合并之后需要重新进行纹理特征计算,计算公式如下:
其中texture(ri),texture(rj)表示区域ri,rj的大小,Tt表示合并后区域的纹理特征。
接着进行大小相似度的计算。为了使得小的区域能够优先合并,我们进行区域大小相似度的计算,区域大小是指区域中包含的像素点多少,计算公式如下:
其中size(ri),size(rj)表示ri,rj区域的大小,size(im)表示图片的大小,Ssize(ri,rj)表示ri,rj区域大小相似度。
然后进行吻合相似度计算。为了使两个区域合并之后能够更加吻合,需要进行吻合相似度计算。两个区域合并之后用尽可能小的矩形框起来,即Bound Box,矩形越小表明吻合度越好。计算公式如下:
其中Sfill(ri,rj)表示空间重叠度,size(BBij)表示区域合并之后的Bound Box的大小,size(im)表示图片的大小。
最后对每一种相似度赋一定的权值,获得两个区域之间总的相似度。计算公式如下:
S(ri,rj)=α1Scolour(ri,rj)+α2Stexture(ri,rj)+α3Ssize(ri,rj)+α4Sfill(ri,rj);
其中S(ri,rj)表示区域之间的总相似度,权值αi∈{0,1}。
步骤5,通过步骤4可以计算出相邻区域之间的相似度,然后从相似度集合S中找出相似度最大的两个区域进行合并,区域合并之后在相似度集合中除去与原来区域相关的相似度,并且计算新区域与其相邻区域的相似度,将新计算出的相似度添加到相似度集合中。把新合并的区域添加到区域集合中。
步骤6,循环步骤4,步骤5,直到相似度集合成为空集时,循环结束。此时区域合并的整个过程结束。
步骤7,用尽可能小的矩形把每一个新合并的区域框起来,获得图像分割的Bounding Boxes。所有得到的小矩形就是进行图像分割的位置假设。
步骤8,特征生成。利用对光线、噪声等容忍度高的尺度不变特征转换算法来进行图像的局部特征提取。首先在生成的尺度空间中求取极值点,然后获得极值点的位置、尺度和方向,最后构建一个矩阵作为图像特征的描述子。
所述步骤8中,首先使用高斯模糊对图像进行处理。使用高斯函数生成模糊模板,将原图像和模板进行卷积计算,实现对图像的模糊。其计算公式为:
L(x,y,σ)=G(x,y,σ)*I(x,y)
其中,*表示两个函数的卷积运算,G(x,y,σ)为高斯函数,I(x,y)为原图像。高斯函数计算公式为:
其中想,x,y表示图像中点的坐标,σ表示方差。
接着以高斯金字塔的形式构建图像的尺度空间。通过对原图像进行连续的降阶采样,得到尺寸大小不同的图像,从大到小,从下往上依次排列,形成高斯金字塔。然后利用高斯金字塔上下两层图像做差分,得到高斯差分图像。
接着是空间极值点的检测,极值点的初步检测是在高斯差分图像上进行的。让每张图像上的每一个像素点与周围所有像素点进行比较,如果该像素点比它相邻的26个像素点(请参阅图3)都大或者小,则认为该点为极值点,然后通过拟合三维二次函数来精确获得极值点的位置。
获得极值点之后需要确定极值点的基准方向,利用图像梯度的方法求取。梯度的模值和方向计算公式如下:
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))
其中,m(x,y)表示图像梯度的模值,θ(x,y)表示图像梯度的方向,L为极值点所在的尺度空间值,x、y表示极值点的横坐标、纵坐标。
利用直方图统计极值点邻域内像素点的方向,360度方向被分为36个范围,每个范围10度。直方图的峰值则定义为极值点的主方向。
通过以上步骤每个极值点有位置、尺度和方向三个信息,因此可以利用一个向量来对极值点进行描述。以极值点为中心,极值点方向为主方向,将周围邻域划分成4×4个窗口,每一个窗口计算8个方向的梯度信息,因此可以获得一个128维向量作为图像的描述子。
步骤9,进行多种输电线路故障分类。采用改进的SVM多分类器进行故障分类,把输电线路的一种故障类型作为正样本,其余故障类型和正常状态作为负样本。根据故障类型依次更换正负样本,构造不同的训练集。然后使用训练集分别对模型进行迭代训练,获得多类型故障分类器。
所述步骤9中,假设我们把输电线路故障分为杆塔有鸟巢,绝缘子破碎,小金具缺失和正常状态这四种类型,分别记作A、B、C、D。在设定训练集时,按照以下规则:
(1)A种故障类型作为正样本集,B、C、D种类型作为负样本集。
(2)B种故障类型作为正样本集,A、C、D种类型作为负样本集。
(3)C种故障类型作为正样本集,A、B、D种类型作为负样本集。
(4)D种输电线路正常状态作为正样本集,A、B、C种故障类型作为负样本集。
使用以上4个训练集分别对模型进行训练,获得四个训练文件。在进行输电线路故障标记时将四个训练文件并行运算,可以同时获得四个训练结果,模型自动选择四个结果中值最大的,并打上相应类型标记。
步骤10,人工对模型自动标记的故障进行最后的确定。如果在一定置信度水平下,自动标记的故障符合要求则通过人工检验,如果标记出现明显差异则需要进行手工调整。
请参阅图4,本申请实施例第二方面示出一种用于输电线路故障识别的图像标记装置,所述装置包括:
输入模块21,用于输入待处理输电线路图片;
切割模块22,用于将所述待处理输电线路图片分割成像素点,根据预置规则合并所述像素点,生成合并区域图像;
构建模块23,用于提取合并区域图像的局部特征,构建所述局部特征的描述子;
标记模块24,用于将所述描述子输入图像标记模型,生成所述待处理输电线路图片的图像标记。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (9)
1.一种用于输电线路故障识别的图像标记方法,其特征在于,所述方法包括:
输入待处理输电线路图片;
将所述待处理输电线路图片分割成像素点,根据预置规则合并所述像素点,生成合并区域图像;
提取合并区域图像的局部特征,构建所述局部特征的描述子;
将所述描述子输入图像标记模型,生成所述待处理输电线路图片的图像标记。
2.根据权利要求1所述的方法,其特征在于,所述将所述待处理输电线路图片分割成像素点,根据预置规则合并所述像素点,生成合并区域图像的步骤包括:
将图片抽象为图,所述图包括:像素点,以及,分支;
以像素点作为图的顶点,对图的分支依据颜色差赋予权值:W(Vi,Vj);
图中每个顶点作为一个区域,区域的内部差为:Int(C);
其中,Int(C)=max W(e);
区域之间的差别为:Dif(C1,C2);
其中,Dif(C1,C2)=min W((V1,V2)),如果两个边没有连接则Dif取无穷大;
区域分割的判断标准为:
其中,MInt(C1,C2)=min((Int(C1))+τ(C1),(Int(C2))+τ(C2)),τ(C)为设定阈值;
根据上述的区域分割标准进行区域合并;
当W(C1,C2)<MInt时将两区域进行合并;最后得到区域分割集合;
计算相邻区域之间的相似度,得到相似度集合,将相似度最大的两个区域进行合并,直至相似度集合为空集,得到生成合并区域图像。
3.根据权利要求2所述的方法,其特征在于,所述计算相邻区域之间的相似度,得到相似度集合,将相似度最大的两个区域进行合并,直至相似度集合为空集,得到生成合并区域图像的步骤包括:
计算所述区域的颜色相似度、纹理相似度、大小相似度、吻合相似度,得到相似度集合;
从相似度集合中搜索出相似度最大的两个区域进行合并;
在相似度集合中除去与原来区域相关的相似度,计算新区域与其相邻区域的相似度,将新计算出的相似度添加到相似度集合中,直至相似度集合为空集,得到生成合并区域图像。
4.根据权利要求3所述的方法,其特征在于,计算颜色相似度的方法具体为:
使用L1范数归一化,得到区域各个颜色通道的直方图,最终得到一个多维向量
区域之间颜色相似度计算方式如下:
其中Scolour(ri,rj)表示区域ri和rj区域之间的颜色相似度;
表示区域的颜色通道直方图;
在区域两两合并之后需要重新对新的区域计算直方图,计算方式如下:
其中size(ri),size(rj)表示区域ri,rj的大小,Ct表示区域合并之后的颜色直方图。
5.根据权利要求3所述的方法,其特征在于,纹理相似度的计算方法具体为:
纹理相似度计算采用SIFT特征,对每个颜色通道的8个不同方向进行高斯微分计算;
采用L1归一化,每个颜色通道取直方图,每个区域可以得到一个多维向量;区域之间的纹理相似度计算方式如下:
其中Stexture(ri,rj)表示ri,rj区域之间的纹理相似度,表示区域的纹理;
在区域合并之后需要重新进行纹理特征计算,计算公式如下:
其中texture(ri),texture(rj)表示区域ri,rj的大小,Tt表示合并后区域的纹理特征;
接着进行大小相似度的计算;为了使得小的区域能够优先合并,我们进行区域大小相似度的计算,区域大小是指区域中包含的像素点多少,计算公式如下:
其中size(ri),size(rj)表示ri,rj区域的大小;
size(im)表示图片的大小,Ssize(ri,rj)表示ri,rj区域大小相似度。
6.根据权利要求3所述的方法,其特征在于,然后进行吻合相似度计算具体为:
其中Sfill(ri,rj)表示空间重叠度,size(BBij)表示区域合并之后的Bound Box的大小,size(im)表示图片的大小;
对每一种相似度赋权值,获得两个区域之间总的相似度;
计算公式如下:
S(ri,rj)=α1Scolour(ri,rj)+α2Stexture(ri,rj)+α3Ssize(ri,rj)+α4Sfill(ri,rj);
其中S(ri,rj)表示区域之间的总相似度,权值αi∈{0,1}。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述提取合并区域图像的局部特征,构建所述局部特征的描述子:
利用高斯模糊对区域图像进行处理,以高斯金字塔的形式构建区域图像的尺度空间,具体的,通过对区域图像进行连续的降阶采样,得到尺寸大小不同的图像;
从大到小,从下往上依次排列,形成高斯金字塔;
然后利用高斯金字塔上下两层图像做差分,得到高斯差分图像;
将高斯差分图像上每张图像上的每一个像素点与周围所有像素点进行比较,如果该像素点比它相邻的26个像素点都大或者小,则认为该点为极值点;
确定所述极值点的位置,方向,以及,尺寸,即为局部特征的描述子。
8.根据权利要求7所述的方法,其特征在于,所述确定所述极值点的位置,方向,以及尺寸的步骤包括:
过拟合三维二次函数来精确获得极值点的位置;
确定极值点的基准方向,利用图像梯度的方法求取;
梯度的模值和方向计算公式如下:
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)));
其中L为极值点所在的尺度空间值;x,y为极值点的位置。
9.一种用于输电线路故障识别的图像标记装置,其特征在于,所述装置包括:
输入模块,用于输入待处理输电线路图片;
切割模块,用于将所述待处理输电线路图片分割成像素点,根据预置规则合并所述像素点,生成合并区域图像;
构建模块,用于提取合并区域图像的局部特征,构建所述局部特征的描述子;
标记模块,用于将所述描述子输入图像标记模型,生成所述待处理输电线路图片的图像标记。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811122966.7A CN109102036A (zh) | 2018-09-26 | 2018-09-26 | 一种用于输电线路故障识别的图像标记方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811122966.7A CN109102036A (zh) | 2018-09-26 | 2018-09-26 | 一种用于输电线路故障识别的图像标记方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109102036A true CN109102036A (zh) | 2018-12-28 |
Family
ID=64867840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811122966.7A Pending CN109102036A (zh) | 2018-09-26 | 2018-09-26 | 一种用于输电线路故障识别的图像标记方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109102036A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109992682A (zh) * | 2019-03-29 | 2019-07-09 | 联想(北京)有限公司 | 一种图像识别方法、装置及电子设备 |
CN113077481A (zh) * | 2021-03-29 | 2021-07-06 | 上海闻泰信息技术有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103260016A (zh) * | 2013-06-04 | 2013-08-21 | 成都思晗科技有限公司 | 一种输电线路远程智能巡线方法 |
CN103413150A (zh) * | 2013-06-28 | 2013-11-27 | 广东电网公司电力科学研究院 | 基于可见光影像对电力线路缺陷进行诊断的方法 |
CN106778633A (zh) * | 2016-12-19 | 2017-05-31 | 江苏慧眼数据科技股份有限公司 | 一种基于区域分割的行人识别方法 |
CN107392215A (zh) * | 2017-08-02 | 2017-11-24 | 焦点科技股份有限公司 | 一种基于sift算法的重图检测方法 |
CN108307146A (zh) * | 2017-12-12 | 2018-07-20 | 张宝泽 | 一种高压输电线路安全隐患检测系统及方法 |
-
2018
- 2018-09-26 CN CN201811122966.7A patent/CN109102036A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103260016A (zh) * | 2013-06-04 | 2013-08-21 | 成都思晗科技有限公司 | 一种输电线路远程智能巡线方法 |
CN103413150A (zh) * | 2013-06-28 | 2013-11-27 | 广东电网公司电力科学研究院 | 基于可见光影像对电力线路缺陷进行诊断的方法 |
CN106778633A (zh) * | 2016-12-19 | 2017-05-31 | 江苏慧眼数据科技股份有限公司 | 一种基于区域分割的行人识别方法 |
CN107392215A (zh) * | 2017-08-02 | 2017-11-24 | 焦点科技股份有限公司 | 一种基于sift算法的重图检测方法 |
CN108307146A (zh) * | 2017-12-12 | 2018-07-20 | 张宝泽 | 一种高压输电线路安全隐患检测系统及方法 |
Non-Patent Citations (4)
Title |
---|
J.R.R. UIJLINGS: "Selective Search for Object Recognition", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 * |
P. F. FELZENSZWALB,ET.AL: "Efficient Graph-Based Image Segmentation", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 * |
孙苗苗: "基于图像处理的输电线故障巡检技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
柳杨: "《数字图像物体识别理论详解与实战》", 31 March 2018 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109992682A (zh) * | 2019-03-29 | 2019-07-09 | 联想(北京)有限公司 | 一种图像识别方法、装置及电子设备 |
CN113077481A (zh) * | 2021-03-29 | 2021-07-06 | 上海闻泰信息技术有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
CN113077481B (zh) * | 2021-03-29 | 2022-12-09 | 上海闻泰信息技术有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yu et al. | A new spatial-oriented object detection framework for remote sensing images | |
Zhao et al. | Cloud shape classification system based on multi-channel cnn and improved fdm | |
Bommes et al. | Computer vision tool for detection, mapping, and fault classification of photovoltaics modules in aerial IR videos | |
CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
Li et al. | An edge embedded marker-based watershed algorithm for high spatial resolution remote sensing image segmentation | |
Peng et al. | Drone-based vacant parking space detection | |
CN109033944B (zh) | 一种全天空极光图像分类与关键局部结构定位方法及系统 | |
CN112560675B (zh) | Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法 | |
CN107833213A (zh) | 一种基于伪真值自适应法的弱监督物体检测方法 | |
CN111402224B (zh) | 一种用于电力设备的目标识别方法 | |
CN113408584B (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
CN109753962B (zh) | 基于混合网络的自然场景图像中文本区域的处理方法 | |
CN109034035A (zh) | 基于显著性检测和特征融合的行人重识别方法 | |
US10902264B2 (en) | Automatic generation of secondary class annotations | |
Shu et al. | Center-point-guided proposal generation for detection of small and dense buildings in aerial imagery | |
CN113158891B (zh) | 一种基于全局特征匹配的跨摄像头行人重识别方法 | |
Yan et al. | Insulator detection and recognition of explosion based on convolutional neural networks | |
CN111488911A (zh) | 基于Mask R-CNN与GAN的图像实体抽取方法 | |
KR20230098745A (ko) | 공항 수하물 비전인식 소터 시스템 및 방법 | |
CN109102036A (zh) | 一种用于输电线路故障识别的图像标记方法及装置 | |
Manninen et al. | Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images | |
CN105354591A (zh) | 基于高阶类别相关先验知识的三维室外场景语义分割系统 | |
CN111597939B (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 | |
CN117611988A (zh) | 一种面向新增耕地管护属性自动识别监测方法及系统 | |
CN111325076A (zh) | 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181228 |
|
RJ01 | Rejection of invention patent application after publication |