CN111667409B - 一种基于超分辨率算法的绝缘子影像分辨率增强方法 - Google Patents
一种基于超分辨率算法的绝缘子影像分辨率增强方法 Download PDFInfo
- Publication number
- CN111667409B CN111667409B CN202010520866.0A CN202010520866A CN111667409B CN 111667409 B CN111667409 B CN 111667409B CN 202010520866 A CN202010520866 A CN 202010520866A CN 111667409 B CN111667409 B CN 111667409B
- Authority
- CN
- China
- Prior art keywords
- resolution
- insulator
- super
- unmanned aerial
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 18
- 230000002708 enhancing effect Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
本申请涉及电网巡检技术领域,尤其涉及一种基于超分辨率算法的绝缘子影像分辨率增强方法。所述基于超分辨率算法的绝缘子影像分辨率增强方法,包括:对已有的原始高分辨率绝缘子无人机影像进行下采样,得到模拟低分辨率绝缘子无人机影像;以所述原始高分辨率绝缘子无人机影像、模拟低分辨率绝缘子无人机影像作为训练集、测试集,对网络模型进行训练得到超分辨率模型;将低分辨率绝缘子无人机影像输入所述超分辨率模型,计算得到高分辨率绝缘子无人机影像。
Description
技术领域
本申请涉及电网巡检技术领域,尤其涉及一种基于超分辨率算法的绝缘子影像分辨率增强方法。
背景技术
绝缘子是电网输电线路结构中一个十分重要的绝缘控件,在架空输电线路中主要起到对输电导线进行支撑,防止输电导线内电流回地导致漏电跳闸的重要作用。在高压输电线路中需要相当多的绝缘子组成绝缘子串,从而增加爬电距离。一旦绝缘子发生故障,就会对输电线路的运行安全产生隐患,严重时会降低输电线路的运行周期,甚至会引发供电中断,发生大范围停电的事故,造成巨大的财产损失。超分辨率技术(Super-Resolution,SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在监控设备、卫星图像和医学影像等领域都有重要的应用价值。
传统的电路巡检方法为人工巡检,巡检人员需要依次到达每输电线路中的每一处设施进行安全检查,不仅耗时耗力,而且针对目前的超高压、大容量输电线路,人工巡检也存在大量安全风险,已经不适用于目前的电路巡检的实际形势。
目前主流的研究方向是通过无人机航拍技术与人工智能技术相结合,通过目标检测算法,对无人机航拍的输电线路图中的各种装置进行自动识别,以达到相应的故障检测效果。相较于近距离拍摄绝缘子影像的无人机,高空拍摄的无人机具有更大的空间尺度,具有更高的工作效率。
但是由于无人机拍摄低分辨率将降低绝缘子影像中绝缘子串的识别精度。
发明内容
本申请提供了一种基于超分辨率算法的绝缘子影像分辨率增强方法,通过将高分辨率绝缘子无人机影像下采样模拟低分辨率无人机影像,利用超分辨率算法学习低分辨率无人机影像以及高分辨率无人机影像直接的深层对应关系模型,针对真实的低分辨率绝缘子无人机影像,利用得到的超分辨率模型对其增强,达到增加其目标检测精度的效果。
本申请的实施例是这样实现的:
本申请实施例第一方面提供一种基于超分辨率算法的绝缘子影像分辨率增强方法,所述方法包括:
对已有的原始高分辨率绝缘子无人机影像进行下采样,得到模拟低分辨率绝缘子无人机影像;
以所述原始高分辨率绝缘子无人机影像、模拟低分辨率绝缘子无人机影像作为训练集、测试集,对网络模型进行训练得到超分辨率模型;
将低分辨率绝缘子无人机影像输入所述超分辨率模型,计算得到高分辨率绝缘子无人机影像。
本申请提供的技术方案包括以下有益效果:通过将高分辨率绝缘子无人机影像下采样模拟低分辨率无人机影像,利用超分辨率算法学习低分辨率无人机影像以及高分辨率无人机影像直接的深层对应关系模型,针对真实的低分辨率绝缘子无人机影像,利用得到的超分辨率模型对其增强,以此提升大尺度绝缘子无人机影像的分辨率从而提升其目标检测精度,将大尺度无人机航拍引入绝缘子巡检,提升巡检效率。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例一种基于超分辨率算法的绝缘子影像分辨率增强系统100的示意图;
图2示出了本申请实施例一种示例性计算设备200的示意图;
图3示出了本申请实施例一种基于超分辨率算法的绝缘子影像分辨率增强方法的流程示意图;
图4A示出了本申请实施例绝缘子无人机影像下采样前示意图;
图4B示出了本申请实施例绝缘子无人机影像下采样后示意图;
图5示出了本申请实施例超分辨率模型获取流程示意图;
图6示出了本申请实施例超分辨率模型输入输出对比示意图。
具体实施方式
现在将描述某些示例性实施方案,以从整体上理解本文所公开的装置和方法的结构、功能、制造和用途的原理。这些实施方案的一个或多个示例已在附图中示出。本领域的普通技术人员将会理解,在本文中具体描述并示出于附图中的装置和方法为非限制性的示例性实施方案,并且本发明的多个实施方案的范围仅由权利要求书限定。结合一个示例性实施方案示出或描述的特征可与其他实施方案的特征进行组合。这种修改和变型旨在包括在本发明的范围之内。
本说明书通篇提及的″多个实施例″、″一些实施例″、″一个实施例″或″实施例″等,意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此,本说明书通篇出现的短语″在多个实施例中″、″在一些实施例中″、″在至少另一个实施例中″或″在实施例中″等并不一定都指相同的实施例。此外,在一个或多个实施例中,具体特征、结构或特性可以任何合适的方式进行组合。因此,在无限制的情形下,结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本发明的范围之内。
本申请中使用了流程图用来说明根据本申请的一些实施例的系统所执行的操作。应当明确理解,流程图的操作可以不按顺序来精确地执行。相反,这些操作可以以相反的顺序或同时执行。而且,可以将一个或多个其他操作添加到流程图。一个或多个操作可以从流程图中移除。
图1是根据本申请的一些实施例所示的一种基于超分辨率算法的绝缘子影像分辨率增强系统100的示意图。基于超分辨率算法的绝缘子影像分辨率增强系统100是一个为可以对无人机采集的绝缘子影响进行增强分辨率的平台。基于超分辨率算法的绝缘子影像分辨率增强系统100可以包括一个服务器110、至少一个存储设备120、至少一个网络130、一个或多个无人机图像采集装置150-1、150-2......150-N。服务器110可以包括一个处理引擎112。
在一些实施例中,服务器110可以是一个单独的服务器或者一个服务器群组。所述服务器群可以是集中式的或分布式的(例如,服务器110可以是一个分布式的系统)。在一些实施例中,服务器110可以是本地的或远程的。例如,服务器110可以通过网络130访问存储在存储设备120中的数据。服务器110可以直接连接到存储设备120访问存储数据。在一些实施例中,服务器110可以在一个云平台上实现。所述云平台可以包括私有云、公共云、混合云、社区云、分布云、多重云等或上述举例的任意组合。在一些实施例中,服务器110可以在与本申请图2所示的计算设备上实现,包括计算设备200中的一个或多个部件。
在一些实施例中,服务器110可以包括一个处理引擎112。处理引擎112可以处理与服务请求相关的信息和/或数据以执行本申请描述的一个或多个功能。例如,处理引擎112可以基于无人机图像采集装置150采集的信息,并通过网络130发送至存储设备120,用于更新存储在其中的数据。在一些实施例中,处理引擎112可以包括一个或多个处理器。处理引擎112可以包括一个或多个硬件处理器,例如中央处理器(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图像处理器(GPU)、物理运算处理器(PPU)、数字信号处理器(DSP)、现场可编辑门阵列(FPGA)、可编辑逻辑器件(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或上述举例的任意组合。
存储设备120可以存储数据和/或指令。在一些实施例中,存储设备120可以存储从无人机图像采集装置150获得的数据。在一些实施例中,存储设备120可以存储供服务器110执行或使用的数据和/或指令,服务器110可以通过执行或使用所述数据和/或指令以实现本申请描述的实施例方法。在一些实施例中,存储设备120可以包括大容量存储器、可移动存储器、挥发性读写存储器、只读存储器(ROM)等或上述举例的任意组合。在一些实施例中,存储设备120可以在一个云平台上实现。例如所述云平台可以包括私有云、公共云、混合云、社区云、分布云、多重云等或上述举例的任意组合。
在一些实施例中,存储设备120可以与网络130连接以实现与基于超分辨率算法的绝缘子影像分辨率增强系统100中的一个或多个部件之间的通信。基于超分辨率算法的绝缘子影像分辨率增强系统100的一个或多个部件可以通过网络130访问存储在存储设备120中的数据或指令。在一些实施例中,存储设备120可以直接与基于超分辨率算法的绝缘子影像分辨率增强系统100的一个或多个部件连接或通信。在一些实施例中,存储设备120可以是服务器110的一部分。
网络130可以促进信息和/或数据的交换。在一些实施例中,基于超分辨率算法的绝缘子影像分辨率增强系统100中的一个或多个部件可以通过网络130向基于超分辨率算法的绝缘子影像分辨率增强系统100中的其他部件发送信息和/或数据。例如,服务器110可以通过网络130从无人机图像采集装置150获取/得到请求。在一些实施例中,网络130可以是有线网络或无线网络中的任意一种,或其组合。在一些实施例中,网络130可以包括一个或多个网络接入点。例如,网络130可能包括有线或无线网络接入点,如基站和/或互联网交换点130-1、130-2等等。通过接入点,基于超分辨率算法的绝缘子影像分辨率增强系统100的一个或多个部件可能连接到网络130以交换数据和/或信息。
无人机图像采集装置150可以将采集到的各种数据信息发送到基于超分辨率算法的绝缘子影像分辨率增强系统100中的一个或多个设备中。例如,无人机图像采集装置150可以将采集数据发送至服务器110进行处理,或存储设备120中进行存储。
图2是根据本申请的一些实施例所示的一种示例性计算设备200的示意图。服务器110、存储设备120和无人机图像采集装置150可以在计算设备200上实现。例如,处理引擎112可以在计算设备200上实现并被配置为实现本申请中所披露的功能。
计算设备200可以包括用来实现本申请所描述的系统的任意部件。例如,处理引擎112可以在计算设备200上通过其硬件、软件程序、固件或其组合实现。为了方便起见图中仅绘制了一台计算机,但是本申请所描述的与基于超分辨率算法的绝缘子影像分辨率增强系统100相关的计算功能可以以分布的方式、由一组相似的平台所实施,以分散系统的处理负荷。
计算设备200可以包括与网络连接的通信端口250,用于实现数据通信。计算设备200可以包括一个处理器220,可以以一个或多个处理器的形式执行程序指令。示例性的电脑平台可以包括一个内部总线210、不同形式的程序存储器和数据存储器包括,例如,硬盘270、和只读存储器(ROM)230或随机存储器(RAM)240,用于存储由计算机处理和/或传输的各种各样的数据文件。示例性的计算设备可以包括存储在只读存储器230、随机存储器240和/或其他类型的非暂时性存储介质中的由处理器220执行的程序指令。本申请的方法和/或流程可以以程序指令的方式实现。计算设备200也包括输入/输出部件260,用于支持电脑与其他部件之间的输入/输出。计算设备200也可以通过网络通讯接收本披露中的程序和数据。
为理解方便,图2中仅示例性绘制了一个处理器。然而,需要注意的是,本申请中的计算设备200可以包括多个处理器,因此本申请中描述的由一个处理器实现的操作和/或方法也可以共同地或独立地由多个处理器实现。例如,如果在本申请中,计算设备200的处理器执行步骤1和步骤2,应当理解的是,步骤1和步骤2也可以由计算设备200的两个不同的处理器共同地或独立地执行。
图3示出了本申请实施例一种基于超分辨率算法的绝缘子影像分辨率增强方法的流程示意图。
在步骤301中,对已有的原始高分辨率绝缘子无人机影像进行下采样,得到模拟低分辨率绝缘子无人机影像。
在一些实施例中,所述下采样基于Bicubic插值法进行。
Bicubic插值,即双三次插值是一种复杂的插值方式,它能创造出比双线性插值更平滑的图像边缘。通过双三次插值对原图像或原图像的某些区域进行放大,还可以通过双三次插值平滑化和双三次插值锐化。
在一些实施例中,对已有的原始高分辨率绝缘子无人机影像进行下采样,以降低图像识别算法中的计算量。下采样的主要目的是将高分辨率的灰度图缩减为小图、缩略图。
例如,图像depthImage,尺寸为M*N,对其进行r*s倍下采样,得到(M/r)*(N/s)尺寸的分辨率小图像。即将原始图像r*s窗口内的图像变成一个像素,该像素点的值可以是窗口内所有像素的均值、最大值、最小值或中值等统计值,下采样后得到尺寸较小的图像depthSample。
在一些实施例中,在对已有的原始高分辨率绝缘子无人机影像进行下采样之前,还包括对所述已有的原始高分辨率绝缘子无人机影像进行预处理。
例如,对稿分辨率绝缘子无人机影像以240个像元为步长,480×480为大小,进行裁剪,增广训练数据以保障充足的数据量,对裁剪后的影像进行下采样4倍作为模拟低分辨率绝缘子无人机影像,图4A示出了本申请实施例绝缘子无人机影像下采样前示意图、图4B示出了本申请实施例绝缘子无人机影像下采样后示意图。
在步骤302中,以所述原始高分辨率绝缘子无人机影像、模拟低分辨率绝缘子无人机影像作为训练集、测试集,对网络模型进行训练得到超分辨率模型。
在一些实施例中,一般需要将样本分成独立的三部分,分别是训练集、验证集、和测试集。其中训练集用于估计模型,验证集用于确定网络结构或者控制模型复杂程度的参数,测试集则用于检验最终选择最优的模型的性能如何。在一些实施例中,可以将训练数据进行划分。在一些实施例中,通常训练集、验证集、测试集的占比为8∶1∶1或4∶1∶1。三部分都是从样本中随机抽取。
在一些实施例中,所述网络模型为深度学习模型。
在一些实施例中,对网络模型进行训练得到超分辨率模型,具体执行如下:
将模拟低分辨率绝缘子无人机影像作为输入,原始高分辨率绝缘子无人机影像作为输出,输入网络模型;当所述网络模型的损失函数达到收敛条件时,得到超分辨率模型;否则,重复训练。
在神经网络模型的训练的过程中,设定损失函数并通过使所述损失函数的输出值最小化,来寻找最优参数,所述最优参数即权重和阈值。损失函数有很多的选择,其中通常使用的是均方误差。在一些实施例中,开可以通过网络模型训练达到预设的迭代次数,使得模型收敛得到最优参数。
在一些实施例中,所述网络模型的损失函数达到收敛条件时,得到超分辨率模型对应的网络模型最优参数。
在所述模型训练达到收敛条件后得到超分辨率模型,所述超分辨率模型具有最优参数,所述收敛条件可以设置为迭代次数、或设置为精确度阈值。
在一些实施例中,所述超分辨率算法包括:SRCNN算法、VDSR算法、ESPCN算法、ProSR算法中的一种或多种组合。
本申请提供了4种超分辨率算法来训练网络模型。
SRCNN(Super-Resolution Convolution Neural Network:超分辨率卷积神经网络),深度学习引入超分辨率的算法。
首先,将低分辨率影像通过Bicubic插值算法插值放大到与对应的高分辨率影像具有相同的尺度。
然后,通过设置3层卷集神经网络提取放大后的影像的特征。
最后将第3层卷积神经网络输出的特征图作为超分辨率输出影像与对应的高分辨率影像计算均方误差作为网络的损失函数,通过损失函数最小化来达到最佳超分辨率权重模型。
VDSR(Very Deep Super-Resolution Convolutional Network:超深度超高分辨率卷积网络),注重高频细节的超分辨率算法。
其主要步骤与SRCNN基本相同,区别在于以下两点:
第一,在两个卷积层之间加入一个参差层以增大信息的传递量。
第二,每层卷积层的输出在输入下一层之前都要进行一次插值。
VDSR算法将原始的Bicubic插值改为使用Bilinear插值,使得特征图的尺寸与对应高分辨率影像保持一致,以提高超分辨率算法对边缘信息的恢复能力。
ESPCN(Efficient Sub-Pixel Convolutional Neural Network:高效的亚像素卷积神经网络),训练速度快的高分辨率算法。
首先,直接对原始低分辨率影像通过卷积神经网络提取特征。
然后,在神经网络最后一层输出为放大倍数的平方个与低分辨率影像尺度相同的特征图。
其次,将最终输出的所有通道特征图相同位置上的点拼接成一个块代表这点放大后对应高清影像的区域。
最后,将放大后的特征图作为输出与原始高清影像计算均方误差作为损失函数训练朝分辨率模型。
ProSR(A Fully Progressive Approach to Single-Image Super-Resolution:一种完全渐进的单图像超分辨率方法),ProSR是一种基于多尺度累进性原理设计的单图像超分辨率算法。类似于不对称的金字塔结构,在高层具有更多层,可以在保持高效的同时实现较高的上采样率。
在一些实施例中,训练集与测试集的数量比值设置为4∶1,为了提升训练速度,将训练批尺寸设置为16、测试批尺寸设置为4、迭代次数设置为100次。
为了保障训练精度,学习速率设置为0.0001。需要说明的是,学习速率设置过高将导致训练难以收敛,在局部极小点附近来回振荡甚至发散;学习速率设置过低将导致损失函数会以非常缓慢的速率下降,进而耗费更多的训练时间和系统资源。
图5示出了本申请实施例超分辨率模型获取流程示意图。
在步骤501中,利用无人机影像裁剪训练数据;
在步骤502中,高清影像下采样作为训练数据输入;
在步骤503中,设置合适的训练批尺寸、迭代次数以及学习效率,平衡训练时间与训练精度;
在步骤504中,采用均方误差函数作为损失函数训练模型,并输出测试集超分辨率结果的峰值信噪比作为训练效果的参考;
在步骤505中,得到绝缘子无人机影像超分辨率模型。
上述步骤的详情已在前文中阐述,此处不再赘述。
在步骤303中,将低分辨率绝缘子无人机影像输入所述超分辨率模型,计算得到高分辨率绝缘子无人机影像。
将真实的低分辨率绝缘子无人机影像输入训练得到的超分辨率模型,得到高分辨率绝缘子无人机影像,一幅低分辨率绝缘子无人机影像及其通过本方法训练得到的不同超分辨率算法模型放大后的超分辨率影像,如图6所示。
本申请提供的技术方案包括以下有益效果,通过将高分辨率绝缘子无人机影像下采样模拟低分辨率无人机影像,利用超分辨率算法学习低分辨率无人机影像以及高分辨率无人机影像直接的深层对应关系模型,针对真实的低分辨率绝缘子无人机影像,利用得到的超分辨率模型对其增强,以此提升大尺度绝缘子无人机影像的分辨率从而提升其目标检测精度,将大尺度无人机航拍引入绝缘子巡检,提升巡检效率。
已经有研究证明借由超分辨率技术增强的小目标可以达到更高的目标检测精度。随着深度学习算法的发展,越来越多的基于深度学习的超分辨率算法被提出。借由这些算法再结合相应的训练数据,可以达到良好的提升影像分辨率的模型。因此,借由基于深度学习的超分辨率算法,运用无人机绝缘子影像数据训练超分辨率模型,可以获取能够提升绝缘子无人机影像分辨率的超分辨率模型,以此提升大尺度绝缘子无人机影像的分辨率,从而提升其目标检测精度,将大尺度无人机航拍引入绝缘子巡检,提升巡检效率。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为″数据块″、″模块″、″引擎″、″单元″、″组件″或″系统″。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN)、或连接至外部计算机(例如通过因特网)、或在云计算环境中、或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外,对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是,如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方,以本申请的描述、定义和/或术语的使用为准。
Claims (10)
1.一种基于超分辨率算法的绝缘子影像分辨率增强方法,其特征在于,所述方法包括:
对已有的原始高分辨率绝缘子无人机影像进行下采样,得到模拟低分辨率绝缘子无人机影像;
以所述原始高分辨率绝缘子无人机影像、模拟低分辨率绝缘子无人机影像作为训练集、测试集,对网络模型进行训练得到超分辨率模型,其中,所述超分辨率模型输出结果的峰值信噪比作为训练效果的参考;
将低分辨率绝缘子无人机影像输入所述超分辨率模型,计算得到高分辨率绝缘子无人机影像。
2.如权利要求1所述基于超分辨率算法的绝缘子影像分辨率增强方法,其特征在于,所述下采样,基于Bicubic插值法进行。
3.如权利要求1所述基于超分辨率算法的绝缘子影像分辨率增强方法,其特征在于,对网络模型进行训练得到超分辨率模型,具体执行如下:
将模拟低分辨率绝缘子无人机影像作为输入,原始高分辨率绝缘子无人机影像作为输出,输入网络模型;
当所述网络模型的损失函数达到收敛条件时,得到超分辨率模型;否则,重复训练。
4.如权利要求1所述基于超分辨率算法的绝缘子影像分辨率增强方法,其特征在于,所述网络模型为深度学习模型。
5.如权利要求1所述基于超分辨率算法的绝缘子影像分辨率增强方法,其特征在于,所述网络模型的损失函数达到收敛条件时,得到超分辨率模型对应的网络模型最优参数。
6.如权利要求3所述基于超分辨率算法的绝缘子影像分辨率增强方法,其特征在于,
所述损失函数设置为均方误差函数。
7.如权利要求1所述基于超分辨率算法的绝缘子影像分辨率增强方法,其特征在于,在对已有的原始高分辨率绝缘子无人机影像进行下采样之前,还包括:
对所述已有的原始高分辨率绝缘子无人机影像进行预处理。
8.如权利要求1所述基于超分辨率算法的绝缘子影像分辨率增强方法,其特征在于,所述超分辨率算法包括:SRCNN算法、VDSR算法、ESPCN算法、ProSR算法中的一种或多种组合。
9.如权利要求1所述基于超分辨率算法的绝缘子影像分辨率增强方法,其特征在于,训练集与测试集设置为4∶1、训练批尺寸设置为16、测试批尺寸设置为4、迭代次数设置为100次、学习速率设置为0.0001。
10.如权利要求1所述基于超分辨率算法的绝缘子影像分辨率增强方法,其特征在于,所述超分辨率模型可输出基于不同算法的高分辨率绝缘子无人机影像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010520866.0A CN111667409B (zh) | 2020-06-09 | 2020-06-09 | 一种基于超分辨率算法的绝缘子影像分辨率增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010520866.0A CN111667409B (zh) | 2020-06-09 | 2020-06-09 | 一种基于超分辨率算法的绝缘子影像分辨率增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111667409A CN111667409A (zh) | 2020-09-15 |
CN111667409B true CN111667409B (zh) | 2024-03-22 |
Family
ID=72386623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010520866.0A Active CN111667409B (zh) | 2020-06-09 | 2020-06-09 | 一种基于超分辨率算法的绝缘子影像分辨率增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111667409B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113901868B (zh) * | 2021-08-25 | 2023-08-04 | 国网四川省电力公司电力科学研究院 | 一种变电现场安全监控方法及系统 |
CN115829842B (zh) * | 2023-01-05 | 2023-04-25 | 武汉图科智能科技有限公司 | 一种基于fpga实现图片超分辨率重建的装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109360148A (zh) * | 2018-09-05 | 2019-02-19 | 北京悦图遥感科技发展有限公司 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
WO2019145767A1 (en) * | 2018-01-25 | 2019-08-01 | King Abdullah University Of Science And Technology | Deep-learning based structure reconstruction method and apparatus |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
JP2020027557A (ja) * | 2018-08-17 | 2020-02-20 | 日本放送協会 | 超解像装置およびそのプログラム |
WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11024009B2 (en) * | 2016-09-15 | 2021-06-01 | Twitter, Inc. | Super resolution using a generative adversarial network |
-
2020
- 2020-06-09 CN CN202010520866.0A patent/CN111667409B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019145767A1 (en) * | 2018-01-25 | 2019-08-01 | King Abdullah University Of Science And Technology | Deep-learning based structure reconstruction method and apparatus |
JP2020027557A (ja) * | 2018-08-17 | 2020-02-20 | 日本放送協会 | 超解像装置およびそのプログラム |
CN109360148A (zh) * | 2018-09-05 | 2019-02-19 | 北京悦图遥感科技发展有限公司 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
Non-Patent Citations (2)
Title |
---|
Image Super-Resolution Reconstruction Method Based on Sparse Residual Dictionary;Zai Yu Shao等;Procedia Computer Science;第154卷;629-635 * |
改进的基于卷积神经网络的图像超分辨率算法;肖进胜;刘恩雨;朱力;雷俊锋;;光学学报(第03期);103-111 * |
Also Published As
Publication number | Publication date |
---|---|
CN111667409A (zh) | 2020-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111524135B (zh) | 基于图像增强的输电线路细小金具缺陷检测方法及系统 | |
CN108898560B (zh) | 基于三维卷积神经网络的岩心ct图像超分辨率重建方法 | |
CN106796716B (zh) | 用于为低分辨率图像提供超分辨率的设备和方法 | |
CN111650453B (zh) | 基于加窗特征希尔伯特图像化的电力设备诊断方法及系统 | |
CN109636721B (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
CN109785236B (zh) | 一种基于超像素和卷积神经网络的图像超分辨方法 | |
CN111476719A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN111667409B (zh) | 一种基于超分辨率算法的绝缘子影像分辨率增强方法 | |
WO2022105197A1 (en) | Systems and methods for image detection | |
CN110443874B (zh) | 基于卷积神经网络的视点数据生成方法和装置 | |
CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
CN114331842B (zh) | 结合地形特征的dem超分辨率重建方法 | |
CN112488931A (zh) | 一种卫星遥感影像中输电线路的超分辨率增强方法及系统 | |
CN110633718A (zh) | 用于确定环境图像中的行驶区域的方法和装置 | |
CN113781478B (zh) | 油罐图像检测方法、装置、电子设备和计算机可读介质 | |
CN111667431B (zh) | 一种基于图像转换制作去云雾训练集的方法及装置 | |
CN111738119B (zh) | 一种基于modis卫星监测的森林山火面积估算方法及装置 | |
CN114782839A (zh) | 输电线路巡检故障的检测方法、装置、设备及存储介质 | |
CN112150491B (zh) | 图像检测方法、装置、电子设备和计算机可读介质 | |
CN112365525B (zh) | 高分辨率遥感影像变化检测网络和方法及装置 | |
CN114037843B (zh) | 一种基于改进生成对抗网络的提高水下图像分辨率方法 | |
CN117274054A (zh) | 三维地形要素融入深度学习的高分辨率dem构建方法 | |
CN117390524A (zh) | 一种基于深度学习和多等级融合的网格去噪方法及装置 | |
EP4451222A1 (en) | Method and apparatus for training image reconstruction model, and storage medium and electronic apparatus | |
CN115760908A (zh) | 基于胶囊网络感知特征的绝缘子跟踪方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |