Nothing Special   »   [go: up one dir, main page]

CN108961276B - 基于视觉伺服的配电线路巡检数据自动采集方法及系统 - Google Patents

基于视觉伺服的配电线路巡检数据自动采集方法及系统 Download PDF

Info

Publication number
CN108961276B
CN108961276B CN201810301794.3A CN201810301794A CN108961276B CN 108961276 B CN108961276 B CN 108961276B CN 201810301794 A CN201810301794 A CN 201810301794A CN 108961276 B CN108961276 B CN 108961276B
Authority
CN
China
Prior art keywords
image
line
straight line
electric pole
tower
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810301794.3A
Other languages
English (en)
Other versions
CN108961276A (zh
Inventor
张旭
王海鹏
许玮
慕世友
任杰
傅孟潮
李建祥
赵金龙
郭锐
刘洪正
孙勇
杨尚伟
李希智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Intelligent Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
State Grid Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd, State Grid Intelligent Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201810301794.3A priority Critical patent/CN108961276B/zh
Publication of CN108961276A publication Critical patent/CN108961276A/zh
Application granted granted Critical
Publication of CN108961276B publication Critical patent/CN108961276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉伺服的配电线路巡检数据自动采集方法及系统，包括：数据采集系统初始化；对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置；对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。本发明提出的基于车载视觉伺服的配电线路巡检数据自动采集方法，取代人工携带设备现场采集，减轻了电力巡检人员的工作负担，提高了安全性。

Description

基于视觉伺服的配电线路巡检数据自动采集方法及系统
技术领域
本发明涉及配电线路巡检技术领域，尤其涉及一种基于视觉伺服的配电线路巡检数据自动采集方法及系统。
背景技术
配电线路是电力系统的重要组成部分，随着国民经济的发展和生活水平的提高，人们对配电网安全可靠运行提出了越来越高的要求。为了保证电网安全、可靠和经济运行，减少事故发生，保障各电力设备、线路、配电的运行可靠性，保证对配网设备及线路良好状况的有效分析和预测，各变电站、线路巡视人员需要定期进行线路和设备巡视。但这种人工巡视的方法，不仅效率低，而且线路的巡视质量无法控制，容易出现漏抄数据的现象。
随着我国电网信息化、智能化水平的不断提高，各种基于移动机器人和无人机的智能巡检系统在国内电力系统中开始推广应用，并取得了良好的效果，有效地提升了电网运行和管理的智能化水平。通过搭载图像采集设备，输电线路已采用无人机巡检方式实现了输电线路数据的自动采集和缺陷诊断。考虑到配电线路所在的环境比较复杂，线路很多架设在市区，并且高度比较低，无人机巡检方式具有很大的安全风险，只能通过车载采集设备的方式进行配电线路的自动巡检，目前尚未有相关配电线路的车载巡检数据自动采集和分析技术。
发明内容
本发明为了解决配电线路自动巡检过程中的数据采集问题，提出了一种基于视觉伺服的配电线路巡检数据自动采集方法及系统，本发明通过安装在车载云台上的可见光相机实现电力线和电杆的图像采集，采用直线检测算法进行配电线路电力线的检测，根据电力线在图像中的位置实时调整云台，实现电力线的跟踪和图像采集。采用深度学习算法进行图像中电杆顶部的检测和定位，基于目标的位置控制云台自上而下拍摄得到一系列的杆塔图像，利用图像拼接算法得到杆塔的全景图像。根据该视觉伺服系统，在采集可见光图像的同时完成杆塔上设备的红外图像采集和超声数据采集。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一目的是公开一种基于视觉伺服的配电线路巡检数据自动采集方法，包括以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
进一步地，所述的数据采集系统初始化，具体包括：
可见光摄像机连接、巡检线路信息配置以及巡检人员信息配置；
根据巡检配电线路的名称和巡检车辆GPS信息，判断线路与车辆的位置关系，自动调整车载云台，使可见光摄像机朝向线路方向；
通过调整云台的俯仰角，使得电力线出现在相机视野范围内。
进一步地，所述对采集到的图像进行直线分割，具体为：
将采集的图像由RGB三通道图像转化为单通道灰度图像，利用高斯滤波函数对图像进行去噪和平滑处理，得到滤波后的图像；
计算图像各像素点水平方向和垂直方向的梯度值，求得各像素点的总梯度值和方向；
将图像中的每一个像素点的梯度值与相邻像素点的梯度值进行比较，若当前像素点的梯度值大于其相邻像素点的梯度值，并大于设定的梯度阈值，将该像素点标记为锚点；
依照ED直线检测算法中的锚点搜索连接方法，将图像中的锚点连接成为直线线段。
进一步地，所述利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，具体为：
根据得到的直线段信息，滤除偏转角度大于设定阈值的直线，将剩余的直线线段放入集合S中；
对于集合S中的直线线段，选取其中一条直线线段L1，将直线线段L1与其余直线线段两两比较，将所有满足设定条件的直线线段放入到同一子集
Figure BDA0001619982450000021
中；
然后选取直线线段L2，如果直线线段L2与直线线段L1满足设定条件，将直线线段L2与其余直线线段两两比较，得到所有满足设定条件的直线线段；判断得到的直线线段是否已经在子集
Figure BDA0001619982450000022
中，如果不在，将其放入子集
Figure BDA0001619982450000023
中；如果直线线段L2与直线线段L1不满足设定条件，将直线线段L2与其余直线线段两两比较，得到所有满足设定条件的直线线段放入子集
Figure BDA0001619982450000031
中；
以此类推，所有直线线段判断完毕，得到L个满足条件的子集
Figure BDA0001619982450000032
构成集合
Figure BDA0001619982450000033
利用最小二乘法将每个子集
Figure BDA0001619982450000034
中的线段拟合为图像中的一条直线，该直线与图像的左右边缘相交，将所有拟合的直线放入集合Sline；
对拟合得到的直线进行分析，选取集合Sline中的一条直线LS1与其他直线进行两两比较，如果两直线在图像水平中心点处的纵坐标之差的绝对值在设定的区间之内，将直线放入集合
Figure BDA0001619982450000035
中；
然后选取直线LS2，如果直线LS2与直线LS1满足设定条件，将直线LS2与其余直线两两比较，得到所有满足设定条件的直线；判断得到的直线是否已经在子集
Figure BDA0001619982450000036
中，如果不在，将其放入子集
Figure BDA0001619982450000037
中；如果直线LS2与直线LS1不满足设定条件，将直线LS2与其余直线两两比较，得到所有满足设定条件的直线放入子集
Figure BDA0001619982450000038
中；
以此类推，所有直线线段判断完毕，得到N个满足条件的子集
Figure BDA0001619982450000039
构成集合
Figure BDA00016199824500000310
如果集合
Figure BDA00016199824500000311
中直线的数目与根据巡检线路的先验信息得到当前线路中电力线的数目一致，则集合
Figure BDA00016199824500000312
中所包含的图像即为图像中真正的电力线；
计算集合
Figure BDA00016199824500000313
中最上端和最下端两条直线的中心点纵坐标位置与图像中心点纵坐标的偏差，根据所述偏差确定云台调整角度。
进一步地，所述将满足设定条件的直线线段放入到同一集合SU中，其中设定条件具体为：
集合S中两直线线段中心点纵坐标之差的绝对值不大于设定的纵坐标阈值；并且，该两直线线段偏向角之差的绝对值不大于设定的偏向角阈值。
进一步地，所述对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，具体为：
预先对杆塔顶端部位进行图像采集，并进行人工标注及裁剪，将裁剪的图像归一化处理，生成目标训练正类样本和负类样本；
利用基于Faster R-CNN深度学习框架进行电杆顶部目标检测模型离线训练和在线检测，确定电杆顶端位置；
根据电杆顶端位置进行云台调整，保证检测的电杆顶端区域中心点位于图像中心位置；
控制云台从当前位置自上而下以设定速度采集设定数量的图片，按采集的先后顺序将图片放入电杆图像序列，并根据巡检线路和当前GPS信息对电杆图像序列进行编号标注；
在电杆可见光图像采集的同时，打开红外热像仪和超声检查仪，采集电杆上附属设备的红外图像及超声数据。
进一步地，利用基于Faster R-CNN深度学习框架进行电杆顶部目标检测模型离线训练和在线检测，具体为：
训练阶段：利用深度学习的Faster R-CNN框架联合训练得到区域提名网络模型和Fast R-CNN目标检测模型，完成模型的训练；
检测阶段：对采集的图像，取中间设定部分区域为感兴趣区域，对感兴趣区域由区域提名网络生成大量的候选区域框，对候选区域框进行非最大值抑制，保留得分较高的前n个候选区域框；
对候选区域框采用Fast R-CNN检测模型进行打分，根据网络打分值标注电杆顶端部位。
进一步地，所述采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接，具体为：
将采集的图像序列按采集时间先后进行排序，采用多尺度对比分析的显著性检测算法计算得到每一张电线杆图像的显著图；
提取当前图像的下半部分区域及下一张图像的上半部分区域为候选匹配区域，对两部分候选匹配区域进行ORB特征点的提取并完成特征点匹配，采用RANSAC算法进行误匹配点的剔除，根据匹配点计算两幅图像的投影变换矩阵；
按照上述方法分别计算图像序列中相邻图像间的投影变换矩阵；
选取基准图像，根据图像间的投影变换矩阵和拍摄顺序，求得所有图像最终的相机参数和构造参数，采用多段融合法拼接得到电线杆的全景图像。
本发明的第二目的是公开一种基于视觉伺服的配电线路巡检数据自动采集系统，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
本发明的第三目的是公开一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
与现有技术相比，本发明的有益效果是：
本发明提出了一种基于车载视觉伺服的配电线路巡检数据自动采集方法，利用图画线段检测算法和电力线形态学特征克服复杂背景的影响，实现了电力线快速、准确的检测，利用Faster RCNN模型结合GPS先验信息对杆塔顶端进行快速定位，并将采集得到的杆塔可见光图像拼接得到全景图像。本发明提出的方法可以在线实时的实现配电网架空电线及杆塔设备的可见光图像、红外图像及超声数据的自动采集，提升配电网巡检的自动化、智能化水平。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为电力线检测效果图；
图2为基于Faster R-CNN的杆塔顶端检测框架图；
图3为电杆拼接全景图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
为了解决背景技术中指出的现有技术的不足，本发明提出了一种基于视觉伺服的配电线路巡检数据自动采集方法，电力线检测效果图如图1所示，具体包括以下步骤：
(1)进行车载采集系统初始化，根据巡检线路及GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
配电线路采集系统初始化包括：可见光摄像机连接、巡检线路信息配置、巡检人员信息配置等，然后根据巡检配电线路的名称和巡检车辆GPS信息，判断线路与车辆的位置关系，自动调整车载云台，使得可见光摄像机朝向线路方向，人工确认当前可见光摄像机视野中是否包含配电线路。如果不在视野中，则微调云台的俯仰角，使得电力线出现在相机视野范围内。
(2)对可见光摄像机实时采集到的图像采用“边画”(edge drawing,ED)直线检测算法进行直线分割，得到二值化图像和检测的直线段信息；具体步骤包括：
(2-1)对当前可见光摄像机采集的图像由RGB三通道图像转化为单通道灰度图像，利用高斯滤波函数对图像进行去噪和平滑处理，得到滤波后的图像IG：
IG(x,y)＝G(x,y；σ)*I(x,y)
其中，I(x,y)为图像坐标点(x,y)的原始灰度值，IG(x,y)为该像素点经过滤波后的灰度值，G(x,y；σ)为高斯模板，σ＝0.75。
然后利用Sobel边缘检测算子计算得到图像各像素水平方向和垂直方向的梯度值Gx、Gy，根据下面公式求得各像素点的总梯度G和方向A：
Figure BDA0001619982450000061
A＝arctan(Gx/Gy)
(2-2)对图像中的每一个像素点(x,y)的梯度值与相邻的点梯度值进行比较，对于水平边缘，比较上下的相邻点梯度，对于垂直边缘，比较左右的相邻点梯度，若当前的梯度值大于其相邻的梯度值，并大于设定的梯度阈值GT，即满足下面条件时，该像素点标记为锚点；
Figure BDA0001619982450000071
或
Figure BDA0001619982450000072
(2-3)依照ED直线检测算法中的锚点搜索连接方法，将图像中的锚点连接成为直线线段。
(3)利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，将该位置实时反馈到云台控制系统，调整云台俯仰角，保证电力线在图像的中间部位；具体步骤包括：
(3-1)针对步骤(2)中检测得到的直线线段，滤除偏转角度大于阈值θT的直线，此处θT＝15°，将剩余的直线线段放入集合S中；
(3-2)将集合S中的直线线段两两比较，满足下述条件的直线线段放入到同一集合SU中，集合SU不唯一，形成集合
Figure BDA0001619982450000073
L为满足下述设定条件的集合个数。
Figure BDA0001619982450000074
其中，yi和yj代表集合S中线段i和线段j的中心点纵坐标，θi和θj代表线段i和线段j的偏向角。ydiff为纵坐标阈值，设置为3；θdiff为偏向角阈值，设置为1.5°。
集合
Figure BDA0001619982450000075
的形成过程具体为：
根据得到的直线段信息，滤除偏转角度大于设定阈值的直线，将剩余的直线线段放入集合S中；
对于集合S中的直线线段，选取其中一条直线线段L1，将直线线段L1与其余直线线段两两比较，将所有满足设定条件的直线线段放入到同一子集
Figure BDA0001619982450000076
中；
然后选取直线线段L2，如果直线线段L2与直线线段L1满足设定条件，将直线线段L2与其余直线线段两两比较，得到所有满足设定条件的直线线段；判断得到的直线线段是否已经在子集
Figure BDA0001619982450000081
中，如果不在，将其放入子集
Figure BDA0001619982450000082
中；如果直线线段L2与直线线段L1不满足设定条件，将直线线段L2与其余直线线段两两比较，得到所有满足设定条件的直线线段放入子集
Figure BDA0001619982450000083
中；
然后选取直线线段L3，如果直线线段L3与直线线段L1满足设定条件，将直线线段L3与其余直线线段两两比较，得到所有满足设定条件的直线线段；判断得到的直线线段是否已经在子集
Figure BDA0001619982450000084
中，如果不在，将其放入子集
Figure BDA0001619982450000085
中；如果直线线段L3与直线线段L1不满足设定条件，判断直线线段L3与直线线段L2是否满足设定条件，如果满足条件，判断得到的直线线段是否已经在子集
Figure BDA0001619982450000086
中，如果不在，将其放入子集
Figure BDA0001619982450000087
中；如果不满足条件，将得到的直线线段放入放入子集
Figure BDA0001619982450000088
中；
以此类推，所有直线线段遍历完毕，得到L个满足条件的子集
Figure BDA0001619982450000089
构成集合
Figure BDA00016199824500000810
利用最小二乘法将所有集合
Figure BDA00016199824500000811
中的线段拟合为图像中的一条直线，该直线与图像的左右边缘相交，得到L条直线，构成集合Sline。
(3-3)对步骤(3-2)中拟合得到的直线进行分析，将满足下列条件的直线放入集合SL中，集合SL不唯一，形成集合
Figure BDA00016199824500000812
N为满足下述设定条件的集合个数。
dmin≤|ym-yn|≤dmax
其中，ym和yn代表集合Sline中直线m和直线n在图像水平中心点处的纵坐标，dmin＝8，dmax＝30。根据巡检线路的先验信息得到当前线路中电力线的数目记为NUMp，统计集合中直线的数目记为NUMd，若当前集合中NUMd＝NUMp，该集合所包含的图像即为图像中真正的电力线。
集合
Figure BDA00016199824500000813
的形成过程与上述
Figure BDA00016199824500000814
形成的过程相同。
(3-4)计算集合中最上端和最下端两条直线的中心点纵坐标位置ymid，根据下面公式计算与图像中心点纵坐标ycenter的偏差Ld，其中ycenter＝图像的高度/2＝1280/2＝640。
Ld＝ymid-ycenter
根据下面公式调整云台的俯仰角，保证ymid位于ycenter附近。
θC＝QL
其中，θC为云台调整角度，Q为云台调整参数，此处Q＝0.0274，考虑到所用云台的精度，当Ld≤20时云台俯仰角可保持不变。
(4)根据车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行数据的采集，并启动杆塔检测模块；
根据巡检杆塔与巡检车辆的GPS信息，当巡检车辆沿着行驶方向距离检测杆塔10m时，巡检车进行减速或停车，控制云台沿着水平方向以1秒钟2°的速度转动，提取可见光相机拍摄的图像，并启动杆塔检测模块。
(5)根据深度学习技术的Faster R-CNN框架训练得到的模型，对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；具体步骤包括：
(5-1)利用车载可见光摄像机及人工手持相机对杆塔顶端部位进行图像采集，并进行人工标注及裁剪，将裁剪的图像归一化为32×32像素，共采集生成2500张目标训练正类样本，50000张负类样本，利用像素偏移和尺度缩放技术将目标训练正样本扩展到17500张；
(5-2)利用基于Faster R-CNN深度学习框架进行电杆顶部目标检测模型离线训练和在线检测，如图2所示，包括：
训练阶段：利用深度学习的Faster R-CNN框架联合训练得到区域提名网络模型和Fast R-CNN目标检测模型，完成模型的训练。
检测阶段：对于车载摄像机拍摄的图像取中间2/3部分区域为感兴趣区域，对感兴趣区域由区域提名网络生成大量的候选区域框，对候选区域框进行非最大值抑制，保留得分较高的前100个框。对候选区域采用Fast R-CNN检测模型进行打分，根据网络打分值标注电杆顶端部位。
(5-3)根据(5-2)步骤中电杆顶端位置进行云台调整，保证检测的电杆顶端区域中心点位于图像中心位置。然后控制云台从当前位置自上而下以1°/s的速度从上到下采集10张图片，按采集的先后顺序放入电杆图像序列，并根据巡检线路和当前GPS信息对该序列进行编号标注。
(5-4)在电杆可见光图像采集的同时，打开红外热像仪和超声检查仪，采集电杆上附属设备的红外图像及超声数据。
(6)针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接；电线杆检测及拼接全景效果图如图3所示，具体步骤包括：
(6-1)将步骤(5)中采集的图像序列按采集时间先后进行排序，分别记为I1,I2,…,In，并采用多尺度对比分析的显著性检测算法计算得到每一张电线杆图像的显著图；
(6-2)提取当前图像的下半部分区域及下一张图像的上半部分区域为候选匹配区域，对两部分候选区域进行ORB特征点的提取并完成特征点匹配，采用RANSAC算法进行误匹配点的剔除，根据匹配点计算两幅图像的投影变换矩阵M1,2；
(6-3)按(6-2)方法分别计算图像序列中两两图像间的投影变换矩阵M2,3，Mn-1,n。
(6-4)以图像I1为基准，根据图像间的投影变换矩阵和拍摄顺序，求得所有图片最终的相机参数和构造参数，采用多段融合法拼接得到电线杆的全景图像。
本发明进一步公开了一种基于视觉伺服的配电线路巡检数据自动采集系统，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
本发明进一步公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，包括以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接；
所述利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，具体为：
根据得到的直线段信息，滤除偏转角度大于设定阈值的直线，将剩余的直线线段放入集合S中；对于集合S中的直线线段，选取其中一条直线线段L1，将直线线段L1与其余直线线段两两比较，将所有满足设定条件的直线线段放入到同一子集
Figure FDA0002573250940000011
中；
其中设定条件具体为：
将集合S中的直线线段两两比较，满足下述条件的直线线段放入到同一集合SU中，集合SU不唯一，形成集合
Figure FDA0002573250940000012
L为满足下述设定条件的集合个数；
Figure FDA0002573250940000013
其中，yi和yj代表集合S中线段i和线段j的中心点纵坐标，θi和θj代表线段i和线段j的偏向角；ydjff为纵坐标阈值，设置为3；θdjff为偏向角阈值，设置为1.5°。
2.如权利要求1所述的基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，所述的数据采集系统初始化，具体包括：
可见光摄像机连接、巡检线路信息配置以及巡检人员信息配置；
根据巡检配电线路的名称和巡检车辆GPS信息，判断线路与车辆的位置关系，自动调整车载云台，使可见光摄像机朝向线路方向；
通过调整云台的俯仰角，使得电力线出现在相机视野范围内。
3.如权利要求1所述的基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，所述对采集到的图像进行直线分割，具体为：
将采集的图像由RGB三通道图像转化为单通道灰度图像，利用高斯滤波函数对图像进行去噪和平滑处理，得到滤波后的图像；
计算图像各像素点水平方向和垂直方向的梯度值，求得各像素点的总梯度值和方向；
将图像中的每一个像素点的梯度值与相邻像素点的梯度值进行比较，若当前像素点的梯度值大于其相邻像素点的梯度值，并大于设定的梯度阈值，将该像素点标记为锚点；
依照ED直线检测算法中的锚点搜索连接方法，将图像中的锚点连接成为直线线段。
4.如权利要求1所述的基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，所述利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，还包括：
然后选取直线线段L2，如果直线线段L2与直线线段L1满足设定条件，将直线线段L2与其余直线线段两两比较，得到所有满足设定条件的直线线段；判断得到的直线线段是否已经在子集
Figure FDA0002573250940000021
中，如果不在，将其放入子集
Figure FDA0002573250940000022
中；如果直线线段L2与直线线段L1不满足设定条件，将直线线段L2与其余直线线段两两比较，得到所有满足设定条件的直线线段放入子集
Figure FDA0002573250940000023
中；
以此类推，所有直线线段判断完毕，得到L个满足条件的子集
Figure FDA0002573250940000024
构成集合
Figure FDA0002573250940000025
利用最小二乘法将每个子集
Figure FDA0002573250940000026
中的线段拟合为图像中的一条直线，该直线与图像的左右边缘相交，将所有拟合的直线放入集合Sline；
对拟合得到的直线进行分析，选取集合Sline中的一条直线LS1与其他直线进行两两比较，如果两直线在图像水平中心点处的纵坐标之差的绝对值在设定的区间之内，将直线放入集合
Figure FDA0002573250940000027
中；
然后选取直线LS2，如果直线LS2与直线LS1满足设定条件，将直线LS2与其余直线两两比较，得到所有满足设定条件的直线；判断得到的直线是否已经在子集
Figure FDA0002573250940000028
中，如果不在，将其放入子集
Figure FDA0002573250940000029
中；如果直线LS2与直线LS1不满足设定条件，将直线LS2与其余直线两两比较，得到所有满足设定条件的直线放入子集
Figure FDA0002573250940000031
中；
以此类推，所有直线线段判断完毕，得到N个满足条件的子集
Figure FDA0002573250940000032
构成集合
Figure FDA0002573250940000033
如果集合
Figure FDA0002573250940000034
中直线的数目与根据巡检线路的先验信息得到当前线路中电力线的数目一致，则集合
Figure FDA0002573250940000035
中所包含的图像即为图像中真正的电力线；
计算集合
Figure FDA0002573250940000036
中最上端和最下端两条直线的中心点纵坐标位置与图像中心点纵坐标的偏差，根据所述偏差确定云台调整角度。
5.如权利要求1所述的基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，所述对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，具体为：
预先对杆塔顶端部位进行图像采集，并进行人工标注及裁剪，将裁剪的图像归一化处理，生成目标训练正类样本和负类样本；
利用基于Faster R-CNN深度学习框架进行电杆顶部目标检测模型离线训练和在线检测，确定电杆顶端位置；
根据电杆顶端位置进行云台调整，保证检测的电杆顶端区域中心点位于图像中心位置；
控制云台从当前位置自上而下以设定速度采集设定数量的图片，按采集的先后顺序将图片放入电杆图像序列，并根据巡检线路和当前GPS信息对电杆图像序列进行编号标注；
在电杆可见光图像采集的同时，打开红外热像仪和超声检查仪，采集电杆上附属设备的红外图像及超声数据。
6.如权利要求5所述的基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，利用基于Faster R-CNN深度学习框架进行电杆顶部目标检测模型离线训练和在线检测，具体为：
训练阶段：利用深度学习的Faster R-CNN框架联合训练得到区域提名网络模型和FastR-CNN目标检测模型，完成模型的训练；
检测阶段：对采集的图像，取中间设定部分区域为感兴趣区域，对感兴趣区域由区域提名网络生成大量的候选区域框，对候选区域框进行非最大值抑制，保留得分较高的前n个候选区域框；
对候选区域框采用Fast R-CNN检测模型进行打分，根据网络打分值标注电杆顶端部位。
7.如权利要求1所述的基于视觉伺服的配电线路巡检数据自动采集方法，其特征在于，所述采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接，具体为：
将采集的图像序列按采集时间先后进行排序，采用多尺度对比分析的显著性检测算法计算得到每一张电线杆图像的显著图；
提取当前图像的下半部分区域及下一张图像的上半部分区域为候选匹配区域，对两部分候选匹配区域进行ORB特征点的提取并完成特征点匹配，采用RANSAC算法进行误匹配点的剔除，根据匹配点计算两幅图像的投影变换矩阵；
按照上述方法分别计算图像序列中两两图像间的投影变换矩阵；
选取基准图像，根据图像间的投影变换矩阵和拍摄顺序，求得所有图像最终的相机参数和构造参数，采用多段融合法拼接得到电线杆的全景图像。
8.基于权利要求1所述视觉伺服的配电线路巡检数据自动采集方法的系统，其特征在于，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行权利要求1所述视觉伺服的配电线路巡检数据自动采集方法，步骤为：
数据采集系统初始化，根据巡检线路及巡检车辆GPS信息调整云台初始位置，保证配电线路的电力线在可见光摄像机的视野范围内；
对采集到的图像进行直线分割，得到二值化图像和检测的直线段信息；
利用电力线先验形态特征对二值化图像进一步处理，得到电力线在图像中的位置，根据得到的位置信息控制云台角度，保证电力线在图像的中间部位；
根据巡检车辆及配电线路电杆的GPS信息，在杆塔附近减速或停车进行杆塔数据的采集；
对图像中的杆塔顶端进行检测和定位，根据杆塔顶端在图像中的位置，控制云台从上到下进行一系列电杆图像的采集，保存到电杆图像序列；
针对电杆图像序列，采用基于显著性检测及ORB特征点匹配的方法实现配电杆塔全景图像的拼接。
CN201810301794.3A 2018-04-04 2018-04-04 基于视觉伺服的配电线路巡检数据自动采集方法及系统 Active CN108961276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810301794.3A CN108961276B (zh) 2018-04-04 2018-04-04 基于视觉伺服的配电线路巡检数据自动采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810301794.3A CN108961276B (zh) 2018-04-04 2018-04-04 基于视觉伺服的配电线路巡检数据自动采集方法及系统

Publications (2)

Publication Number Publication Date
CN108961276A CN108961276A (zh) 2018-12-07
CN108961276B true CN108961276B (zh) 2020-09-25

Family

ID=64498769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810301794.3A Active CN108961276B (zh) 2018-04-04 2018-04-04 基于视觉伺服的配电线路巡检数据自动采集方法及系统

Country Status (1)

Country Link
CN (1) CN108961276B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711556B (zh) * 2018-12-24 2020-11-03 中国南方电网有限责任公司 机巡数据处理方法、装置、网级服务器和省级服务器
CN111829467B (zh) * 2020-06-24 2022-12-09 国家电网有限公司技术学院分公司 一种基于接线角度和位置的接线评估方法及系统
CN111898563A (zh) * 2020-08-04 2020-11-06 上海同岩土木工程科技股份有限公司 一种保护区安全综合监护装备与监护方法
CN112102395B (zh) * 2020-11-09 2022-05-20 广东科凯达智能机器人有限公司 一种基于机器视觉的自主巡检的方法
CN116681935B (zh) * 2023-05-31 2024-01-23 国家深海基地管理中心 一种深海热液喷口自主识别定位方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413150A (zh) * 2013-06-28 2013-11-27 广东电网公司电力科学研究院 基于可见光影像对电力线路缺陷进行诊断的方法
CN103942824A (zh) * 2014-05-15 2014-07-23 厦门大学 一种三维点云直线特征提取方法
CN106570863A (zh) * 2016-10-25 2017-04-19 南方电网科学研究院有限责任公司 一种输电线路的检测方法及装置
CN106683046A (zh) * 2016-10-27 2017-05-17 山东省科学院情报研究所 用于警用无人机侦察取证的图像实时拼接方法
CN107729808A (zh) * 2017-09-08 2018-02-23 国网山东省电力公司电力科学研究院 一种用于输电线路无人机巡检的图像智能采集系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127637B2 (en) * 2016-08-30 2018-11-13 Adobe Systems Incorporated Automatic orientation adjustment of spherical panorama digital images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413150A (zh) * 2013-06-28 2013-11-27 广东电网公司电力科学研究院 基于可见光影像对电力线路缺陷进行诊断的方法
CN103942824A (zh) * 2014-05-15 2014-07-23 厦门大学 一种三维点云直线特征提取方法
CN106570863A (zh) * 2016-10-25 2017-04-19 南方电网科学研究院有限责任公司 一种输电线路的检测方法及装置
CN106683046A (zh) * 2016-10-27 2017-05-17 山东省科学院情报研究所 用于警用无人机侦察取证的图像实时拼接方法
CN107729808A (zh) * 2017-09-08 2018-02-23 国网山东省电力公司电力科学研究院 一种用于输电线路无人机巡检的图像智能采集系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EDLines: A real-time line segment detector with a false detection control;Cuneyt Akinlar等;《Pattern Recognition Letters》;20111001;第32卷(第13期);正文第2-3节 *

Also Published As

Publication number Publication date
CN108961276A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN108961276B (zh) 基于视觉伺服的配电线路巡检数据自动采集方法及系统
US11410002B2 (en) Ship identity recognition method based on fusion of AIS data and video data
CN110148196B (zh) 一种图像处理方法、装置以及相关设备
US10074020B2 (en) Vehicular lane line data processing method, apparatus, storage medium, and device
CN107977639B (zh) 一种人脸清晰度判断方法
CN111161446B (zh) 一种巡检机器人的图像采集方法
CN105718872B (zh) 两侧车道快速定位及检测车辆偏转角度的辅助方法及系统
CN112327906A (zh) 一种基于无人机的智能自动巡检系统
CN104951775A (zh) 基于视频技术的铁路道口防护区域安全智能识别方法
CN110046584B (zh) 一种基于无人机巡检的道路裂纹检测装置及检测方法
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN105262991A (zh) 一种基于二维码的变电站设备对象识别方法
CN114463308B (zh) 一种无人机视角光伏组件视觉检测方法、装置及处理设备
CN105740844A (zh) 基于图像识别技术的绝缘子炸裂故障检测方法
CN111832760B (zh) 一种基于视觉算法的井盖自动巡检方法
CN115097836A (zh) 基于图像配准的输电线路巡检方法、系统和存储介质
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN113538585B (zh) 基于无人机的高精度多目标智能识别定位追踪方法及系统
CN110782484A (zh) 一种无人机视频人员识别追踪的方法
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法
CN112581495A (zh) 图像处理方法、装置、设备及存储介质
CN111583341B (zh) 云台像机移位检测方法
CN112115737B (zh) 一种车辆朝向的确定方法、装置及车载终端
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
CN113076870A (zh) 一种基于激光点云的杆塔识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 250101 block B, Yinhe building, 2008 Xinjie street, hi tech Zone, Ji'nan, Shandong.

Applicant after: Shandong Luneng Intelligent Technology Co., Ltd.

Applicant after: Electric Power Research Institute of State Grid Shandong Electric Power Company

Applicant after: State Grid Corporation of China

Address before: 250101 B block 626, Yinhe building, 2008 Xinjie street, Ji'nan high tech Zone, Shandong.

Applicant before: Shandong Luneng Intelligent Technology Co., Ltd.

Applicant before: Electric Power Research Institute of State Grid Shandong Electric Power Company

Applicant before: State Grid Corporation of China

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park)

Applicant after: National Network Intelligent Technology Co., Ltd.

Applicant after: Electric Power Research Institute of State Grid Shandong Electric Power Company

Applicant after: State Grid Corporation of China

Address before: 250101 block B, Yinhe building, 2008 Xinjie street, hi tech Zone, Ji'nan, Shandong.

Applicant before: Shandong Luneng Intelligent Technology Co., Ltd.

Applicant before: Electric Power Research Institute of State Grid Shandong Electric Power Company

Applicant before: State Grid Corporation of China

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201102

Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park)

Patentee after: National Network Intelligent Technology Co.,Ltd.

Address before: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park)

Patentee before: National Network Intelligent Technology Co.,Ltd.

Patentee before: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co.

Patentee before: STATE GRID CORPORATION OF CHINA