CN110133440A - 基于杆塔模型匹配及视觉导航的电力无人机及巡检方法 - Google Patents

Abstract

本发明公开了一种基于杆塔模型匹配及视觉导航的电力无人机及巡检方法，其无人机通过双目视觉传感器采集无人机前端的深度图像，进而测量无人机与前方对象的距离，通过云台及摄像头采集周边图像，进而识别对象，通过无人机飞控控制无人机的飞行姿态；所述方法包括对不同种类的输电线路杆塔进行杆塔模型建模；无人机在飞行过程中自动识别输电线路杆塔及杆塔种类，匹配并载入预建的杆塔模型；无人机对输电线路杆塔进行视觉定位，获取无人机与杆塔的相对位置；无人机按照最优飞行路径进行飞行巡检；本发明大大减少了建模工作量，增加了模型的通用性；本巡检方法不依赖于绝对坐标飞行，大大增加了灵活性，降低了成本，增强了电力设施安全性。

Description

基于杆塔模型匹配及视觉导航的电力无人机及巡检方法

技术领域

本发明涉及一种基于杆塔模型匹配及视觉导航的电力无人机及巡检方法，属于电力输电线路巡检技术领域。

背景技术

架空输电线路是长距离输送电力的主要方式，输电线路及杆塔附件由于长期暴露在野外，受到持续的机械张力、电气闪络、材料老化的影响，容易产生断股、磨损、腐蚀等损伤，如不及时修复更换，原本微小的缺陷就可能扩大，最终导致严重事故，造成大面积的停电和巨大的经济损失，因此需要对架空输电线路进行定期的巡检，以及时预防和排除故障，发现线路、杆塔的损伤和缺陷，安排维护和修复，以确保供电的可靠性。

传统的巡检方式主要是采用人工巡检，由于输电线路分布点多面广、地理条件复杂，人工巡检工作效率低、劳动强度大、工作环境危险、效果不显著。随着小型无人机技术的发展，无人机在电力输电线路的巡检工作上已经得到广泛应用，尤其是使用小型、中型多旋翼无人机进行输电线路精细化巡检，提高了巡检效率、降低了巡检难度，提升了巡检质量。

目前无人机巡检主要分成两种模式，一种是人工操作无人机飞行巡检，这需要专业的飞手才能完成；一种是无人机自动化巡检。目前无人机自动化巡检主要基于以下两种技术：

（1）第一次巡检时，由飞手手动操作控制无人机进行飞行巡检，在飞行过程中，记录关键航迹点的地理位置坐标（绝对坐标）。在以后的巡检过程中，无人机自动根据这些航迹点组成的飞行路线进行飞行巡检，是一个无人机根据预定航点坐标复飞的技术。

（2）首先依靠激光点云或倾斜摄影技术对整个输电线路通道进行精细化的三维建模，通过在输电通道三维模型中手动设定航迹点或通过软件算法自动生成航迹点的方法，得到无人机的巡检飞行路径，在巡检时控制无人机按照该飞行路线进行巡检。

上述的无人机自动巡检方法，主要有以下的缺点：

方法一实际上是无人机根据已记录的航点复飞的技术。这需要在所有输电线路及杆塔都人为试飞一次，才能记录下飞行路径的航点坐标，这种方法工作量大，灵活性差，无法做到真正意义上的自动巡检。

方法二需要对整个输电线路通道及线路上的所有杆塔都进行三维建模，才能规划出无人机的航迹，这种方法成本高，建模效率低。

以上两种方法，由于都需要较为精确的地理坐标，基本都需要依赖于能达到厘米级定位精度的RTK定位技术实现，成本较高。

以上两种方法，都基于绝对的地理位置坐标飞行，当外部环境变化时，无人机飞行过程中就存在一定的风险。

由于在三维建模的模型文件中记录了输电线路设施的绝对地理位置坐标，如果模型文件泄密，对国家电力设施的安全存在一定的风险。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种杆塔模型匹配及视觉导航的电力无人机及巡检方法，利用图象识别及模型匹配技术对杆塔类型进行识别，利用机器视觉定位无人机与杆塔间的相对位置，控制无人机按照杆塔模型自动巡检拍摄，最后利用视觉导航技术控制无人机沿着输电线路自动飞往下一级杆塔的无人机全自主巡检方法。

为得到上述目的，本发明采用的技术方案如下：

一种基于杆塔模型匹配及视觉导航的电力无人机，由无人机本体、无人机飞控、前端AI处理平台、双目视觉传感器，和云台及摄像头构成；

所述无人机飞控安装在无人机本体内部，用于控制无人机的飞行姿态；

所述双目视觉传感器安装在无人机本体的正前方，用于采集无人机前端的深度图像；

所述云台及摄像头一体安装，共同安装在无人机本体的底部，所述云台用于控制摄像头水平360度、垂直90度转动，所述摄像头用于采集可见光图像；

所述前端AI处理平台安装在无人机本体的上部，所述前端AI处理平台构建基于深度学习的图像识别推理模型，用于从摄像头拍摄的可见光图像中检测并识别出所需对象；

所述前端AI处理平台用于根据所述双目视觉传感器采集的无人机前端的深度图像，测量无人机与前方对象的距离；

所述前端AI处理平台根据所测量的无人机与前方对象的距离及识别的对象，给无人机飞控下发命令来控制无人机的飞行。

基于杆塔模型匹配及视觉导航的电力无人机进行杆塔巡检的方法，包括以下步骤：

1）对不同种类的输电线路杆塔进行杆塔模型建模；

2）无人机在飞行过程中自动识别输电线路杆塔及杆塔种类，匹配并载入预建的杆塔模型；

3）无人机对输电线路杆塔进行视觉定位，获取无人机与杆塔的相对位置；

4）无人机根据杆塔模型描述的检视点位置及巡检路径，并根据无人机与杆塔的相对位置计算出实际飞行路径，进行飞行巡检；

5）一个杆塔巡检完成后，无人机自动识别架空输电线路，通过视觉导航飞至及下一级杆塔继续巡检。

前述的步骤1）中，对不同种类的输电线路杆塔进行杆塔模型建模，包括：

以不同种类的输电线路杆塔的CAD图纸为基础进行建模，建立输电线路杆塔的三维模型，在三维模型中标注输电线路杆塔的关键部件的所有能够存在位置的相对坐标，并在三维模型中标注无人机的安全飞行区界面，标注无人机在拍摄各个杆塔关键部件时的检视点，标注摄像头的拍摄方向，以及，标注无人机飞过所有检视点的最优飞行路径。

前述的步骤2）中，杆塔模型匹配方法为：在无人机飞行过程中，前端AI处理平台通过控制云台及摄像头，拍摄周围的照片，并对照片进行基于深度学习的图像识别推理模型计算，实时识别输电线路杆塔，如果识别到输电线路杆塔，则对杆塔的种类进行识别，匹配预建的杆塔模型并载入杆塔模型。

前述的步骤3）中，进行视觉定位的方法包括：通过无人机双目视觉传感器获取前方深度图像，重建无人机前端物体的三维轮廓及位置信息，结合无人机与杆塔中多个关键部件的位置关系，通过三角定位法得到无人机与杆塔的空间相对位置关系。

前述的步骤4）中，进行飞行巡检包括：

41）无人机根据与杆塔间的相对位置及杆塔模型中最优飞行路径的第一个检视点位置，计算无人机与检视点的相对位置，并飞至检视点；

42）无人机根据杆塔模型描述的摄像头的拍摄方向，控制云台及摄像头按照拍摄方向对准拍摄对象，自动对焦拍摄；

43）无人机根据杆塔模型描述的最优飞行路径飞到下一个检视点；

44）重复步骤42）和步骤43）的动作，直到无人机完成杆塔模型描述的巡检飞行路径。

前述的无人机在飞行巡检过程中，不间断地对输电线路杆塔进行视觉定位，获取无人机与杆塔的相对位置，以校正无人机的飞行位置，并保证无人机飞行于安全区内。

前述的步骤5）包括：

51）无人机自动识别架空输电线路对象；

52）无人机通过双目视觉传感器获取前方深度图像，进而测量无人机与架空输电线路的相对距离；

53）在保证无人机与架空输电线路间的相对距离在安全距离的前提下，无人机沿着输电线路飞行至下一级杆塔。

本发明设计了一种基于杆塔建模、实时对象识别、视觉测距、视觉导航的智能化巡检方法，以达到无人机真正的自主化巡检，提高无人机巡检的效率，降低了无人机巡检的成本。其主要优点在于：

（1）对未知输电线路无需进行人工试飞后再复飞，省时省力；

（2）无需对整个输电线路及线路上的所有杆塔进行建模，只需针对不同的杆塔种类进行建模，大大减少了建模工作量，增加了模型的通用性；

（3）本巡检方法依赖于视觉识别及视觉定位，不依赖于绝对坐标飞行，大大增加了灵活性；

（4）由于本巡检方法不依赖于绝对坐标飞行，所以无需依赖于RTK定位，大大降低了成本；

（5）在模型中不使用绝对地理位置坐标，大大保证了国家电力设施的安全性，减小泄密的风险。

附图说明

图1是本发明的电力无人机自主巡检的流程图；

图2是本发明中杆塔建模的示意图；

图3是本发明中无人机以及无人机基于视觉进行定位的示意图；

图4是本发明中无人机通过视觉导航沿输电线路飞行的示意图。

具体实施方式

下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明提供一种基于杆塔模型匹配及视觉导航的电力无人机，参见图3，由以下部分组成：无人机本体11、无人机飞控13、前端AI处理平台12、双目视觉传感器15、云台及摄像头14。无人机飞控13安装在无人机本体内部，用于控制无人机的飞行姿态，双目视觉传感器15安装在无人机本体11的正前方，采用现有无人机避障的常规传感器，用于采集无人机前端的深度图像，云台及摄像头14一体安装，共同安装在无人机本体11的底部，云台的作用是控制摄像头水平360度、垂直90度转动，摄像头用于采集可见光图像（也就是拍照），同时具有调焦距及对焦功能。

前端AI处理平台12安装在无人机本体11的上部，是一个基于嵌入式GPU的处理器，可以进行高速的计算及深度学习模型推理。前端AI处理平台12用于获取双目视觉传感器15采集的无人机前端的深度图像，测量无人机与前方对象的距离；前端AI处理平台12用于获取云台及摄像头采集的可见光图像，进行就地分析处理，实现对象的实时识别。前端AI处理平台12根据所测量的无人机与前方对象的距离及识别对象，给无人机飞控下发命令来控制无人机的飞行。

本发明中，测量无人机与前方对象的距离包括：双目视觉传感器一般由双摄像机从不同角度同时获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置，进而测量无人机与前方对象的距离，是熟知技术。

本发明中，实现对象的实时识别包括：在前端AI处理平台中运行基于深度学习的图像识别推理模型，从摄像头的图像中检测并识别出所需的对象。基于深度学习的图像识别推理需要预先设计及训练。

进一步的，本发明提供一种基于杆塔模型匹配及视觉导航的电力无人机巡检方法，参见图1，步骤如下：

（1）首先对不同种类的输电线路杆塔进行建模，杆塔建模参见图2，建模方法为：

以不同种类的输电线路杆塔的CAD图纸为基础进行建模，建立输电线路杆塔的三维模型，在模型中标注输电线路杆塔1的关键部件2（如绝缘子，杆塔本体，均压环，悬垂线夹等）的所有可能位置的相对坐标，并在三维模型中标注无人机的安全飞行区界面3。在模型中还需要标注无人机在拍摄各个杆塔关键部件时的飞行相对位置，即检视点4，例如图2中的检视点A—H，以及摄像头的拍摄方向6，如图2中各检视点到关键部件所指示的箭头方向。最后标注出无人机飞过所有检视点的最优飞行路径5，最优飞行路径是在建立模型的时候人为设定的，设定的标准是无人机能以最安全、最短的路径飞过所有的检视点。如图2中，从检视点A到检视点H箭头所示构成的飞行路径。

（2）无人机在飞行过程中自动识别输电线路杆塔及杆塔种类，匹配并载入预建的杆塔模型；

杆塔模型匹配方法为：在无人机飞行过程中，前端AI处理平台通过控制云台及摄像头，拍摄周围的照片，并对照片进行实时识别处理，如果识别到输电线路的杆塔，则对杆塔的种类进行识别，匹配预建的杆塔模型并载入模型。

（3）无人机对输电线路杆塔进行视觉定位，获取无人机与杆塔的相对位置；

参见图3，视觉定位的方法为：通过无人机双目视觉传感器15获取前方深度图像，获取无人机与杆塔中关键部件的相对距离16，最终定位无人机与杆塔的相对位置。通过双目视觉传感器可以重建无人机前端物体的三维轮廓及位置信息，结合无人机与杆塔中多个关键部件的位置关系，通过三角定位法可以得到无人机与杆塔的空间相对位置关系。

（4）无人机根据杆塔模型描述的检视点位置及巡检路径，并根据无人机与杆塔的相对位置计算出实际飞行路径，进行飞行巡检，在每一个检视点控制云台及摄像头对准杆塔部件，自动识别部件并自动对焦拍摄；根据无人机与杆塔的相对位置，及模型中描述的检视点与杆塔的相对位置，就可以计算出无人机与检视点的相对位置，从而计算出无人机飞至检视点的飞行路径。

具体过程如下：

（41）无人机根据与杆塔间的相对位置及杆塔模型中最优飞行路径的第一个检视点位置，计算无人机与检视点的相对位置，并飞至检视点。

（42）无人机根据杆塔模型描述的摄像头的拍摄方向，控制云台及摄像头按照拍摄方向对准拍摄对象，自动对焦拍摄。

（43）无人机根据杆塔模型描述的最优飞行路径飞到下一个检视点。

（44）重复步骤（42）和步骤（43）的动作，直到无人机完成杆塔模型描述的巡检飞行路径。

无人机在飞行巡检过程中，不间断对输电线路杆塔进行视觉定位，获取无人机与杆塔的相对位置，以校正无人机的飞行位置，并保证无人机飞行于安全区内。

（5）拍摄结束后无人机自动识别输电线路，通过视觉导航飞至及下一级杆塔继续巡检。

（51）无人机自动识别架空输电线路对象。

（52）无人机通过双目视觉传感器获取前方深度图像，进而测量无人机与架空输电线路的相对距离，图4中，21表示架空输电线路地线，22表示架空输电线路，箭头23所指示的距离为无人机与架空输电线路的相对距离。

（53）在保证无人机与架空输电线路间的相对距离在安全距离的前提下，无人机沿着输电线路飞行至下一级杆塔，图4中箭头24所指示的方向为无人机的飞行方向。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种基于杆塔模型匹配及视觉导航的电力无人机，其特征在于，由无人机本体、无人机飞控、前端AI处理平台、双目视觉传感器，和云台及摄像头构成；

所述无人机飞控安装在无人机本体内部，用于控制无人机的飞行姿态；

所述双目视觉传感器安装在无人机本体的正前方，用于采集无人机前端的深度图像；

所述云台及摄像头一体安装，共同安装在无人机本体的底部，所述云台用于控制摄像头水平360度、垂直90度转动，所述摄像头用于采集可见光图像；

所述前端AI处理平台安装在无人机本体的上部，所述前端AI处理平台构建基于深度学习的图像识别推理模型，用于从摄像头拍摄的可见光图像中检测并识别出所需对象；

所述前端AI处理平台用于根据所述双目视觉传感器采集的无人机前端的深度图像，测量无人机与前方对象的距离；

所述前端AI处理平台根据所测量的无人机与前方对象的距离及识别的对象，给无人机飞控下发命令来控制无人机的飞行。

2.采用权利要求1所述的基于杆塔模型匹配及视觉导航的电力无人机进行杆塔巡检的方法，其特征在于，包括以下步骤：

1）对不同种类的输电线路杆塔进行杆塔模型建模；

2）无人机在飞行过程中自动识别输电线路杆塔及杆塔种类，匹配并载入预建的杆塔模型；

3）无人机对输电线路杆塔进行视觉定位，获取无人机与杆塔的相对位置；

4）无人机根据杆塔模型描述的检视点位置及巡检路径，并根据无人机与杆塔的相对位置计算出实际飞行路径，进行飞行巡检；

5）一个杆塔巡检完成后，无人机自动识别架空输电线路，通过视觉导航飞至及下一级杆塔继续巡检。

3.根据权利要求2所述的杆塔巡检方法，其特征在于，所述步骤1）中，对不同种类的输电线路杆塔进行杆塔模型建模，包括：

以不同种类的输电线路杆塔的CAD图纸为基础进行建模，建立输电线路杆塔的三维模型，在三维模型中标注输电线路杆塔的关键部件的所有能够存在位置的相对坐标，并在三维模型中标注无人机的安全飞行区界面，标注无人机在拍摄各个杆塔关键部件时的检视点，标注摄像头的拍摄方向，以及，标注无人机飞过所有检视点的最优飞行路径。

4.根据权利要求2所述的杆塔巡检方法，其特征在于，所述步骤2）中，杆塔模型匹配方法为：在无人机飞行过程中，前端AI处理平台通过控制云台及摄像头，拍摄周围的照片，并对照片进行基于深度学习的图像识别推理模型计算，实时识别输电线路杆塔，如果识别到输电线路杆塔，则对杆塔的种类进行识别，匹配预建的杆塔模型并载入杆塔模型。

5.根据权利要求2所述的杆塔巡检方法，其特征在于，所述步骤3）中，进行视觉定位的方法包括：通过无人机双目视觉传感器获取前方深度图像，重建无人机前端物体的三维轮廓及位置信息，结合无人机与杆塔中多个关键部件的位置关系，通过三角定位法得到无人机与杆塔的空间相对位置关系。

6.根据权利要求2所述的杆塔巡检方法，其特征在于，所述步骤4）中，进行飞行巡检包括：

41）无人机根据与杆塔间的相对位置及杆塔模型中最优飞行路径的第一个检视点位置，计算无人机与检视点的相对位置，并飞至检视点；

42）无人机根据杆塔模型描述的摄像头的拍摄方向，控制云台及摄像头按照拍摄方向对准拍摄对象，自动对焦拍摄；

43）无人机根据杆塔模型描述的最优飞行路径飞到下一个检视点；

44）重复步骤42）和步骤43）的动作，直到无人机完成杆塔模型描述的巡检飞行路径。

7.根据权利要求6所述的杆塔巡检方法，其特征在于，所述无人机在飞行巡检过程中，不间断地对输电线路杆塔进行视觉定位，获取无人机与杆塔的相对位置，以校正无人机的飞行位置，并保证无人机飞行于安全区内。

8.根据权利要求2所述的杆塔巡检方法，其特征在于，所述步骤5）包括：

51）无人机自动识别架空输电线路对象；

52）无人机通过双目视觉传感器获取前方深度图像，进而测量无人机与架空输电线路的相对距离；

53）在保证无人机与架空输电线路间的相对距离在安全距离的前提下，无人机沿着输电线路飞行至下一级杆塔。