CN114967756B - 海上风机巡检无人机辅助降落方法、系统、装置及存储介质 - Google Patents

Abstract

本发明公开了一种海上风机巡检无人机辅助降落方法、系统、装置及存储介质，属于风机巡检技术领域。在检测到无人机从自动控制模式切换成手动控制模式的情况下，通过激光雷达采集到可移动机场的点云图像；根据点云图像得到可移动机场的第一初始位置；获取到可移动机场的红外图像；基于红外图像得到可移动机场的第二初始位置；基于第一初始位置以及第二初始位置得到可移动机场的目标位置；根据可移动机场的目标位置生成所述无人机的降落导航信息。解决了海上天气情况比较复杂，在遇到大雾气候的时候，可见光相机识别效果差，导致无人机降落的安全性低的技术问题。

Description

海上风机巡检无人机辅助降落方法、系统、装置及存储介质

技术领域

本发明属于风机巡检技术领域，具体涉及一种海上风机巡检无人机辅助降落方法、系统、装置及存储介质。

背景技术

海上风电作为一种清洁能源，凭借其距离用电负荷近、发电稳定、不占用陆地土地资源等优势，在技术上发展迅速，近年来，海上风电并网装机容量持续增长。

在采用无人机对海上风力发电机进行巡检时，无人机需要在完成当前巡检任务后降落在移动机场上，现有技术往往通过可将光相机采集图像进行识别到移动机场，然后控制无人机返航至移动机场。

但是，海上天气情况比较复杂，尤其在大雾等恶劣天气的时候，可见光相机识别效果差，导致无人机降落的安全性低。

发明内容

为了解决上述问题，本发明的目的在于提供一种海上风机巡检无人机辅助降落方法、系统、装置及存储介质，能够有效提高无人机在恶劣天气降落的安全性。

本发明是通过以下技术方案来实现：

一种海上风机巡检无人机辅助降落方法，包括以下步骤：

S1：检测到无人机从自动控制模式切换成手动控制模式时，采集可移动机场的点云图像；

S2：根据S1得到的点云图像获取所述可移动机场的第一初始位置；

S3：获取所述可移动机场的红外图像；

S4：根据S3得到的红外图像获取所述可移动机场的第二初始位置；

S5：基于S2获取的第一初始位置和S4获取的第二初始位置，得到所述可移动机场的目标位置；

S6：根据S5得到的所述可移动机场的目标位置，生成无人机的降落导航信息。

优选地，S3具体为：所述可移动机场中设置有热源，获取所述可移动机场的红外图像时，发送热源启动信号，然后获取到可移动机场的包含热源区域的所述红外图像；其中，所述可移动机场执行所述热源启动信号从而启动所述热源。

进一步优选地，在获取所述可移动机场的红外图像前，还包括确定所述点云图像的质量等级，判断所述点云图像的质量等级不符合标准等级。

优选地，根据所述点云图像的质量等级调整所述热源启动的目标温度。

优选地，所述可移动机场设置为多角点形状。

一种海上风机巡检无人机辅助降落系统，包括：

采集单元，用于在检测到无人机从自动控制模式切换成手动控制模式的情况下，通过激光雷达采集到可移动机场的点云图像；

第一得到单元，用于根据所述点云图像得到所述可移动机场的第一初始位置；

获取单元，用于获取到所述可移动机场的红外图像；

第二得到单元，用于基于所述红外图像得到可移动机场的第二初始位置；

第三得到单元，用于基于所述第一初始位置以及所述第二初始位置得到所述可移动机场的目标位置；

生成单元，用于根据所述可移动机场的目标位置生成所述无人机的降落导航信息。

优选地，还包括：

发送模块，用于发送热源启动信号，其中，所述可移动机场执行所述热源启动信号从而启动所述热源；

获取模块，用于获取到可移动机场的包含热源区域的所述红外图像。

进一步优选地，还包括：

确定模块，用于确定所述点云图像的质量等级；

判断模块，用于判断所述点云图像的质量等级不符合标准等级。

本发明公开了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的海上风机巡检无人机辅助降落方法的步骤。

本发明公开了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的海上风机巡检无人机辅助降落方法的步骤。

与现有技术相比，本发明具有以下有益的技术效果：

本发明公开的海上风机巡检无人机辅助降落方法，在恶劣天气时，无人机无法继续执行巡检任务只能返航，这时候，因为大雾等恶劣天气可见度差，为了保证无人机安全返航，无人机的巡检人员通常会通过无人机的遥控器来控制无人机，即将自动控制模式切换成手动控制模式，在发现巡检人员切换控制模式的情况下，则启动无人机的激光雷达来采集到可移动机场的点云图像。然后通过无人机的红外相机采集到可移动机场的红外图像，综合点云图像获得的第一初始位置和红外图像获得的第二初始位置，得到可移动机场的目标位置，并根据可移动机场的目标位置生成无人机的降落导航信息。由于可移动机场的目标位置综合了两种方法确定的第一初始位置和第二初始位置，因而准确性较高。本发明解决了海上天气情况比较复杂，在遇到大雾等恶劣气候的时候，可见光相机识别效果差，导致无人机降落的安全性低的技术问题。

进一步地，在可移动机场设置热源，比如通电加热装置，通过远程启动通电发热装置，以使得热源向外发送红外信号，方便无人机相机快速捕获到可移动机场的包含热源区域的所述红外图像。

更进一步地，如果点云图像不符合标准等级，说明点云图像比较模糊，仅仅根据点云图像来生成可移动机场的目标位置准确性差。

更进一步地，根据点云图像的质量等级调整所述热源启动的目标温度，点云图像的质量等级表征着天气的可见度，因此，如果点云质量等级较低，则点云图像质量较差，通过提高热源的目标温度，从而提高红外图像的质量进而提高目标位置识别的准确度。

进一步地，可移动机场设置为多角点形状，以使得激光雷达或者红外相机更容易识别到可移动机场的目标位置。

附图说明

图1为本发明的方法流程图；

图2为本发明的优选方案流程图；

图3为本发明的优选方案流程图；

图4为本发明的系统构成框图。

具体实施方式

下面以附图和具体实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

实施例一

本发明提供了一种海上风机巡检无人机的辅助降落方法，如图1所示，所述方法包括：

步骤S11，在检测到无人机从自动控制模式切换成手动控制模式的情况下，通过激光雷达采集到可移动机场的点云图像。

具体的，本方案可以由无人机的控制器或者其他具有数据处理功能的设备作为本方案的方法执行主体，本方案时刻检测无人机的控制模式，如果检测到无人机的控制模式从自动模式切换成手动的情况下，启动无人机的激光雷达来采集到可移动机场的点云图像，上述可移动机场可以为陆地上的无人机机场，可以为在船上设置的机场，供无人机降落进行充电、维护等操作。

例如，在海上为极端天气下，比如说大雾，此时无人机无法继续执行巡检任务只能返航，这时候，因为大雾天气可见度差，为了保证无人机安全返航，无人机的巡检人员(飞手)通常会通过无人机的遥控器来控制无人机，即将自动控制模式切换成手动控制模式，那么本方案在发现巡检人员切换控制模式的情况下，则启动无人机的激光雷达来采集到可移动机场的点云图像。

步骤S13，根据所述点云图像得到所述可移动机场的第一初始位置。

步骤S15，获取到所述可移动机场的红外图像。

步骤S17，基于所述红外图像得到可移动机场的第二初始位置。

具体的，在本方案中，通过点云图像的识别可以确定可移动机场的第一初始位置，然后控制无人机的红外相机采集到可移动机场的红外图像并且识别红外图像确定机场的第二初始位置，这里需要说明的是，可移动机场可以散发热源，因此无人机的红外相机可以采集到可移动机场的红外图像。

步骤S19，基于所述第一初始位置以及所述第二初始位置得到所述可移动机场的目标位置。

具体的，上述第一初始位置是基于激光雷达识别出的第一初始位置，上述第二初始位置是通过红外图像识别出的第二初始位置，本方案可以融合上述第一初始位置以及第二初始位置，将两个位置取平均值，从而得到可移动机场的目标位置。因为目标位置考虑了第一初始位置以及所述第二初始位置，准确性高。

步骤S21，根据所述可移动机场的目标位置生成所述无人机的降落导航信息。

具体的，在本方案中，在得到可移动机场的目标位置的情况下，本方案可以根据上述目标位置生成降落的导航信息，并且将导航信息显示于无人机的遥控器进行导航显示。

本方案通过上述多个步骤，在海上天气出现大雾的情况下，基于激光雷达以及红外相机得到可移动机场的目标位置，然后引导飞手控制无人机准确的降落到可移动机场，因此本方案解决了海上天气情况比较复杂出现大雾气候的时候，可见光相机识别效果差，导致无人机降落的安全性低的技术问题。

可选的，在所述可移动机场中设置有热源，其中，结合图2，步骤S15获取到所述可移动机场的红外图像，包括：

步骤S151，发送热源启动信号，其中，所述可移动机场执行所述热源启动信号从而启动所述热源。

步骤S152，获取到可移动机场的包含热源区域的所述红外图像。

具体的，在可以移动机场可以设置热源，比如通电加热装置，本方案可远程启动通电发热装置，以使得热源向外发送红外信号，方便无人机相机快速捕获到可移动机场的包含热源区域的所述红外图像。

可选的，结合图3，在步骤S152获取到所述可移动机场的红外图像之前，本申请的方法还可以包括：

步骤S1521，确定所述点云图像的质量等级。

步骤S1522，判断所述点云图像的质量等级不符合标准等级。

这里需要说明的是，本方案可以判断激光雷达采集到的点云图像的质量等级，如果质量等级符合标准等级，说明点云图像较为清晰，点云数量比较多，本方案可以直接根据点云图像来生成可移动机场的目标位置，但是如果点云图像不符合标准等级，说明点云图像比较模糊，仅仅根据点云图像来生成可移动机场的目标位置准确性差，因此本方案才执行上述步骤S152的方法。

可选的，本申请的方法还可以包括：

根据所述点云图像的质量等级调整所述热源启动的目标温度。

具体的，在本方案中，本方案可以根据点云质量等级来实时调整热源启动的目标温度，这里需要说明的是，点云图像的质量等级表征着天气的可见度，因此，如果点云质量等级较低，点云图像质量较差，本方案则提高热源的目标温度，从而提高红外图像的质量。通过此种方式可以提高目标位置识别的准确度。

可选的，所述可移动机场设置为多角点形状，以使得激光雷达或者红外相机更容易识别到可移动机场的目标位置。

实施例二

本申请还提供了一种海上风机巡检无人机的辅助降落装置，该装置可以设置于无人机中，也可以用于执行上述实施例一的方法，如图4所示，该装置可以包括：

采集单元40，用于在检测到无人机从自动控制模式切换成手动控制模式的情况下，通过激光雷达采集到可移动机场的点云图像。

具体的，本方案时刻检测无人机的控制模式，如果检测到无人机的控制模式从自动模式切换成手动的情况下，启动无人机的激光雷达来采集到可移动机场的点云图像，上述可移动机场可以为陆地上的无人机机场，可以为在船上设置的机场，供无人机降落进行充电、维护等操作。

例如，在海上为极端天气下，比如说大雾，此时无人机无法继续执行巡检任务只能返航，这时候，因为大雾天气可见度差，为了保证无人机安全返航，无人机的巡检人员(飞手)通常会通过无人机的遥控器来控制无人机，即将自动控制模式切换成手动控制模式，那么本方案在发现巡检人员切换控制模式的情况下，则启动无人机的激光雷达来采集到可移动机场的点云图像。

第一得到单元42，用于根据所述点云图像得到所述可移动机场的第一初始位置。

获取单元44，用于获取到所述可移动机场的红外图像。

第二得到单元46，用于基于所述红外图像得到可移动机场的第二初始位置。

具体的，在本方案中，通过点云图像的识别可以确定可移动机场的第一初始位置，然后控制无人机的红外相机采集到可移动机场的红外图像并且识别红外图像确定机场的第二初始位置，这里需要说明的是，可移动机场可以散发热源，因此无人机的红外相机可以采集到可移动机场的红外图像。

第三得到单元48，用于基于所述第一初始位置以及所述第二初始位置得到所述可移动机场的目标位置。

具体的，上述第一初始位置是基于激光雷达识别出的第一初始位置，上述第二初始位置是通过红外图像识别出的第二初始位置，本方案可以融合上述第一初始位置以及第二初始位置，将两个位置取平均值，从而得到可移动机场的目标位置。因为目标位置考虑了第一初始位置以及所述第二初始位置，准确性高。

生成单元50，用于根据所述可移动机场的目标位置生成所述无人机的降落导航信息。

具体的，在本方案中，在得到可移动机场的目标位置的情况下，本方案可以根据上述目标位置生成降落的导航信息，并且将导航信息显示于无人机的遥控器进行导航显示。

本方案通过上述多个单元，在海上天气出现大雾的情况下，基于激光雷达以及红外相机得到可移动机场的目标位置，然后引导飞手控制无人机准确的降落到可移动机场，因此本方案解决了海上天气情况比较复杂出现大雾气候的时候，可见光相机识别效果差，导致无人机降落的安全性低的技术问题。

可选的，所述获取单元包括：发送模块，用于发送热源启动信号，其中，所述可移动机场执行所述热源启动信号从而启动所述热源；获取模块，用于获取到可移动机场的包含热源区域的所述红外图像。

可选的，所述装置还包括：确定模块，用于确定所述点云图像的质量等级；判断模块，用于判断所述点云图像的质量等级不符合标准等级。

应理解，本文中前述关于本发明的方法所描述的具体特征、操作和细节也可类似地应用于本发明的装置和系统，或者，反之亦然。另外，上文描述的本发明的方法的每个步骤可由本发明的装置或系统的相应部件或单元执行。

应理解，本发明的装置的各个模块/单元可全部或部分地通过软件、硬件、固件或其组合来实现。所述各模块/单元各自可以硬件或固件形式内嵌于计算机设备的处理器中或独立于所述处理器，也可以软件形式存储于计算机设备的存储器中以供处理器调用来执行所述各模块/单元的操作。所述各模块/单元各自可以实现为独立的部件或模块，或者两个或更多个模块/单元可实现为单个部件或模块。

在一个实施例中，提供了一种电子设备，其包括存储器和处理器，所述存储器上存储有可由处理器执行的计算机指令，所述计算机指令在由所述处理器执行时指示所述处理器执行本发明的实施例一中的方法的各步骤。该计算机设备可以广义地为服务器、终端，或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中，该计算机设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该计算机设备的处理器可用于提供必要的计算、处理和/或控制能力。该计算机设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有操作系统、计算机程序等。该内存储器可为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。该计算机程序被处理器执行时执行本发明的方法的步骤。

本发明可以实现为一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器执行时导致本发明实施例一的方法的步骤被执行。在一个实施例中，所述计算机程序被分布在网络耦合的多个计算机设备或处理器上，以使得所述计算机程序由一个或多个计算机设备或处理器以分布式方式存储、访问和执行。单个方法步骤/操作，或者两个或更多个方法步骤/操作，可以由单个计算机设备或处理器或由两个或更多个计算机设备或处理器执行。一个或多个方法步骤/操作可以由一个或多个计算机设备或处理器执行，并且一个或多个其他方法步骤/操作可以由一个或多个其他计算机设备或处理器执行。一个或多个计算机设备或处理器可以执行单个方法步骤/操作，或执行两个或更多个方法步骤/操作。

本领域普通技术人员可以理解，本发明的方法步骤可以通过计算机程序来指示相关的硬件如计算机设备或处理器完成，所述的计算机程序可存储于非暂时性计算机可读存储介质中，该计算机程序被执行时导致本发明的步骤被执行。根据情况，本文中对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器的示例包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘等。易失性存储器的示例包括随机存取存储器(RAM)、外部高速缓冲存储器等。

以上描述的各技术特征可以任意地组合。尽管未对这些技术特征的所有可能组合进行描述，但这些技术特征的任何组合都应当被认为由本说明书涵盖，只要这样的组合不存在矛盾。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种海上风机巡检无人机辅助降落方法，其特征在于，包括以下步骤：

S1：检测到无人机从自动控制模式切换成通过遥控器手动控制模式时，通过激光雷达采集可移动机场的点云图像；所述可移动机场设置为多角点形状；

S2：根据S1得到的点云图像获取所述可移动机场的第一初始位置；

S3：获取所述可移动机场的红外图像；S3具体为：所述可移动机场中设置有热源，获取所述可移动机场的红外图像时，发送热源启动信号，然后获取到可移动机场的包含热源区域的所述红外图像；其中，所述可移动机场执行所述热源启动信号从而启动所述热源；在获取所述可移动机场的红外图像前，还包括确定所述点云图像的质量等级，判断所述点云图像的质量等级是否符合标准等级；根据所述点云图像的质量等级调整所述热源启动的目标温度，其中，如果点云图像符合标准等级，直接根据点云图像生成可移动机场的目标位置，执行步骤S6，否则执行步骤S4；

S4：根据S3得到的红外图像获取所述可移动机场的第二初始位置；

S5：基于S2获取的第一初始位置和S4获取的第二初始位置，将两个位置取平均值，得到所述可移动机场的目标位置；

S6：根据所述可移动机场的目标位置，生成无人机的降落导航信息；

将导航信息显示于无人机的遥控器进行导航显示。

2.一种海上风机巡检无人机辅助降落系统，应用如权利要求1所述的方法，其特征在于，包括：

采集单元，用于在检测到无人机从自动控制模式切换成通过遥控器手动控制模式的情况下，通过激光雷达采集到可移动机场的点云图像；所述可移动机场设置为多角点形状；

第一得到单元，用于根据所述点云图像得到所述可移动机场的第一初始位置；

获取单元，用于获取到所述可移动机场的红外图像；

第二得到单元，用于基于所述红外图像得到可移动机场的第二初始位置；

第三得到单元，用于基于所述第一初始位置以及所述第二初始位置取平均值得到所述可移动机场的目标位置；

生成单元，用于根据所述可移动机场的目标位置生成所述无人机的降落导航信息并将导航信息显示于无人机的遥控器进行导航显示；

发送模块，用于发送热源启动信号，其中，所述可移动机场执行所述热源启动信号从而启动所述热源；

获取模块，用于获取到可移动机场的包含热源区域的所述红外图像；

确定模块，用于确定所述点云图像的质量等级；

判断模块，用于判断所述点云图像的质量等级是否符合标准等级，其中，如果点云图像符合标准等级，直接根据点云图像生成可移动机场的目标位置。

3.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1所述的海上风机巡检无人机辅助降落方法的步骤。

4.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述的海上风机巡检无人机辅助降落方法的步骤。