CN113759947A - 基于激光雷达的机载飞行避障辅助方法、装置及系统 - Google Patents

Abstract

本发明属于机载飞行避障技术领域，具体涉及一种基于激光雷达的机载飞行避障辅助方法、装置及系统，其中基于激光雷达的机载飞行避障辅助方法包括：对飞行避障涉及的硬件模块进行故障判断；无故障时进行障碍物的数据采集；对障碍物的数据进行处理；以及根据处理后的障碍物数据进行避障预警，实现了基于激光雷达具备指向性好、探测分辨率高以及快速成像特点，结合基于深度学习网络的目标识别算法，能够实现对远距离障碍物感知以及近空范围内架空电力线等微小物体的精确感知与快速成像，进而为安全飞行管道生成、局部航迹规划提供数据参考，辅助飞行员进行航路规划，可极大保障低空/超低空飞行安全。

Description

基于激光雷达的机载飞行避障辅助方法、装置及系统

技术领域

本发明属于机载飞行避障技术领域，具体涉及一种基于激光雷达的机载飞行避障辅助方法、装置及系统。

背景技术

为面向复杂的军民用多场景使用需求，实现直升机平台全天时、全天候避障飞行，提升其在雨天、雾天等低能见度气象条件以及黑夜等降级视觉环境下的顽存性与飞行安全性，降低山体、孤立障碍物以及低空电力线等障碍物撞击风险、进而减少飞行员工作负荷，保障低空飞行安全，急需提升直升机多应用场景下对环境的高分辨率精准感知能力。

相比于传统基于视觉传感器或毫米波雷达的避障防撞系统，激光雷达具备三维成像与测距能力，探测精度更高，抗环境干扰能力更好，在微小物体及其轮廓识别精度方面表现更好，结合深度学习算法可以实现实时高鲁棒的目标识别与地形评估功能。

因此，基于上述技术问题需要设计一种新的基于激光雷达的机载飞行避障辅助方法、装置及系统。

发明内容

本发明的目的是提供一种基于激光雷达的机载飞行避障辅助方法、装置及系统。

为了解决上述技术问题，本发明提供了一种基于激光雷达的机载飞行避障辅助方法，包括：

对飞行避障涉及的硬件模块进行故障判断；

无故障时进行障碍物的数据采集；

对障碍物的数据进行处理；以及

根据处理后的障碍物数据进行避障预警。

进一步，所述对飞行避障涉及的硬件模块进行故障判断的方法包括：

接收上电指令，对飞行避障涉及的硬件模块进行上电自检，当任一模块上电自检不通过时判断故障，否则判断自检通过。

进一步，所述无故障时进行障碍物的数据采集的方法包括：

在自检通过后对障碍物进行激光点云采集；

根据导航数据对障碍物的点云数据进行坐标转换；

根据伺服控制指令调整激光点云采集方向。

进一步，所述对障碍物的数据进行处理的方法包括：

对障碍物的点云数据进行预处理，即对障碍物的点云数据进行栅格化、降采样、地物分离以及点云匹配校准；

根据预处理的障碍物的点云数据获取障碍物的属性、外形信息和位姿信息，并且获取同完成点云语义分割后的结果级点云数据，即

将激光雷达采集的原始点云数据与机载导航数据进行精确时间同步，对点云数据进行地面点分离，分离后的地面数据送入地面目标识别部分，分离后的非地面数据送入高压线识别部分；

通过高压线识别部分，根据相邻帧的非地面数据进行数据融合，识别高压线；

地面目标识别部分，根据点云数据在飞机前进方向以及前进方向的垂直方向的梯度变化情况，将属于地面目标的点云提取，使用基于区域增长的方法将这些孤立点云进行关联、联通，获得属于地面目标的点云，然后对每组点云计算其外接多边形和高度值，进而使用这些信息对地面目标类别进行分类，并对目标参数进行多帧平滑，抑制局部遮挡；

对相邻帧点云进行匹配和对准，基于各帧所对应的导航信息进行点云拼接，形成局部空域点云图，基于支线检测方法对高压线点云进行回归拟合，检测并识别线缆端点，并对线段进行过渡处理，进而拟合出高压线的实际走向。

进一步，所述根据处理后的障碍物数据进行避障预警的方法包括：

根据结果级点云数据和判断规则生成告警信息进行避障预警，以及

根据结果级点云数据进行点云可视化及渲染；

所述判断规则包括：根据当前的飞行速度矢量对未来飞行轨迹进行预测，生成近空飞行通道，并根据飞行员反应时间、飞机机动时间、当前的飞行速度与飞行加速度以及当前的风向、风速生成安全飞行距离，安全距离范围内的目标认定为威胁目标。

第二方面，本发明还提供一种基于激光雷达的机载飞行避障辅助装置，包括：

激光雷达传感器、转塔伺服机构、信号处理模块和接口控制模块；

所述激光雷达传感器适于发射激光进行点云数据的采集，并且所述激光雷达传感器适于根据机载惯导的导航数据对点云数据进行坐标转换；

所述接口控制模块适于根据伺服控制指令控制转塔伺服机构调整姿态，并将调整后的位姿发送至所述信号处理模块；

所述信号处理模块适于根据点云数据和调整后的位姿获取结果级点云数据；

所述接口控制模块适于根据结果级点云数据生成告警信息进行避障预警。

进一步，所述机载飞行避障辅助装置还包括：电源模块；

所述电源模块适于向各模块供电，以使各模块进行上电自检。

第三方面，本发明还提供一种基于激光雷达的机载飞行避障辅助系统，包括：

机载飞行避障辅助装置和载机；

所述载机适于发送伺服控制指令和导航数据至所述机载飞行避障辅助装置；

所述机载飞行避障辅助装置适于根据伺服控制指令和导航数据生成告警信息并反馈至所述载机。

本发明的有益效果是，本发明通过对飞行避障涉及的硬件模块进行故障判断；无故障时进行障碍物的数据采集；对障碍物的数据进行处理；以及根据处理后的障碍物数据进行避障预警，实现了基于激光雷达具备指向性好、探测分辨率高以及快速成像特点，结合基于深度学习网络的目标识别算法，能够实现对远距离障碍物感知以及近空范围内架空电力线等微小物体的精确感知与快速成像，进而为安全飞行管道生成、局部航迹规划提供数据参考，辅助飞行员进行航路规划，可极大保障低空/超低空飞行安全。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明所涉及的基于激光雷达的机载飞行避障辅助方法的流程图；

图2是本发明所涉及的基于激光雷达的机载飞行避障辅助方法的具体流程图；

图3是本发明所涉及的基于激光雷达的机载飞行避障辅助装置的原理框图；

图4是本发明所涉及的基于激光雷达的机载飞行避障辅助系统的原理框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

图1是本发明所涉及的基于激光雷达的机载飞行避障辅助方法的流程图。

如图1所示，本实施例1提供了一种基于激光雷达的机载飞行避障辅助方法，包括：对飞行避障涉及的硬件模块进行故障判断；无故障时进行障碍物的数据采集；对障碍物的数据进行处理；以及根据处理后的障碍物数据进行避障预警，实现了基于激光雷达具备指向性好、探测分辨率高以及快速成像特点，结合基于深度学习网络的目标识别算法，能够实现对远距离障碍物感知以及近空范围内架空电力线等微小物体的精确感知与快速成像，进而为安全飞行管道生成、局部航迹规划提供数据参考，辅助飞行员进行航路规划，可极大保障低空/超低空飞行安全。

图2是本发明所涉及的基于激光雷达的机载飞行避障辅助方法的具体流程图。

如图2所示，在本实施例中，所述对飞行避障涉及的硬件模块进行故障判断的方法包括：接收上电指令，对飞行避障涉及的硬件模块进行上电自检，当任一模块(硬件模块)上电自检不通过时判断故障，否则判断自检通过，即接收载机发出的上电指令，电源模块为各硬件模块上电；各模块上电自检，自检结果由接口控制模块汇总上报至载机；若自检不通过，同时上报故障状态，若自检通过，初始化(设置有各硬件模块的系统或装置等)。

在本实施例中，所述无故障时进行障碍物的数据采集的方法包括：在自检通过后对障碍物进行激光点云采集；根据导航数据对障碍物的点云数据进行坐标转换；根据伺服控制指令调整激光点云采集方向；初始化后，激光雷达传感器转为工作模式并发射激光，开始对障碍物进行激光点云采集；激光雷达传感器接收机载惯导的导航数据，对采集到的点云进行初步坐标转换，并将处理后的激光点云通过以太网帧的形式实时发送给信号处理模块；此时，若接口控制模块接收到载机发来的伺服控制指令，将控制转塔伺服机构调整姿态，转塔伺服机构将调整后的位姿反馈给接口控制模块，接口控制模块将该信息上报至载机，同时发送至信号处理模块辅助点云；采用MEMS激光雷达实现了对飞行视场的实时高分辨率激光点云采集，能够实现对山体、孤立障碍物以及架空线缆等微小障碍物的识别。

在本实施例中，所述对障碍物的数据进行处理的方法包括：对障碍物的点云数据进行预处理，即对障碍物的点云数据进行栅格化、降采样、地物分离以及点云匹配校准；根据预处理的障碍物的点云数据获取障碍物的属性、外形信息和位姿信息，并且获取同完成点云语义分割后的结果级点云数据；信号处理模块对激光雷达传来的原始激光点云进行栅格化、降采样、地物分离以及点云匹配校准等预处理操作；信号处理模块运行目标识别算法，得到并向接口控制模块输出障碍物属性及外形信息、位姿信息等，同时将完成点云语义分割后的结果级点云数据发送给接口控制模块；采用基于深度学习的多模式融合目标识别算法，能够实现实时高鲁棒的目标识别与测量；将激光雷达采集的原始点云数据与机载导航数据进行精确时间同步，先对点云数据进行粗略的地面点分离，分离后的地面数据送入地面目标识别部分进行进一步处理，分离后的非地面数据送入高压线识别部分，高压线识别部分使用相邻帧的非地面数据进行数据融合，以进一步提高高压电力线检测的准确性和可靠性；地面目标检测基于帧间关联方法，根据点云数据在飞机前进方向以及前进方向的垂直方向的梯度变化情况，将大概率属于地面目标的点云提取出来，使用基于区域增长的方法将这些孤立点云进行关联、联通，获得属于地面目标的点云，然后对每组点云计算其外接多边形和高度值，进而使用这些信息对地面目标类别进行分类，并对目标参数进行多帧平滑，以抑制局部遮挡等不良因素对检测效果的影响；考虑单帧点云数据中收到来自高压线的点云回波过于稀疏，在信号处理过程中容易被认定为噪点被过滤掉，首先对相邻帧点云进行匹配和对准，基于各帧所对应的导航信息进行点云拼接，形成局部空域点云图，保证了高压线点云回波的稠密化，与噪点形成明显区分，防止漏检情况发生。在此基础上，基于支线检测方法对高压线点云进行回归拟合，检测并识别线缆(高压线)端点，并对线段进行过渡处理，进而拟合出线缆的实际走向；所述结果级点云数据可以包括：地面部分的点云数据和非地面部分的点云数据(例如高压线部分)。

在本实施例中，所述根据处理后的障碍物数据进行避障预警的方法包括：根据结果级点云数据和判断规则生成告警信息进行避障预警，以及根据结果级点云数据进行点云可视化及渲染；接口控制模块接收信号处理模块发出的结果级点云，并基于告警判定规则判断是否需要生成告警并上传至机载飞控；接口控制模块基于结果级点云进行点云可视化，并基于点云渲染规则对点云进行渲染；所述判断规则包括：根据当前的飞行速度矢量对未来飞行轨迹进行预测，生成近空飞行通道，并综合考虑飞行员反应时间、飞机机动时间、当前的飞行速度与飞行加速度以及当前的风向、风速等环境因素生成安全飞行距离，安全距离范围内的目标认定为威胁目标。

实施例2

图3是本发明所涉及的基于激光雷达的机载飞行避障辅助装置的原理框图。

如图3所示，在实施例1的基础上，本实施例2还提供一种基于激光雷达的机载飞行避障辅助装置，包括：激光雷达传感器、转塔伺服机构、信号处理模块和接口控制模块；所述激光雷达传感器适于发射激光进行点云数据的采集，并且所述激光雷达传感器适于根据机载惯导的导航数据对点云数据进行坐标转换；所述接口控制模块适于根据伺服控制指令控制转塔伺服机构调整姿态，并将调整后的位姿发送至所述信号处理模块；所述信号处理模块适于根据点云数据和调整后的位姿获取结果级点云数据；所述接口控制模块适于根据结果级点云数据生成告警信息进行避障预警；采用了数据流与控制流分离的接口控制方式，保证了大带宽数据传输通信需求下装置的即时性与可用性

在本实施例中，所述机载飞行避障辅助装置还包括：电源模块；所述电源模块适于向各模块供电，以使各模块进行上电自检。

在本实施例中，所述激光雷达传感器负责激光发射、接收以及激光点云杂波过滤等任务，基于TOF原理实现对视场内物体的扫描并获取精确地相对位置数据，是机载飞行避障辅助装置的数据采集模块；激光雷达传感器采用基于MEMS的混合固态激光雷达，此类激光雷达的优势在于能够快速生成约定市场角内的三维激光点云，保证系统点云输出的即时性与有效性；采用MEMS激光雷达实现了对飞行视场的实时高分辨率激光点云采集，能够实现对山体、孤立障碍物以及架空线缆等微小障碍物的识别

在本实施例中，所述转塔伺服机构主要控制转塔姿态，调整激光雷达传感器朝向。

在本实施例中，所述信号处理模块主要基于嵌入式系统完成激光点云预处理、基于激光点云的障碍物识别与跟踪等任务，通过多模式目标识别算法融合实现高鲁棒障碍物目标识别功能，并输出目标识别结果与目标位姿测量信息以及结果级点云数据；为保证能够实时高密度大体量激光点云数据，信号处理模块采用FPGA+ARM结构的硬件设计方案实现了大批量点云数据的实时处理，利用FPGA的高并发能力与快速逻辑运算能力实现对点云数据的滤波、匹配校准、坐标转换以及栅格化等预处理操作，基于ARM平台实现对FPGA平台的实时调度与数据后处理。

在本实施例中，所述接口控制模块主要基于嵌入式系统实现直升机等机载飞行避障辅助装置对内及对外的数据交互控制，并实现点云的可视化与渲染以及告警信息生成等功能；为保证装置处理接口控制模块采用PCI-eX4实现与信号处理模块间的大带宽高速通信，采用千兆以太网实现大批量原始点云与结果级数据输入输出，通过独立RS422串口实现控制指令的下发与状态回报，通过控制流与数据流的隔离保证了装置运行的实时性以易用性；基于嵌入式系统实现激光点云的信号处理与可视化，在保证系统功能性能的前提下，整机的尺寸功耗均得到了优化，更利于一体化设计。

在本实施例中，所述机载飞行避障辅助装置的工作方法采用实施例1中的基于激光雷达的机载飞行避障辅助方法。

实施例3

图4是本发明所涉及的基于激光雷达的机载飞行避障辅助系统的原理框图。

如图4所示，在实施例2的基础上，本实施例3还提供一种基于激光雷达的机载飞行避障辅助系统，包括：机载飞行避障辅助装置和载机；所述载机适于发送伺服控制指令和导航数据至所述机载飞行避障辅助装置；所述机载飞行避障辅助装置适于根据伺服控制指令和导航数据生成告警信息并反馈至所述载机。

在本实施例中，所述机载飞行避障辅助装置可以采用实施例2中的机载飞行避障辅助装置。

综上所述，本发明通过对飞行避障涉及的硬件模块进行故障判断；无故障时进行障碍物的数据采集；对障碍物的数据进行处理；以及根据处理后的障碍物数据进行避障预警，实现了基于激光雷达具备指向性好、探测分辨率高以及快速成像特点，结合基于深度学习网络的目标识别算法，能够实现对远距离障碍物感知以及近空范围内架空电力线等微小物体的精确感知与快速成像，进而为安全飞行管道生成、局部航迹规划提供数据参考，辅助飞行员进行航路规划，可极大保障低空/超低空飞行安全。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (8)

1.一种基于激光雷达的机载飞行避障辅助方法，其特征在于，包括：

对飞行避障涉及的硬件模块进行故障判断；

无故障时进行障碍物的数据采集；

对障碍物的数据进行处理；以及

根据处理后的障碍物数据进行避障预警。

2.如权利要求1所述的基于激光雷达的机载飞行避障辅助方法，其特征在于，

所述对飞行避障涉及的硬件模块进行故障判断的方法包括：

接收上电指令，对飞行避障涉及的硬件模块进行上电自检，当任一模块上电自检不通过时判断故障，否则判断自检通过。

3.如权利要求2所述的基于激光雷达的机载飞行避障辅助方法，其特征在于，

所述无故障时进行障碍物的数据采集的方法包括：

在自检通过后对障碍物进行激光点云采集；

根据导航数据对障碍物的点云数据进行坐标转换；

根据伺服控制指令调整激光点云采集方向。

4.如权利要求3所述的基于激光雷达的机载飞行避障辅助方法，其特征在于，

所述对障碍物的数据进行处理的方法包括：

对障碍物的点云数据进行预处理，即对障碍物的点云数据进行栅格化、降采样、地物分离以及点云匹配校准；

根据预处理的障碍物的点云数据获取障碍物的属性、外形信息和位姿信息，并且获取同完成点云语义分割后的结果级点云数据，即

将激光雷达采集的原始点云数据与机载导航数据进行精确时间同步，对点云数据进行地面点分离，分离后的地面数据送入地面目标识别部分，分离后的非地面数据送入高压线识别部分；

通过高压线识别部分，根据相邻帧的非地面数据进行数据融合，识别高压线；

地面目标识别部分，根据点云数据在飞机前进方向以及前进方向的垂直方向的梯度变化情况，将属于地面目标的点云提取，使用基于区域增长的方法将这些孤立点云进行关联、联通，获得属于地面目标的点云，然后对每组点云计算其外接多边形和高度值，进而使用这些信息对地面目标类别进行分类，并对目标参数进行多帧平滑，抑制局部遮挡；

对相邻帧点云进行匹配和对准，基于各帧所对应的导航信息进行点云拼接，形成局部空域点云图，基于支线检测方法对高压线点云进行回归拟合，检测并识别线缆端点，并对线段进行过渡处理，进而拟合出高压线的实际走向。

5.如权利要求4所述的基于激光雷达的机载飞行避障辅助方法，其特征在于，

所述根据处理后的障碍物数据进行避障预警的方法包括：

根据结果级点云数据和判断规则生成告警信息进行避障预警，以及

根据结果级点云数据进行点云可视化及渲染；

所述判断规则包括：根据当前的飞行速度矢量对未来飞行轨迹进行预测，生成近空飞行通道，并根据飞行员反应时间、飞机机动时间、当前的飞行速度与飞行加速度以及当前的风向、风速生成安全飞行距离，安全距离范围内的目标认定为威胁目标。

6.一种基于激光雷达的机载飞行避障辅助装置，其特征在于，包括：

激光雷达传感器、转塔伺服机构、信号处理模块和接口控制模块；

所述激光雷达传感器适于发射激光进行点云数据的采集，并且所述激光雷达传感器适于根据机载惯导的导航数据对点云数据进行坐标转换；

所述接口控制模块适于根据伺服控制指令控制转塔伺服机构调整姿态，并将调整后的位姿发送至所述信号处理模块；

所述信号处理模块适于根据点云数据和调整后的位姿获取结果级点云数据；

所述接口控制模块适于根据结果级点云数据生成告警信息进行避障预警。

7.如权利要求6所述的基于激光雷达的机载飞行避障辅助装置，其特征在于，

所述机载飞行避障辅助装置还包括：电源模块；

所述电源模块适于向各模块供电，以使各模块进行上电自检。

8.一种基于激光雷达的机载飞行避障辅助系统，其特征在于，包括：

机载飞行避障辅助装置和载机；

所述载机适于发送伺服控制指令和导航数据至所述机载飞行避障辅助装置；

所述机载飞行避障辅助装置适于根据伺服控制指令和导航数据生成告警信息并反馈至所述载机。

Images