Nothing Special   »   [go: up one dir, main page]

CN117406771B - 一种基于四旋翼无人机的高效自主探索方法、系统及设备 - Google Patents

一种基于四旋翼无人机的高效自主探索方法、系统及设备 Download PDF

Info

Publication number
CN117406771B
CN117406771B CN202311346667.2A CN202311346667A CN117406771B CN 117406771 B CN117406771 B CN 117406771B CN 202311346667 A CN202311346667 A CN 202311346667A CN 117406771 B CN117406771 B CN 117406771B
Authority
CN
China
Prior art keywords
unmanned aerial
generating
aerial vehicle
exploration
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311346667.2A
Other languages
English (en)
Other versions
CN117406771A (zh
Inventor
梁欣廉
姚海云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202311346667.2A priority Critical patent/CN117406771B/zh
Publication of CN117406771A publication Critical patent/CN117406771A/zh
Application granted granted Critical
Publication of CN117406771B publication Critical patent/CN117406771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明属于无人机探索技术领域,公开了一种基于四旋翼无人机的高效自主探索方法、系统及设备,包括:S1,启发式航点生成:设置探索范围和航点间距,并通过航点生成算法对航点进行生成;S2,全局路径规划:启发式航路点生成后,采用A*算法生成全局规划路径;S3,实时定位与建图:采用点云进行实时定位与建图;S4,局部B样条轨迹生成:使用B样条参数化方法来生成局部轨迹;S5,实时避障和动态可行性约束:优化轨迹以实现快速收敛,生成平滑、无碰撞和动态可行的轨迹;S6,局部实时重规划:使用时间滑动窗口进行局部重新规划;S7,飞行控制:使用无人机控制算法对无人机进行稳健控制。

Description

一种基于四旋翼无人机的高效自主探索方法、系统及设备
技术领域
本发明属于无人机探索技术领域,尤其涉及一种基于四旋翼无人机的高效自主探索方法、系统及设备。
背景技术
传统获取森林三维信息的方法主要包括通过地基激光扫描系统(TLS)、地面移动激光扫描系统(MLS)和个人激光扫描系统(PLS)来实现。尽管TLS在数据收集方面达到了毫米级的精度,但其数据采集方式以静态模式为主,导致效率相对较低。相对而言,地面移动激光扫描技术由于其可移动性在一定程度上提高了数据采集效率。尽管TLS和地面MLS、PLS等平台为获取林冠下森林数据提供了便利,但在测量人员难以到达或存在潜在危险的区域,具备高度自主飞行探索能力的轻型小型无人机在这方面发挥着关键作用。这些无人机是有效收集树冠下森林数据的重要工具。然而,目前的林冠下无人机测量系统仍然严重依赖于操作员的飞行控制,缺乏自主飞行探索能力,这极大地降低了数据采集的效率。
现有的无人机自主探索方法主要针对小范围的室内和地下等场景开发,主要是基于边界区域和采样最佳视角的探索方法。其中,基于边界的方法通过寻找和访问已探索和未探索区域之间的边界来有效地探索整个感兴趣区域,直到整个边界被探索完。基于最佳视角方法使用能够提供更多环境信息的“下一个最佳视角”(NBV)的概念进行自主探索,NBV定义了信息增益的概念,即从特定角度可以从环境中提取多少信息,通过最大化信息增益来进行探索。该方法的有效性在很大程度上取决于采样技术的选择。
当下的自主探索算法在小尺度的室内等空间具有较为高效的探索效率,但目前的方法大多采用过于贪婪的探索策略进行自主探索,往往会陷入局部最优,并且基于采样最佳视角的方法没有考虑无人机的动力学可行性,且产生的轨迹不平滑,飞行速度较慢,频繁出现停止和启动的情况。此外,基于边界区域的探索方法在如森林等大尺度场景下存在大量的来回机动,造成大量无效重访探索,从而降低了探索效率。由于小型无人机的续航能力非常有限,频繁无效的重复探索将在大尺度未知环境中实现高效率的自主探索时产生致命的缺陷。目前在大尺度环境,如森林等场景中,主流的探索方法存在一个致命的局限,即无法进行完整的全局探索,从而无法获取完整的森林数据。此外,过于偏向局部探索的贪婪策略导致在有限的时间内难以快速而全面地探索整个空间,因此探索效率受到限制,同时也导致建立地图的质量不理想。
通过上述分析,现有技术存在的问题及缺陷为:主流的探索方法无法进行完整的全局探索,从而无法获取完整的森林数据。
发明内容
针对现有技术存在的问题,本发明提供了一种基于四旋翼无人机的高效自主探索方法、系统及设备。
本发明是这样实现的,一种新型的无人机自主探索方法。提出启发式航点生成方法,以促进使用四旋翼飞行器对复杂且未知的森林环境进行有效的全覆盖自主探索。基于该航点,可以创建一条完整的全局路径,包括水平和垂直方向上的航点,确保有效覆盖整个探索区域。随后,采用非线性优化,使用B样条曲线生成平滑、无碰撞且动态可行的局部规划轨迹。最后,当检测到树干,树枝等障碍物时,利用滑动窗口策略快速调整轨迹。这可以确保四旋翼飞行器能够通过及时重新规划其路径而不会发生碰撞。
一种基于四旋翼无人机的高效自主探索方法,包括:
S1,启发式航点生成:设置探索范围和航点间距,并通过航点生成算法对航点进行生成;
S2,全局路径规划:启发式航路点生成后,采用A*算法生成全局规划路径;
S3,实时定位与建图:采用点云进行实时定位与建图;
S4,局部B样条轨迹生成:使用B样条参数化方法来生成局部轨迹;
S5,实时避障和动态可行性约束:优化轨迹以实现快速收敛,生成平滑、无碰撞和动态可行的轨迹;
S6,局部实时重规划:使用时间滑动窗口进行局部重新规划;
S7,飞行控制:使用无人机控制算法对无人机进行稳健控制。
进一步,S1具体包括:
(1)探索范围设置:
根据实际需求,设定样地探索范围,包括定义长度、宽度和高度尺寸(minX、maxX、minY、maxY、minZ、maxZ);
(2)航点间距设置:
通过遍历整个探索空间生成三维航点,分别设置长宽高三个方向上的步长,三个方向上的步长根据实际情况确定;
(3)航点生成算法:
通过在一个探索空间中采用不同的航点生成策略来遍历探索整个未知空间:第一,采用横向分层的思想,首先在一个平面内以一定的步长生成航点完整遍历整个空间,然后根据高度方向上的步长,生成下一个平面的航点,直到整个空间被遍历完;第二,采用纵向起伏的思想,生成的航点间隔起伏,其中,间隔起伏的最大最小范围可以设为一致,直到遍历完整个空间为止;第三,为了获取单棵树更加完整的数据,通过螺旋上升的思想生成一系列航点。
进一步,S2具体包括:
(1)初始化:
1)确定起始点和目标点作为A*算法的起始和结束节点;
2)创建一个开放列表(open list)来存储待扩展的节点,以及一个关闭列表(closed list)来存储已经扩展过的节点;
3)将起始节点添加到开放列表,设定其初始代价(cost)为0,并计算其启发式估计值;
(2)迭代循环:进入一个循环,直到开放列表为空或者找到了目标节点为止;
(3)迭代循环:从开放列表中选择一个节点,该节点应该具有最低的总代价(代价+启发式估计值),这个节点将成为当前扩展节点;
(4)扩展节点:对当前扩展节点进行扩展,即找到其相邻的可行节点(航路点),计算代价和启发式估计值,并将其加入到开放列表中;
(5)检查相邻节点:对于每个相邻节点,进行以下检查:
1)如果该节点已经在关闭列表中,跳过它,不再考虑;
2)如果该节点不在开放列表中,将其添加到开放列表,并设置其父节点为当前扩展节点;
3)如果该节点已经在开放列表中,比较当前路径代价与已存在的路径代价,选择较小的代价路径,并更新父节点为当前扩展节点;
(6)终止条件检查:如果目标节点出现在开放列表中(代表找到了一条到达目标的路径),或者开放列表为空(代表无法找到路径),则终止循环;
(7)重构路径:如果找到了路径,从目标节点开始,通过父节点指针反向追溯到起始节点,以获得最终的路径;
(8)返回结果:返回生成的全局路径,或者表示无法找到路径的结果。
进一步,S3具体包括:
(1)数据获取:通过激光雷达传感器采集环境数据,获得激光点云数据。这些点云数据包含了环境中物体的位置信息;
(2)特征提取:从激光点云数据中提取特征,例如地面特征、树干特征等。这些特征将用于后续的定位和建图过程;
(3)运动估计:通过比较连续帧之间的特征点变化,估计机器人的运动(位姿变换);
(4)数据关联:将当前帧的特征与之前建立的地图特征进行关联,找出已知地图中与当前帧匹配的特征点;
(5)地图更新:根据数据关联的结果,更新地图,将新的特征点加入到地图中;
(6)定位更新:根据运动估计和数据关联的结果,更新机器人的位置估计,这里机器人具体指无人机;
(7)回环检测:检测是否出现了回环,即机器人在探索过程中是否回到了之前探索过的位置,回环的检测可以避免积累的误差;
(8)优化:通过优化方法(例如图优化)对地图和机器人的轨迹进行优化,减小累积误差。
进一步,S4具体包括:
使用B样条参数化方法来生成局部轨迹,一个p次B样条是由一系列离散控制点{P0,P1,…,PN}和节点向量[t0,t1,…,tm]定义的分段多项式函数,其中tm+1-tm为相同的时间间隔Δtm,其中且m=N+p+1,B样条的值可以使用矩阵表示:
B(s)=[1,s,s2,…,sp]·Mp+1·[Pm-p,Pm-p+1,Pm-p+2,…,Pm]T
在这里,Mp+1是一个常数矩阵,仅取决于参数p,p为3,同时,s=(t-tm)/(tm+1-tm),其中t属于区间[tm,tm+1)。
进一步,S5具体包括:均匀B样条具有相同的时间间隔Δt,控制点Pi的速度Vi、加速度Ai和加加速度Ji的计算公式如下:
基于B样条的凸包特性,优化轨迹以实现快速收敛,生成平滑、无碰撞和动态可行的轨迹。
进一步,S6具体包括:
使用时间滑动窗口进行局部重新规划,当滑动窗口检测到局部轨迹穿过障碍物时,将触发轨迹重新规划机制;然后生成新的局部轨迹以避开障碍物,确保无人机的安全,随后新的局部轨迹重新融入全局轨迹中。
本发明的另一目的在于提供一种基于四旋翼无人机的高效自主探索系统,包括:
启发式航点生成模块:设置探索范围和航点间距,并通过航点生成算法对航点进行生成;
全局路径规划模块:启发式航路点生成后,采用A*算法生成全局规划路径;
实时定位与建图模块:采用点云进行实时定位与建图;
局部B样条轨迹生成:使用B样条参数化方法来生成局部轨迹;
实时避障和动态可行性约束模块:优化轨迹以实现快速收敛,生成平滑、无碰撞和动态可行的轨迹;
局部实时重规划模块:使用时间滑动窗口进行局部重新规划;
飞行控制模块:使用无人机控制算法对无人机进行稳健控制。
本发明的另一目的在于提供一种计算机设备,计算机设备包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行所述的基于四旋翼无人机的高效自主探索方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端,信息数据处理终端用于实现所述的基于四旋翼无人机的高效自主探索系统。
结合上述的技术方案和解决的技术问题,本发明所要保护的技术方案所具备的优点及积极效果为:
第一,为了有效应对现有技术的问题,并在大尺度复杂的未知森林环境中实现基于无人机的高效自主探索,从而获取完整的森林数据,本发明提出了一种新颖的方法,称之为启发式航点自主探索规划。首先引入了一种无需依赖任何环境先验信息的启发式航点生成算法,该算法能够有效地支持全局路径规划,确保无人机能够快速而全面地探索复杂环境。所提出的启发式航点生成算法还充分考虑了高程信息,以保证无人机在类似森林等大尺度环境中进行更为全面的探索,并完成更加完整的数据收集任务。随后,采用非线性优化,使用B样条曲线生成平滑、无碰撞且动态可行的局部规划轨迹。最后,当检测到树枝等障碍物时,利用滑动窗口策略快速调整轨迹。可以确保无人机能够通过及时重新规划其路径而不会发生碰撞。
第二,本发明能够在短时间内完成整个空间的探索,实现三维探索空间全覆盖,能够获取完整的森林数据,并且本发明提出的方法在保证轨迹光滑的同时,实现了无碰撞和动力学可行性飞行。
1.高效的探索:本发明的关键特点之一是其能够在短时间内完成整个空间的探索。这意味着无人机能够快速而有效地扫描森林或其他复杂环境,提供了更迅速的数据采集。
2.全覆盖:该技术方案能够实现三维探索空间的全覆盖。这意味着无论森林内的位置多么难以到达,该技术都能够达到,并收集数据。这对于生态学研究、森林管理和灾害监测等应用非常重要。
3.完整的数据:无人机或飞行器通过这项技术能够获取完整的森林数据。这包括地形信息、植被分布、生物多样性数据等。这对于科学研究和资源管理具有巨大潜力。
4.轨迹光滑:与传统的探索方法相比,本发明保证了轨迹的光滑性。这意味着无人机飞行器在执行任务时能够更加平稳地移动,从而提高了数据采集的精确性。
5.无碰撞飞行:本发明的方法能够实现无碰撞飞行。这是通过高级避障系统或导航算法来实现的,确保飞行器不会与树木、障碍物或其他障碍物发生碰撞,从而保护了设备的安全性和数据的完整性。
6.动力学可行性:该技术方案不仅保证了无碰撞飞行,还考虑了动力学可行性。这意味着飞行器的移动是根据物理规律进行优化的,以确保在复杂环境中的稳定性和安全性。
7.多领域应用:除了生态学和森林管理,这项技术还可以在野外勘测、搜索与救援、环境监测、农业管理等多个领域有广泛的应用前景。
本发明提供了一种高效、全面、安全的探索方法,适用于各种需要三维空间探索的应用场景,为科学研究和实际应用提供了有力的工具和技术支持。
第三,作为本发明的权利要求的创造性辅助证据,还体现在以下几个重要方面:
(1)本发明的技术方案转化后的预期收益和商业价值为:
本发明使用轻小型无人机自主飞行采集样地级别的森林数据,为森林样地智能化,自主化提取提供可靠高效的技术解决方案,为后续森林地上生物量估算,林业普查提供支持。此外,本发明的方法亦可用在近距离森林遥感、森林火灾救援、林业测绘领域,为林业智能化管理提供可靠的技术解决方案。
(2)本发明的技术方案填补了国内外业内技术空白:
本发明的技术方案首次创新性地提出了启发式航点法,填补了国内外在该方面的技术空白,为快速探索大尺度复杂的环境提供了可靠的解决方案。本发明在样地级别的森林环境中进行了测试,取得了良好的效果,填补了国内外在该方面的空白。
(3)本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题:
传统的森林数据采集手段存在效率低,部分区域不可达等情况。使用TLS、MLS和PLS,如基于全地形车辆、背包式或手持操作的MLS可以在林冠下相对平缓的地形作业获取准确的森林三维信息,但仍然面临操作耗时、低效的挑战。此外,在测量人员无法进入或存在潜在危险的地区,获取完整的三维森林数据仍然是一项艰巨的任务。而本发明提出的方法基于高机动性和灵活性的轻小型无人机,其不仅可以在森林树冠下飞行,还可进入传统测量方式难以到达的区域,这在提高作业效率的同时,降低了测量人员在存在潜在危险区域的安全风险。
(4)本发明的技术方案是否克服了技术偏见:
本发明在以下几个方面克服了技术偏见:
数据采集效率:大尺度复杂环境下进行数据采集相对于传统数据采集方式而言,数据采集时间降低了,数据采集效率得到了显著的提高。特别是在森林树冠下或难以到达的区域。这可以减少采集数据所需的时间和资源。
安全风险降低:无人机可以进入潜在危险的地区,而不会危及人员的安全。这有助于减少潜在的伤害和风险。
数据获取的完整性和准确性:林冠下无人机相对手持式或者地基式采集方式而言,由于其能够在林冠下环境自由上下飞行,能够获取到更加完整的森林三维信息数据。
技术可行性:本发明提供的无人机具备足够的机动性和稳定性,能够在复杂的森林环境中飞行,并能够在不同季节条件下工作。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于四旋翼无人机的高效自主探索方法流程图;
图2是本发明实施例提供的基于四旋翼无人机的高效自主探索系统模块图;
图3是本发明实施例提供的复杂森林场景中在线实时重规划机制示意图;
图4是本发明实施例提供的算法流程图;
图5是本发明实施例提供的横向分层航点生成实施例场景设置示意图;
图6是本发明实施例提供的纵向起伏航点生成实施例场景设置示意图;
图7是本发明实施例提供的螺旋式上升航点生成实施例场景设置示意图;
图8是本发明实施例提供的林冠上下无人机自主飞行航点生成实施例场景设置示意图;
图9是本发明实施例提供的实时点云地图和无人机飞行轨迹图;
图10.本发明提供的四旋翼飞行器平台架构图;
图11.本发明的四旋翼飞行器平台的硬件架构图;
图12本发明实验测试场景;
图13示例样地中所有基准方法的执行轨迹。(a)表示NBVP,(b)表示FUEL,(c)表示FAEP,(d)表示本发明所提出的方法;
图14显示了图13中所有对比方法的探索体积随时间的变化。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种基于四旋翼无人机的高效自主探索方法、系统及设备,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的基于四旋翼无人机的高效自主探索方法,包括:
S1,启发式航点生成:设置探索范围和航点间距,并通过航点生成算法对航点进行生成;
S2,全局路径规划:启发式航路点生成后,采用A*算法生成全局规划路径;
S3,实时定位与建图:采用点云进行实时定位与建图;
S4,局部B样条轨迹生成:使用B样条参数化方法来生成局部轨迹;
S5,实时避障和动态可行性约束:优化轨迹以实现快速收敛,生成平滑、无碰撞和动态可行的轨迹;
S6,局部实时重规划:使用时间滑动窗口进行局部重新规划;
S7,飞行控制:使用无人机控制算法对无人机进行稳健控制。
如图2所示,本发明实施例提供的基于四旋翼无人机的高效自主探索系统,包括:
启发式航点生成模块:设置探索范围和航点间距,并通过航点生成算法对航点进行生成;
全局路径规划模块:启发式航路点生成后,采用A*算法生成全局规划路径;
实时定位与建图模块:采用点云进行实时定位与建图;
局部B样条轨迹生成:使用B样条参数化方法来生成局部轨迹;
实时避障和动态可行性约束模块:优化轨迹以实现快速收敛,生成平滑、无碰撞和动态可行的轨迹;
局部实时重规划模块:使用时间滑动窗口进行局部重新规划;
飞行控制模块:使用无人机控制算法对无人机进行稳健控制。
本发明实施例提供的在复杂未知森林环境下基于四旋翼无人机的高效自主探索方法,具体实施步骤如下:
步骤1:启发式航点生成
(1)探索范围设置
根据实际需求,设定样地探索范围,例如定义长度、宽度和高度尺寸(minX、maxX、minY、maxY、minZ、maxZ)。
(2)航点间距设置
通过遍历整个探索空间生成三维航点,分别设置长宽高三个方向上的步长,三个方向上的步长根据实际情况确定。这里给出一个例子,长宽方向上的步长设置相等,用StepXY表示,高度方向上的步长用StepZ表示。
(3)航点生成算法
本发明通过在一个探索空间中采用不同的航点生成策略来遍历探索整个未知空间,为此,本发明提出了三种方法。第一,采用横向分层的思想,首先在一个平面内以一定的步长生成航点完整遍历整个空间,然后根据高度方向上的步长,生成下一个平面的航点,直到整个空间被遍历完。第二,采用纵向起伏的思想,生成的航点间隔起伏,其中,间隔起伏的最大最小范围可以设为一致,直到遍历完整个空间为止。第三,为了获取单棵树更加完整的数据,通过螺旋上升的思想生成一系列航点。具体算法流程见算法1,算法2,算法3。
其中,X,Y为单棵树的平面坐标,R为绕树飞的半径,numSpiralSegments代表在螺旋路径上生成的点的数量,螺旋路径分段数。
步骤2:全局路径规划
启发式航路点生成后,采用A*算法生成全局规划路径。详细步骤如下:
(1)初始化
1)确定起始点和目标点作为A*算法的起始和结束节点。
2)创建一个开放列表(open list)来存储待扩展的节点,以及一个关闭列表(closed list)来存储已经扩展过的节点。
3)将起始节点添加到开放列表,设定其初始代价(cost)为0,并计算其启发式估计值。
(2)迭代循环
进入一个循环,直到开放列表为空或者找到了目标节点为止。
(3)迭代循环
从开放列表中选择一个节点,该节点应该具有最低的总代价(代价+启发式估计值)。这个节点将成为当前扩展节点。
(4)扩展节点
对当前扩展节点进行扩展,即找到其相邻的可行节点(航路点),计算它们的代价和启发式估计值,并将它们加入到开放列表中。
(5)检查相邻节点
对于每个相邻节点,进行以下检查:
1)如果该节点已经在关闭列表中,跳过它,不再考虑。
2)如果该节点不在开放列表中,将其添加到开放列表,并设置其父节点为当前扩展节点。
3)如果该节点已经在开放列表中,比较当前路径代价与已存在的路径代价,选择较小的代价路径,并更新父节点为当前扩展节点。
(6)终止条件检查
如果目标节点出现在开放列表中(代表找到了一条到达目标的路径),或者开放列表为空(代表无法找到路径),则终止循环。
(7)重构路径
如果找到了路径,从目标节点开始,通过父节点指针反向追溯到起始节点,以获得最终的路径。
(8)返回结果
返回生成的全局路径,或者表示无法找到路径的结果。
步骤3:实时定位与建图
本发明中采用点云进行实时定位与建图,需要注意的是,本发明的算法除了使用激光雷达传感器外还可以使用深度相机来实现,此外,对于在空旷区域,可以基于全球导航定位系统(GNSS)使用实时动态差分(RTK)提供准确的位置服务。下面以激光雷达为例展开详细步骤:
(1)数据获取
通过激光雷达传感器采集环境数据,获得激光点云数据。这些点云数据包含了环境中物体的位置信息。
(2)特征提取
从激光点云数据中提取特征,例如地面特征、树干特征等。这些特征将用于后续的定位和建图过程。
(3)运动估计
通过比较连续帧之间的特征点变化,估计机器人的运动(位姿变换)。常见的方法包括ICP(Iterative Closest Point)算法、扩展卡尔曼滤波等。
(4)数据关联
将当前帧的特征与之前建立的地图特征进行关联,找出已知地图中与当前帧匹配的特征点。
(5)地图更新
根据数据关联的结果,更新地图,将新的特征点加入到地图中。
(6)定位更新
根据运动估计和数据关联的结果,更新机器人的位置估计,这里机器人具体指无人机。
(7)回环检测
检测是否出现了回环,即机器人在探索过程中是否回到了之前探索过的位置。回环的检测可以避免积累的误差。
(8)优化
通过优化方法(例如图优化)对地图和机器人的轨迹进行优化,减小累积误差。
步骤4:局部B样条轨迹生成
本发明使用B样条参数化方法来生成局部轨迹。因为B样条具有许多有益的特性。特别是它能够提供局部控制,使得本发明可以对轨迹的局部部分进行精细调整,并且还能够保持轨迹的凸包特性。此外,为了增加方法的实用性,在本发明中采用均匀B样条表示轨迹。这是因为均匀B样条在封闭式计算轨迹点位置时非常方便,这有助于实际应用中的计算与评估。
一个p次B样条是由一系列离散控制点{P0,P1,…,PN}和节点向量[t0,t1,…,tm]定义的分段多项式函数,其中tm+1-tm为相同的时间间隔Δtm,其中且m=N+p+1。B样条的值可以使用矩阵表示:
在这里,Mp+1是一个常数矩阵,仅取决于参数p,在本发明中,p为3。同时,s=(t-tm)/(tm+1-tm),其中t属于区间[tm,tm+1)。
步骤5:实时避障和动态可行性约束
均匀B样条具有相同的时间间隔Δt,控制点Pi的速度Vi、加速度Ai和加加速度Ji的计算公式如下:
基于B样条的凸包特性,优化轨迹以实现快速收敛,生成平滑、无碰撞和动态可行的轨迹变得更加容易。因此,可以通过解决以下问题在安全性、平滑性和动态可行性方面进行优化:
J=ωsJscJcdJd (3)
其中,Js,Jc,和Jd分别代表平滑性、碰撞和动态可行性的惩罚项;ωsc,和ωd分别是这三个成本项对应的权重。
该发明中,平滑项是通过B样条控制点的加速度和加加速度(即加速度的变化率)的平方来建模的,旨在最小化高阶导数,从而确保整体轨迹的平滑性。Js的表达如下:
当轨迹与障碍物之间的距离小于一定阈值时,碰撞代价Jc迅速增加,这可以用障碍物对每个控制点施加的斥力来表达。
其中,dmin是期望的最小安全距离阈值,是用于一般变量的惩罚函数。
动态可行性项Jd用于限制最大速度和加速度,其表达如下:
其中,Vi,μ=[Vi,x,Vi,y,Vi,z]T and Ai,μ=[Ai,x,Ai,y,Ai,z]T分别表示控制点的速度和加速度。
步骤6:局部实时重规划
无人机在复杂未知环境中进行自主飞行探索时,由于其机载传感器的有限感知范围,及时有效的重新规划是确保无人机避免碰撞飞行的必要功能。考虑到机载传感器范围和计算资源的实际情况,进行全局重新规划既不可行也不必要。因此,需要维护一个实时滑动局部地图,用于进行局部轨迹规划,局部地图同时也包含了障碍物,并且相应地更新了ESDF。
在本发明中,使用时间滑动窗口进行局部重新规划。这里给出一个以森林场景为代表的复杂场景中进行实时局部规划的示例,自上而下视图如图3所示。
根据图3,当滑动窗口检测到局部轨迹穿过障碍物时,将触发轨迹重新规划机制。然后生成新的局部轨迹以避开障碍物,确保无人机的安全。随后新的局部轨迹重新融入全局轨迹中。
步骤7:飞行控制
使用无人机控制算法对无人机进行稳健控制。
一种在复杂未知环境下基于四旋翼无人机的高效自主飞行探索方法的技术方案流程图如图4所示。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明实施例的技术方案:
以复杂森林场景为例,基于四旋翼无人机进行高效的自主探索方法的技术方案如下。
启发式航点和全局规划路径生成
在森林中,设定一个类似于长方体的探索范围,比如长为40米,宽为30米,高为8米的探索范围。设置平面航点间的间距为4.0米,高程方向航点间的间距为2.5米。如图5、图6、图7所示是三种航点生成的三个示例,其中黑色点是用本发明提出的算法生成的航点,连续的曲线为A*算法生成的全局规划路径,本发明生成的全局规划路径不仅考虑了在时间的优越性,同时也考虑了空间上的全覆盖性。
如图8所示,针对林冠上下无人机自主飞行,首先在林冠下使用算法1或者算法2探索完成林下探索,然后在林下空隙处飞往林冠上进行自主飞行。
(2)森林复杂环境定位、感知与识别
使用主被动多源传感器,如相机、LiDAR等实现对森林环境的多模态感知定位,建图。将感知数据整合,构建森林环境的三维地图和障碍物模型。
(3)实时感知局部路径规划
基于感知数据、环境模型和提前生成的全局规划路径,使用本发明提出的局部路径规划算法生成无人机的飞行路径。在复杂的森林环境中,需要及时避开树木,其他障碍物,同时还需要考虑地形起伏的影响。
(4)实时动态避障与轨迹重规划
集成实时避障功能,利用传感器数据实时监测飞行路径上的障碍物,当检测到障碍物会对无人机的飞行造成威胁时,及时触发动态重规划功能绕过障碍物,确保无人机的安全飞行。借助计算机视觉和深度学习技术,使无人机能够实时识别并避开动态障碍物,如飞鸟或其他飞行动物。
(5)数据采集任务执行
在无人机自主探索过程中,采集森林环境数据,例如采集激光雷达和视屏流等数据,供后续用于森林植被参数提取,生物量估计等研究。
本发明实施例的技术效果
本发明实施例的无人机自主探索飞行结果如图9所示。无人机在短时间内成功完成预定区域的探索,并且实现无碰撞快速自主飞行。
本发明的应用实施例提供了一种计算机设备,计算机设备包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行基于四旋翼无人机的高效自主探索方法的步骤。
本发明的应用实施例提供了一种信息数据处理终端,信息数据处理终端用于实现基于四旋翼无人机的高效自主探索系统。
图10示出了本发明提供的四旋翼飞行器平台。用于自主探索飞行实验的自主研发的紧凑型模块化四旋翼平台如图10所示。该平台配备了英特尔NUC迷你电脑,搭载英特尔i7-1260P处理器,最高主频为4.7GHz。配置了32GB内存和1TB SSD。本发明的四旋翼飞行器配备了三维Ouster OS1-128 LiDAR,内部配有InvenSense ICM-20948惯性测量单元(IMU),用于感知和定位。为了保证实时处理能力,由于机载计算资源有限,激光雷达实时计算需要将数据减少到32条扫描线,但是原始点云数据可以实时储存在计算机上供后续离线分析使用。此外,英特尔D435i RGBD相机和T265双目灰度鱼眼相机不但可以用于以第一视角视记录飞行实况,还可用于视觉定位和建图。飞行控制器单元是Pixhawk 6C。四旋翼动力系统由四个无刷电机组成,每个电机配备一个七英寸三叶螺旋桨,以及一个四合一电子调速器(ESC)。飞行控制器与机载计算机之间的通信通过通用异步收发器(UART)硬件接口实现。四旋翼飞行器采用10000mAh航模电池供电。对于在线可视化和监控,本发明利用无线局域网(WLAN)与板载计算机建立连接。开源软件Nomachine和QGroundControl(QGC)用于远程显示、监控和发送控制命令。下图是本发明自主研发的四旋翼飞行器平台的硬件架构:
图11示出了自主研发四旋翼飞行器平台的硬件架构.
基于该平台,本发明实施例的无人机自主探索飞行结果如图9所示。无人机在短时间内成功完成预定区域的探索,并且实现无碰撞快速自主飞行。
为了对比分析本发明提出的方法的探索性能,本发明在森林环境中开展了一系列对比仿真实验。本发明与自主探索的经典方法NBVP,以及最新的FAEP和FUEL算法进行比较。为了提高感知精度,激光雷达的感应范围已配置为50.0米,频率为10.0Hz。在所有方法中,本发明对四旋翼飞行器的最大速度和加速度分别保持一定的限制,分别为2.0m/s和2.0m/s2。每个实验中,所有方法均测试了5次,所有测试均在Intel Core i7-10750H@3.2GHzCPU、40GB内存上进行。测试的场景大小为53×41×23立方米,由于在8米以上存在茂密的树冠,因此本发明的探索范围设置为53×41×8立方米,无人机飞行探索时间设置为1200秒,即20分钟。实施例的场景如图12所示。
图13显示了测试场景中所有基准方法的执行轨迹。根据图14显示结果,经典探索方法NBVP,和最新的探索方法FUEL和FAEP均未能探索整个实验区域。这不仅是由于探索时间的限制,也与他们在大尺度而复杂的环境中进行探索存在一定程度的盲目性有关。FAEP是FUEL的增强版,减少了一些无效的来回机动,因此覆盖的探索区域比FUEL更大。
图13.示例样地中所有基准方法的执行轨迹。(a)表示NBVP,(b)表示FUEL,(c)表示FAEP,(d)表示本发明所提出的方法。
本发明提出的方法在确保不存在无效的来回机动的同时,在所有五次测试中完成了整个区域的探索。这一成就在复杂、大尺度的森林环境中具有特别重要的意义,因为彻底充分的区域覆盖有助于收集完整的森林数据。对于林业测绘、森林生物量估算等领域,本发明提出的方法无疑代表了一种快速有效的数据收集解决方案。
图14显示了图13中所有对比方法的探索体积随时间的变化。从图中可以明显看出,在800秒左右,本发明提出的方法探索的体积趋于收敛。这表明本发明的方法可以在800秒左右完成整个空间探索,而所有其他方法都无法在指定的1200秒时间范围内完成实验区域的探索。考虑到探索体积上界和下界之间的宽度,本发明的方法在五次测试中表现出稳健的稳定性。根据图5,本发明提出的方法探索的平均体积大约是其他方法的两倍,本发明提出的方法的探索平均体积达15341.5立方米。图14.是本发明测试场景中各方法的探索体积随时间的变化。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于四旋翼无人机的高效自主探索方法,其特征在于,利用启发式航点生成方法,基于该航点,创建一条完整的全局路径,包括水平和垂直方向上的航点;随后,采用非线性优化,使用B样条曲线生成平滑、无碰撞且动态可行的局部规划轨迹;最后,当检测到树干、树枝障碍物时,利用滑动窗口策略快速调整轨迹;
具体包括:
S1,启发式航点生成:设置探索范围和航点间距,并通过航点生成算法对航点进行生成;
S2,全局路径规划:启发式航路点生成后,采用A*算法生成全局规划路径;
S3,实时定位与建图:采用点云进行实时定位与建图;
S4,局部B样条轨迹生成:使用B样条参数化方法来生成局部轨迹;
S5,实时避障和动态可行性约束:优化轨迹以实现快速收敛,生成平滑、无碰撞和动态可行的轨迹;
S6,局部实时重规划:使用时间滑动窗口进行局部重新规划;
S7,飞行控制:使用无人机控制算法对无人机进行稳健控制;
S1具体包括:
(1)探索范围设置:
根据实际需求,设定样地探索范围,包括定义长度、宽度和高度尺寸;
(2)航点间距设置:
通过遍历整个探索空间生成三维航点,分别设置长宽高三个方向上的步长,三个方向上的步长根据实际情况确定;
(3)航点生成算法:
通过在一个探索空间中采用不同的航点生成策略来遍历探索整个未知空间:采用横向分层的思想,首先在一个平面内以一定的步长生成航点完整遍历整个空间,然后根据高度方向上的步长,生成下一个平面的航点,直到整个空间被遍历完;采用纵向起伏的思想,生成的航点间隔起伏,其中,间隔起伏的最大最小范围可以设为一致,直到遍历完整个空间为止;为了获取单棵树更加完整的数据,通过螺旋上升的思想生成一系列航点。
2.如权利要求1所述的基于四旋翼无人机的高效自主探索方法,其特征在于,S2具体包括:
(1)初始化:
1)确定起始点和目标点作为A*算法的起始和结束节点;
2)创建一个开放列表来存储待扩展的节点,以及一个关闭列表来存储已经扩展过的节点;
3)将起始节点添加到开放列表,设定其初始代价为0,并计算其启发式估计值;
(2)迭代循环:进入一个循环,直到开放列表为空或者找到了目标节点为止;
(3)迭代循环:从开放列表中选择一个节点,该节点应该具有最低的总代价,这个节点将成为当前扩展节点;
(4)扩展节点:对当前扩展节点进行扩展,即找到其相邻的可行节点,计算代价和启发式估计值,并将其加入到开放列表中;
(5)检查相邻节点:对于每个相邻节点,进行以下检查:
1)如果该节点已经在关闭列表中,跳过它,不再考虑;
2)如果该节点不在开放列表中,将其添加到开放列表,并设置其父节点为当前扩展节点;
3)如果该节点已经在开放列表中,比较当前路径代价与已存在的路径代价,选择较小的代价路径,并更新父节点为当前扩展节点;
(6)终止条件检查:如果目标节点出现在开放列表中,或者开放列表为空,则终止循环;
(7)重构路径:如果找到了路径,从目标节点开始,通过父节点指针反向追溯到起始节点,以获得最终的路径;
(8)返回结果:返回生成的全局路径,或者表示无法找到路径的结果。
3.如权利要求1所述的基于四旋翼无人机的高效自主探索方法,其特征在于,S3具体包括:
(1)数据获取:通过激光雷达传感器采集环境数据,获得激光点云数据,这些点云数据包含了环境中物体的位置信息;
(2)特征提取:从激光点云数据中提取特征,包括地面特征、树干特征,这些特征将用于后续的定位和建图过程;
(3)运动估计:通过比较连续帧之间的特征点变化,估计机器人的运动;
(4)数据关联:将当前帧的特征与之前建立的地图特征进行关联,找出已知地图中与当前帧匹配的特征点;
(5)地图更新:根据数据关联的结果,更新地图,将新的特征点加入到地图中;
(6)定位更新:根据运动估计和数据关联的结果,更新机器人的位置估计,这里机器人具体指无人机;
(7)回环检测:检测是否出现了回环,即机器人在探索过程中是否回到了之前探索过的位置,回环的检测可以避免积累的误差;
(8)优化:通过优化方法对地图和机器人的轨迹进行优化,减小累积误差。
4.如权利要求1所述的基于四旋翼无人机的高效自主探索方法,其特征在于,S4具体包括:
使用B样条参数化方法来生成局部轨迹,一个p次B样条是由一系列离散控制点{P0,P1,…,PN}和节点向量[t0,t1,…,tm]定义的分段多项式函数表示,其中tm+1-tm为相同的时间间隔Δtm,其中且m=N+p+1,B样条的值可以使用矩阵表示:
B(s)=[1,s,s2,…,sp]·Mp+1·[Pm-p,Pm-p+1,Pm-p+2,…,Pm]T
在这里,Mp+1是一个常数矩阵,仅取决于参数p,p为3,同时,s=(t-tm)/(tm+1-tm),其中t属于区间[tm,tm+1)。
5.如权利要求1所述的基于四旋翼无人机的高效自主探索方法,其特征在于,S5具体包括:均匀B样条具有相同的时间间隔Δt,控制点Pi的速度Vi、加速度Ai和加加速度Ji的计算公式如下:
基于B样条的凸包特性,优化轨迹以实现快速收敛,生成平滑、无碰撞和动态可行的轨迹。
6.如权利要求1所述的基于四旋翼无人机的高效自主探索方法,其特征在于,S6具体包括:
使用时间滑动窗口进行局部重新规划,当滑动窗口检测到局部轨迹穿过障碍物时,将触发轨迹重新规划机制;然后生成新的局部轨迹以避开障碍物,确保无人机的安全,随后新的局部轨迹重新融入全局轨迹中。
7.一种实施权利要求1-6任意一项所述基于四旋翼无人机的高效自主探索方法的系统,其特征在于,包括:
启发式航点生成模块:设置探索范围和航点间距,并通过航点生成算法对航点进行生成;
全局路径规划模块:启发式航路点生成后,采用A*算法生成全局规划路径;
实时定位与建图模块:采用点云进行实时定位与建图;
局部B样条轨迹生成:使用B样条参数化方法来生成局部轨迹;
实时避障和动态可行性约束模块:优化轨迹以实现快速收敛,生成平滑、无碰撞和动态可行的轨迹;
局部实时重规划模块:使用时间滑动窗口进行局部重新规划;
飞行控制模块:使用无人机控制算法对无人机进行稳健控制。
8.一种信息数据处理终端,信息数据处理终端用于实现如权利要求7所述的基于四旋翼无人机的高效自主探索系统。
CN202311346667.2A 2023-10-17 2023-10-17 一种基于四旋翼无人机的高效自主探索方法、系统及设备 Active CN117406771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311346667.2A CN117406771B (zh) 2023-10-17 2023-10-17 一种基于四旋翼无人机的高效自主探索方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311346667.2A CN117406771B (zh) 2023-10-17 2023-10-17 一种基于四旋翼无人机的高效自主探索方法、系统及设备

Publications (2)

Publication Number Publication Date
CN117406771A CN117406771A (zh) 2024-01-16
CN117406771B true CN117406771B (zh) 2024-04-30

Family

ID=89490089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311346667.2A Active CN117406771B (zh) 2023-10-17 2023-10-17 一种基于四旋翼无人机的高效自主探索方法、系统及设备

Country Status (1)

Country Link
CN (1) CN117406771B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117705123B (zh) * 2024-02-01 2024-04-09 戴盟(深圳)机器人科技有限公司 一种轨迹规划方法、装置、设备及存储介质
CN118092189B (zh) * 2024-04-22 2024-08-06 华东交通大学 一种可倾转六旋翼无人机的抗饱和控制分配方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150121931A (ko) * 2014-04-22 2015-10-30 부산대학교 산학협력단 하이브리드 경로 생성 방법을 이용한 무인 지상 차량 경로 제어 시스템
KR20210116248A (ko) * 2020-03-13 2021-09-27 한국전자통신연구원 무인 비행체의 최적 경로 생성 방법 및 장치
CN114355981A (zh) * 2022-01-06 2022-04-15 中山大学 一种四旋翼无人机自主探索建图的方法和系统
CN114594788A (zh) * 2022-02-28 2022-06-07 西安交通大学 一种未知环境下四旋翼无人飞行器航迹规划方法及系统
CN114791743A (zh) * 2022-04-26 2022-07-26 北京理工大学 一种考虑通信时延的无人机集群协同航迹规划方法
WO2023016101A1 (zh) * 2021-08-13 2023-02-16 苏州大学 一种基于启发式偏置采样的室内环境机器人探索方法
CN115963856A (zh) * 2023-01-03 2023-04-14 广东工业大学 一种四旋翼无人机快速目标跟踪方法
CN116382331A (zh) * 2023-03-21 2023-07-04 武汉大学 多无人机快速调度方法、装置、设备及可读存储介质
CN116481532A (zh) * 2022-10-26 2023-07-25 复旦大学 基于模仿学习的单体无人机自主运动规划方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10741086B2 (en) * 2018-03-26 2020-08-11 D2, Llc Method and system for generating aerial imaging flight path

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150121931A (ko) * 2014-04-22 2015-10-30 부산대학교 산학협력단 하이브리드 경로 생성 방법을 이용한 무인 지상 차량 경로 제어 시스템
KR20210116248A (ko) * 2020-03-13 2021-09-27 한국전자통신연구원 무인 비행체의 최적 경로 생성 방법 및 장치
WO2023016101A1 (zh) * 2021-08-13 2023-02-16 苏州大学 一种基于启发式偏置采样的室内环境机器人探索方法
CN114355981A (zh) * 2022-01-06 2022-04-15 中山大学 一种四旋翼无人机自主探索建图的方法和系统
CN114594788A (zh) * 2022-02-28 2022-06-07 西安交通大学 一种未知环境下四旋翼无人飞行器航迹规划方法及系统
CN114791743A (zh) * 2022-04-26 2022-07-26 北京理工大学 一种考虑通信时延的无人机集群协同航迹规划方法
CN116481532A (zh) * 2022-10-26 2023-07-25 复旦大学 基于模仿学习的单体无人机自主运动规划方法
CN115963856A (zh) * 2023-01-03 2023-04-14 广东工业大学 一种四旋翼无人机快速目标跟踪方法
CN116382331A (zh) * 2023-03-21 2023-07-04 武汉大学 多无人机快速调度方法、装置、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘畅 ; 谢文俊 ; 张鹏 ; 郭庆 ; 高超 ; .多重威胁下的无人机自主避障航迹规划.哈尔滨工业大学学报.2020,(04),全文. *

Also Published As

Publication number Publication date
CN117406771A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
Mansouri et al. Cooperative coverage path planning for visual inspection
CN117406771B (zh) 一种基于四旋翼无人机的高效自主探索方法、系统及设备
CN109388150B (zh) 多传感器环境地图构建
Paull et al. Sensor-driven area coverage for an autonomous fixed-wing unmanned aerial vehicle
Li et al. Autonomous area exploration and mapping in underground mine environments by unmanned aerial vehicles
Scherer et al. Flying fast and low among obstacles
CN114355981B (zh) 一种四旋翼无人机自主探索建图的方法和系统
Fedorenko et al. Global UGV path planning on point cloud maps created by UAV
Lidoris et al. The autonomous city explorer (ACE) project—mobile robot navigation in highly populated urban environments
CN110823223A (zh) 一种无人机群的路径规划方法及装置
Song et al. BIM-aided scanning path planning for autonomous surveillance UAVs with LiDAR
Andert et al. Online world modeling and path planning for an unmanned helicopter
Lu et al. A Heterogeneous Unmanned Ground Vehicle and Blimp Robot Team for Search and Rescue using Data-driven Autonomy and Communication-aware Navigation.
Zhou et al. An autonomous navigation approach for unmanned vehicle in outdoor unstructured terrain with dynamic and negative obstacles
Li et al. Research on Robot Path Planning Based on Point Cloud Map in Orchard Environment
Geyer et al. 3D obstacle avoidance in adversarial environments for unmanned aerial vehicles
Kamat et al. A survey on autonomous navigation techniques
Basit et al. Joint localization of pursuit quadcopters and target using monocular cues
Li et al. Object-aware view planning for autonomous 3-D model reconstruction of buildings using a mobile robot
Yao et al. Autonomous Exploration Under Canopy for Forest Investigation Using Lidar and Quadrotor
Chen et al. Real-time active detection of targets and path planning using UAVs
Lee et al. Real‐time collision‐free landing path planning for drone deliveries in urban environments
Viswanathan et al. Towards Visual Inspection of Distributed and Irregular Structures: A Unified Autonomy Approach
Priyasad et al. Point cloud based autonomous area exploration algorithm
CN117170406B (zh) 一种基于分层规划的无人机快速自主搜寻方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant