Nothing Special   »   [go: up one dir, main page]

CN110892353A - 控制方法、控制装置、无人飞行器的控制终端 - Google Patents

控制方法、控制装置、无人飞行器的控制终端 Download PDF

Info

Publication number
CN110892353A
CN110892353A CN201880042420.2A CN201880042420A CN110892353A CN 110892353 A CN110892353 A CN 110892353A CN 201880042420 A CN201880042420 A CN 201880042420A CN 110892353 A CN110892353 A CN 110892353A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
image
determining
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880042420.2A
Other languages
English (en)
Inventor
林灿龙
冯健
贾向华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority claimed from PCT/CN2018/110624 external-priority patent/WO2020062356A1/zh
Publication of CN110892353A publication Critical patent/CN110892353A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种控制方法、控制装置、无人飞行器的控制终端和计算机可读存储介质，其中，所述控制方法包括：在显示设备上提供图像，其中，所述图像为配置在无人飞行器上的拍摄装置捕捉的环境的图像；响应于用户在图像上选点操作，确定选中的点在图像中的位置；根据选中的点在图像中的位置生成无人飞行器的航点或者标定环境中的障碍物。根据本发明的技术方案，用户可以快速设置无人飞行器的航点或者标定无人飞行器所处环境中的障碍物，有利于节省作业成本。

Description

控制方法、控制装置、无人飞行器的控制终端
本申请要求于2018年09月30日提交中国专利局、申请号为201811159461.8、发明名称为“控制方法、控制装置、无人飞行器的控制终端”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及一种控制技术领域，尤其涉及一种控制方法、控制装置、无人飞行器的控制终端。
背景技术
现有技术中，在确定无人飞行器的航点或者需要对无人飞行器所处的环境中的障碍物进行标定时，采用的方式主要有以下三种：
(1)通过手持无人飞行器的控制终端环绕作业区域走一圈，完成作业区域的规划，进而根据作业区域生成无人飞行器在该作业区域内移动的航点。当作业区域面积较大时，这种生成航点的方式的效率就很低，不便于高效率作业。
(2)控制无人飞行器移动到理想的航点的位置或者障碍物位置，进行实时打点。然而，通过这样方式需要无人飞行器做额外的操作，浪费无人飞行器的能量。另外，针对某些障碍物，无人飞行器可能无法移动到障碍物位置进行打点。
(3)利用专用的测绘无人飞行器，进行航点或者障碍物打点。但是，用户需要额外购买测绘无人飞行器，增加了作业的成本。
由此可知，现有技术中的生成航点或者标定无人飞行器所处的环境中的障碍物的方式不够方便，会降低无人飞行器的作业效率。
发明内容
本发明实施例提供一种控制方法、控制装置、无人飞行器的控制终端，以提高生成无人飞行器的航点和标定无人飞行器所处环境中的障碍物的效率。
为了实现上述目的，本发明实施例的第一方面提供了一种控制方法，包括：
在显示设备上提供图像，其中，图像为配置在无人飞行器上的拍摄装置捕捉的环境的图像；
响应于用户在图像上选点操作，确定选中的点在图像中的位置；
根据选中的点在图像中的位置生成无人飞行器的航点或者标定环境中的障碍物。
本发明第二方面的技术方案提供了一种控制装置，包括：显示设备和处理器，其中，所述处理器，用于：
在显示设备上提供图像，其中，图像为配置在无人飞行器上的拍摄装置捕捉的环境的图像；
响应于用户在图像上选点操作确定选中的点在图像中的位置；
根据选中的点在图像中的位置生成无人飞行器的航点或者标定环境中的障碍物。
本发明的第三方面的技术方案，提供了一种无人飞行器的控制终端，包括：本发明实施例第二方面提供的控制装置。
本发明的第四方面的技术方案，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如本发明实施例第一方面提供的控制方法的步骤。
本发明实施例提供的无人飞行器的控制方法、控制装置、无人飞行器的控制终端中，用户在无人飞行器拍摄的图像上选点，确定选中的点在图像中的位置，根据选中的点在图像中的位置生成无人飞行器的航点或者标定环境中的障碍物。通过这种方式，用户可以直接在图像上打点的方式即可设置无人飞行器的航点和/或对无人飞行器所处环境中的障碍物进行标定，可以有效地提高作业效率，给用户提供了全新的航点设置和对障碍物标定的方式。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例的无人飞行器系统的示意架构框图；
图2示出了本发明实施例的控制方法的示意流程图；
图3示出了本发明实施例的用户在图像上选点的示意图；
图4示出了本发明实施例的无人飞行器飞行的垂直剖面示意图；
图5示出了本发明实施例的无人飞行器飞行的俯视示意图；
图6示出了本发明实施例的拍摄装置的视场示意图；
图7示出了本发明实施例的确定水平偏差角度和竖直偏差角度的示意图；
图8示出了本发明实施例拍摄装置安装在无人飞行器的机身上的垂直剖面示意图；
图9示出了本发明实施例的参考点在竖直方向上相对于无人飞行器的方位的示意图。
图10示出了本发明实施例的控制装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图1为根据本发明实施例提供的无人飞行器系统10的示意性架构图。所述无人飞行器系统10可以包括无人飞行器的控制终端110和无人飞行器120。其中，所述无人飞行器120可以单旋翼或者多旋翼无人飞行器。
无人飞行器120可以包括动力系统102、控制系统104和机身。其中，当无人飞行器120具体为多旋翼无人飞行器时，机身可以包括中心架以及与中心架连接的一个或多个机臂，一个或多个机臂呈辐射状从中心架延伸出。无人飞行器还可以包括脚架，其中，脚架与机身连接，用于在无人飞行器着陆时起支撑作用。
动力系统102可以包括一个或多个电机1022，电机1022用于为无人飞行器120提供动力，该动力使得无人飞行器120能够实现一个或多个自由度的运动。
控制系统可以包括控制器1042和传感系统1044。传感系统1044用于测量无人飞行器120的状态信息和/或无人飞行器120所处的环境的信息，其中，所述状态信息可以包括姿态信息、位置信息、剩余电量信息等。所述环境的信息可以包括环境的深度、环境的气压、环境的湿度、环境的温度等等。其中，传感系统1044例如可以包括气压计、陀螺仪、超声传感器、电子罗盘、惯性测量单元、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如，全球导航卫星系统可以是全球定位系统(Global Positioning System，GPS)。
控制器1042用于控制无人飞行器的各种操作。例如，控制器1042可以控制无人飞行器的移动，再例如，控制器1042可以控制无人飞行器的传感系统1044采集数据。
在某些实施例中，无人飞行器120可以包括拍摄装置1064，拍摄装置1064例如可以是照相机或摄像机等用于捕获图像的设备，拍摄装置1064可以与控制器1042通信，并在控制器1042的控制下进行拍摄，控制器1042也可以根据拍摄装置1064拍摄的图像控制无人飞行器10。
在某些实施例中，无人飞行器120还包括云台106，云台106可以包括电机1062，云台106用于携带拍摄装置1064，控制器1042可以通过电机控制云台106的运动。应理解，云台106可以独立于无人飞行器120，也可以为无人飞行器120的一部分。在某些实施例中，所述拍摄装置1064可以固定连接在无人飞行器120的机身上。
无人飞行器10还包括传输设备108，在控制器1042的控制下，所述传输设备108可以将传感系统1044和/或拍摄装置1064采集的数据发送到控制终端110。控制终端110可以包括传输设备(未示出)，控制终端的传输设备可以与无人飞行器120的传输设备108建立无线通信连接，控制终端的传输设备可以接收传输设备108发送的数据，另外，控制终端110还可以通过自身配置的传输设备向无人飞行器120发送控制指令。
控制终端110可以包括控制器1102和显示设备1104。控制器1102可以控制控制终端的各种操作。例如，控制器1102可以控制传输设备接收无人飞行器120通过传输设备108发送的数据；在例如，控制器1104可以控制显示设备1104显示发送的数据，其中，所述数据可以包括拍摄装置1064捕捉的环境的图像、姿态信息、位置信息、电量信息等等。
可以理解的是，前述部分的控制器可以包括一个或多个处理器，其中，所述一个或多个处理器可以单独地或者协同地工作。
应理解，上述对于无人飞行器系统各组成部分的命名仅是出于标识的目的，并不应理解为对本发明的实施例的限制。
本发明实施例提供一种控制方法。图2为本发明实施例提供的控制方法的流程图。本实施例所述的控制方法可应用于控制装置。如图2所示，本实施例中的方法，可以包括：
S202，在显示设备上提供图像，其中，图像为配置在无人飞行器上的拍摄装置捕捉的环境的图像。
具体地，所述控制方法的执行主体可以是控制装置。其中，所述控制装置可以是控制终端的部件，即所述控制终端包括所述控制装置。在某些情况中，所述控制装置的一部分部件可以设置在控制终端上，控制装置的一部分部件可以设置在无人飞行器上。所述控制装置包括显示设备，其中，所述显示设备可以是触摸显示设备。
如前所述，在无人飞行器上配置拍摄装置，当所述无人飞行器处于静止或者处于移动状态时，所述拍摄装置采集无人飞行器所处环境的图像。无人飞行器与控制装置可以建立无线通信连接，无人飞行器可以将所述图像通过所述无线通信连接发送给控制装置，所述控制装置在接收到所述图像之后，即可以在所述显示设备上显示所述图像。
S204，响应于用户在图像上选点操作，确定选中的点在图像中的位置。
具体地，显示设备可以向用户展示无人飞行器的拍摄装置捕获到的环境的图像。当用户想要将图像展示的环境中某一点设置为航点时，或者用户想要对图像展示的环境中的障碍物进行标定时，用户可以在图像上进行选点操作，例如在显示所述图像的显示设备上进行点击操作。参见图3，若用户在图像上的选择P点，控制装置可以检测用户在图像上的选点操作，并确定用户选中的点在图像中的位置。其中，所述用户选中的P点在图像中的位置可以是在图像坐标系OUV下的位置，也可以是P点相对于图像中心Od的位置，在这里不做具体的限定。
步骤206，根据选中的点在图像中的位置生成无人飞行器的航点或者标定环境中的障碍物。
具体地，在获取到选中的点在图像的位置之后，当用户想要将图像展示的环境中某一点设置为航点时，控制装置根据所述点在图像中的位置来生成无人飞行器的航点。用户想要将图像展示的环境中的障碍物进行标定时，控制装置可以根据所述点在图像中的位置来标定无人飞行器所处环境中的障碍物。
本发明实施例提供的控制方法中，用户在无人飞行器拍摄的图像上选点，确定选中的点在图像中的位置，根据选中的点在图像中的位置生成无人飞行器的航点或者标定环境中的障碍物。通过这种方式，用户可以直接在图像上打点的方式即可设置无人飞行器的航点和/或对无人飞行器所处环境中的障碍物进行标定，可以有效地提高作业效率，给用户提供了全新的航点设置和对障碍物标定的方式。
可选地，所述方法还包括：根据所述航点生成航线，并控制无人飞行器按照所述航线飞行。具体地，控制装置可以根据生成的航点来生成无人飞行器的航线。用户可以在图像中选中多个点，控制装置可以根据所述多个点在对应的图像中的位置生成多个航点，并根据多个航点生成航线。控制装置可以控制无人飞行器按照所述航线飞行，在某些情况中，控制装置可以将生成的航线通过无线通信连接将所述航线发送给无人飞行器，无人飞行器可以按照接收到的航线飞行。
可选地，所述方法还包括：在无人飞行器在飞行的过程中，控制无人飞行器对标定的障碍物进行避绕。具体地，在对环境中的障碍物进行标定之后，控制装置即可以确定环境中障碍物，在控制无人飞行器飞行的过程中，控制装置就可以控制无人飞行器对标定的障碍物进行避绕，防止无人飞行器撞到障碍物。
可选地，所述方法还包括：根据所述标定的障碍物生成避绕所述障碍物的航线，并控制无人飞行器按照所述航线飞行。具体地，在对环境中的障碍物进行标定之后，控制装置即可以确定环境中障碍物。例如，所述环境可以为一片农田，农田中有障碍物，无人飞行器需要对所述农田进行喷洒作业，控制终端在对障碍物进行标定之后，可以生成避开农田中障碍物的航线，并控制无人飞行器按照所述航线飞行，当无人飞行器按照所述航线飞行时，无人飞行器不会撞到障碍物，保证无人飞行器的作业安全。
可选地，所述根据选中的点在图像中的位置生成无人飞行器的航点或者标定环境中的障碍物包括：根据选中的点在图像中的位置确定无人飞行器的航点的位置信息，根据航点的位置信息生成无人飞行器的航点；或者，根据选中的点在图像中的位置确定环境中的障碍物的位置信息，根据障碍物的位置信息标定环境中的障碍物。
具体地，在生成无人飞行器的航点之前，需要确定航点的位置信息，控制装置在获取到所述点在图像中的位置之后，可以根据所述点在图像中的位置确定航点的位置，其中，所述航点的位置可以为二维位置(例如经纬、纬度)或者三维位置(例如经度、纬度和高度)。
同理地，在对无人飞行器所处的环境中的障碍物进行标记之前，需要确定障碍物在所述环境中的位置信息，控制装置在获取到所述点在图像中的位置之后，可以根据所述点在图像中的位置确定障碍物的位置信息，其中，所述障碍物的位置信息可以为二维位置(例如经纬、纬度)或者三维位置(例如经度、纬度和高度)。
可选地，所述根据所述选中的点在所述图像中的位置确定无人飞行器的航点的位置信息或者所述环境中的障碍物的位置信息，包括：根据所述选中的点在所述图像中的位置确定所述环境中的参考点相对于无人飞行器的方位；根据所述方位和无人飞行器的位置信息确定所述参考点的位置信息；根据所述参考点的位置信息确定无人飞行器的航点的位置信息或者所述环境中的障碍物的位置信息。
具体地，控制装置在获取到所述点在图像中的位置之后，可以确定参考点相对于无人飞行器的方位，即确定所述参考点在无人飞行器的哪个方位，即确定所述参考点在无人飞行器的哪个朝向。其中，所述方位可以包括在参考点在水平方向上(即在偏航方向上)相对于无人飞行器的方位和参考点在竖直方向上(即在俯仰方向上)相对于无人飞行器的方位。所述参考点可以是用户在图像中选中的点投影到所述环境中得到的位置点，进一步地，所述参考点可以是所述参考点可以是用户在图像中选中的点投影到所述环境中的地面得到的位置点。在获取到所述参考点相对于无人飞行器的方位之后，可以根据所述方位和无人飞行器的位置信息确定参考点的位置信息。其中，所述无人飞行器的位置信息可以通过无人飞行器上配置的定位传感器获取，其中，所述定位传感器包括卫星定位接收机、视觉传感器、观测测量单元中的一种或多种获取。无人飞行器的位置信息可以为二维位置信息(例如经度和纬度)或者三维位置信息(例如经度、纬度和高度)。在所述参考点的位置信息之后，控制装置可以根据所述参考点的位置信息确定航点或者障碍物的位置信息。在某些情况中，控制终端将所述参考点的位置信息直接确定为航点或者障碍物的位置信息，在某些情况中，所述航点或者障碍物的位置信息可以为将参考点的位置信息经过变化处理之后得到的位置信息。
在某些情况中，当参考点的位置为可以为三维位置信息(例如经度和纬度)时，控制装置可以从三维位置信息(例如经度、纬度和高度)中获取二维位置信息(例如经度和纬度)，并根据获取到的二维位置信息确定航点或者障碍物的位置信息。
进一步地，所述根据所述方位和无人飞行器的位置信息确定参考点的位置信息可以通过如下几种可行的方式实现：
一种可行的方式：确定所述参考点与无人飞行器之间的相对高度，根据所述相对高度、所述方位和无人飞行器的位置信息确定所述参考点的位置信息。
具体地，如前所述，所述方位可以包括在参考点在水平方向上(即在偏航方向上)相对于无人飞行器的方位和参考点在竖直方向上(即在俯仰方向上)相对于无人飞行器的方位。无人飞行器上配置高度传感器，其中，所述高度传感器可以为气压计、视觉传感器、超声波传感器中的一种或多种，无人飞行器可以根据所述高度传感器获取参考点与无人飞行器之间的相对高度，即所述相对高度是根据无人飞行器上配置的高度传感器输出的高度信息确定的。在某些实施例中，可以将高度传感器测量得到的对地高度确定为无人飞行器与所述参考点之间的相对高度。参见无人飞行器飞行的垂直视图4，无人飞行器的质心为O，无人飞行器确定所述参考点与无人飞行器之间的相对高度为h，根据相对高度h和参考点在竖直方向上相对于无人飞行器的方位αp确定所述参考点P1与无人飞行器之间的水平距离为LAP＝hsinαp。参见无人飞行器飞行的俯视图5，其中OgXgYg坐标系为地面惯性坐标系，坐标原点Og为无人飞行器的起飞点，OgXg指向正北方向，OgYg指向正东方向；坐标系OXbYb为无人飞行器机体坐标系，OXb指向机头方向，OYb垂直于指向机体的右方。从图中可知，根据水平距离LAP和参考点在水平方向上相对于无人飞行器的方位αy确定OPy之间的水平距离可通过下式计算：
OPy＝LAPcosαy
根据水平距离LAP和参考点在水平方向上相对于无人飞行器的方位αy确定OPy之间的水平距离可通过下式计算：
OPy＝LAPsinαy
可知参考点P1在机体坐标系XY平面中的坐标矢量为
Pb＝[Pbx Pby o]＝[LAPcosαy LAPsinαy o]。
机体坐标轴OXb与地面坐标系的OgXg之间的夹角α为无人飞行器的当前航向角，可通过无人飞行器的姿态传感器(例如惯性测量单元)实时获取；从而，可以得出机体坐标系到地面惯性坐标系的坐标转换矩阵为：
Figure BDA0002334045980000091
因此，可以得到矢量Pb在地面惯性坐标系中的投影矢量Pg，如下式所示：
Pg＝MbgPg＝[Pgx Pgy o]
矢量Pg即为参考点的位置相对于无人飞行器的位置在地面惯性坐标系中的偏移矢量。而无人飞行器的位置信息，例如经度和纬度坐标可通过定位传感器实时获取，设无人飞行器当前位置的经纬度坐标为
Figure BDA0002334045980000092
Figure BDA0002334045980000093
为当前位置的经度，βc为当前位置的纬度。
则由无人飞行器的经度和纬度和参考点P1相对于当前位置的偏移矢量Pg，通过下面的公式可以求得参考点P1的位置信息，例如经度和纬度，设参考点P1的经度和纬度
Figure BDA0002334045980000101
则：
Figure BDA0002334045980000102
Figure BDA0002334045980000103
其中，re为地球的平均半径，为已知量。
另一种可行的方式：确定所述参考点与无人飞行器之间的水平距离，根据所述水平距离、所述方位和无人飞行器的位置信息确定所述参考点的位置信息。
具体地，在某些情况中，继续参见图4-5，无人飞行器可以所述参考点与无人飞行器之间的水平距离LAP，例如，所述水平距离LAP可以是根据深度传感器确定的，进一步地，无人飞行器上配置有可以获取所述环境的深度信息的深度传感器，其中，所述深度传感器可以包括双目视觉传感器、TOF相机等等，根据深度传感器可以获取深度图像，用户在拍摄装置输出的图像上选中点之后，根据深度传感器与拍摄装置之间的姿态和/或安装位置关系将所述选中的点投影到所述深度图像中，将在深度图像中投影得到的点的深度信息确定为所述参考点与无人飞行器之间的水平距离LAP。在得到所述水平距离LAP之后，即可以根据前述方案确定所述参考点的位置信息。
可选地，所述根据所述选中的点在所述图像中的位置确定所述参考点相对于无人飞行器的方位，包括：根据所述选中的点在所述图像中的位置和所述拍摄装置的姿态确定所述参考点相对于无人飞行器的方位。
具体地，如前所述，无人飞行器上配置有拍摄装置，其中，拍摄装置可以固定连接在无人飞行器上，即固定连接在无人飞行器的机身上，拍摄装置也可以通过云台连接到无人飞行器的机身上。
如图6所示，Ocxcyczc为拍摄装置的本体坐标系，其中轴Oczc为拍摄装置的中心线方向，即拍摄装置的光轴。拍摄装置可以拍摄获取图像601，其中，Od为图像601的中心，Lx和Ly分别为图像601的中心Od到图像601的左右和上下边界的距离，所述距离可以以像素的数量表示；直线l3和l4分别是拍摄装置在垂直方向上的视线边界线，θ2为拍摄装置在垂直方向上的视线角，直线l5和l6分别是拍摄装置在水平方向上的视线边界线，θ3为水平方向上的视线角。
控制装置可以获取拍摄装置的姿态，所述拍摄装置的拍摄姿态可以是拍摄装置的光轴Oczc的朝向。如图7所示，直线lp是拍摄装置的光心OC指向用户在图像中选中的点P的直线，其中，所述参考点可以在直线lp上，所述参考点可以为直线lp与无人飞行器所述环境中的地面的交点，所述直线lp的朝向可以是所述参考点相对于无人飞行器的方位。用户在图像中选中了不同的点，直线lp的朝向各不相同，这样使得参考点相对于无人飞行器的方位偏离光轴OCZ的朝向的角度也各不相同，即参考点相对于无人飞行器的方位偏离拍摄装置的姿态也各不相同。因此，控制装置可以获取拍摄装置的姿态，并根据所述拍摄装置的姿态与所述点P在图像中的位置确定所述参考点相对于无人飞行器的方位。
进一步地，所述根据所述选中的点在所述图像中的位置和所述拍摄装置的姿态确定所述参考点相对于无人飞行器的方位包括：根据所述选中的点在所述图像中的位置确定所述参考点相对于无人飞行器的方位偏离所述拍摄装置的姿态的角度；根据所述角度和所述拍摄装置的姿态确定所述参考点相对于无人飞行器的方位。
具体地，继续参考图7，可以根据所述点在图像中的位置所述参考点相对于无人飞行器的方位偏离所述拍摄装置的姿态的角度，其中，所述参考点相对于无人飞行器的方位偏离所述拍摄装置的姿态的角度可以包括参考点相对于无人飞行器的方位在水平方向上(即在偏航方向上)偏离所述拍摄装置的姿态的角度和参考点相对于无人飞行器的方位在竖直方向上(即在俯仰方向上)偏离所述拍摄装置的姿态的角度。为了方便，参考点相对于无人飞行器的方位在水平方向上(即在偏航方向上)偏离所述拍摄装置的姿态的角度和参考点相对于无人飞行器的方位在竖直方向上(即在俯仰方向上)偏离所述拍摄装置的姿态的角度分别简称为水平偏差角度和竖直偏差角度。根据所述点P在图像中的位置确定水平偏差角度θx和竖直偏差角度θy，其中，θx和θy可以分别通过如下公式进行计算：
Figure BDA0002334045980000121
Figure BDA0002334045980000122
在获取到参考点相对于无人飞行器的方位偏离所述拍摄装置的姿态的角度之后，即可以根据参考点相对于无人飞行器的方位偏离所述拍摄装置的姿态的角度和拍摄装置的姿态确定参考点相对于无人飞行器的方位。进一步地，如前所述，所述参考点相对于无人飞行器的方位可以包括参考点在水平方向上相对于无人飞行器的方位和参考点在竖直方向上相对于无人飞行器的方位，可以根据水平偏差角度θx确定参考点在水平方向上相对于无人飞行器的方位，可以根据竖直偏差角度θy确定参考点在竖直方向上相对于无人飞行器的方位。
下面针对拍摄装置与无人飞行器之间不同的安装情况具体来解释根据参考点相对于无人飞行器的方位偏离所述拍摄装置的姿态的角度和拍摄装置的姿态确定参考点相对于无人飞行器的方位的不同实现方式：
(1)当拍摄装置固定连接到无人飞行器的机身上时，拍摄装置的姿态是根据无人飞行器的姿态确定的。例如，所述拍摄装置安装在无人飞行器的机头上。所述拍摄装置安装在无人飞行器的机头上时，机头的偏航姿态与拍摄装置的偏航姿态一致，则参考点在水平方向上相对于无人飞行器的方位αp即为如前所述的水平偏差角度θx。
所述拍摄装置安装在无人飞行器的机头上时，可以分为两种情况。一种情况是拍摄装置的光轴与无人飞行器的轴线是不平行的，即拍摄装置相对于无人飞行器的轴线倾斜一定的角度，当无人飞行器在悬停的过程中，无人飞行器的轴线与水平面平行，拍摄装置的光轴倾斜向下。针对这种情况，参见图8，当无人飞行器在空中悬停时，无人飞行器的轴线l1拍摄装置的光轴l2之间角度为θ1，如前所述θ2为拍摄装置在垂直方向上的视线角。参见图9，当无人飞行器在飞行的过程中，无人飞行器的机身的姿态会发生变化，由于拍摄装置固定连接在无人飞行器的机身上，拍摄装置在竖直方向上的视场也产生变化，此时，无人飞行器的轴线相对与水平面的角度为θ4，其中，所述θ4可以根据无人飞行器的惯性测量单元测量得到，通过图9可知，参考点在竖直方向上相对于无人飞行器的方位αp＝(θ1+θ4+θx)。另一种情况，拍摄装置的光轴与无人飞行器的轴线是平行的，参考点在竖直方向上相对于无人飞行器的方位αp＝(θ4+θx)。
(2)当拍摄装置通过云台连接到无人飞行器的机身上时，所述云台用于承载所述拍摄装置，拍摄装置的姿态是根据云台的姿态确定的。参考点在水平方向上相对于无人飞行器的方位αp＝θx+θ5，其中，θ5为拍摄装置在水平方向上偏离机头的角度，θ5可以根据云台的姿态和/或无人飞行器的姿态确定。参考点在水平方向上相对于无人飞行器的方位αp＝θy+θ6，其中，θ6为拍摄装置在竖直方向上偏离水平面的角度，θ6可以根据云台的姿态和/或无人飞行器的姿态确定。
本发明实施例提供一种控制装置。图10为本发明实施例提供的控制方法的结构图。本实施例所述的控制装置可执行如前所述的控制方法。如图10所示，本实施例中的装置，可以包括：存储器1002、显示设备1004和处理器1006。
上述处理器1006可以是中央处理单元(Central Processing Unit，CPU)，该处理器1006还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，所述存储器1002用于存储程序代码；
在一些实施例中，所述处理器1006，用于调用所述程序代码执行：
在显示设备上提供图像，其中，图像为配置在无人飞行器上的拍摄装置捕捉的环境的图像；
响应于用户在图像上选点操作确定选中的点在图像中的位置；
根据选中的点在图像中的位置生成无人飞行器的航点或者标定环境中的障碍物。
可选地，所述处理器1006，还用于：根据所述航点生成航线，并控制无人飞行器按照所述航线飞行。
可选地，所述处理器1006，还用于：在无人飞行器飞行的过程中，控制无人飞行器对标定的障碍物进行避绕。
可选地，所述处理器1006，还用于：根据所述标定的障碍物生成避绕所述障碍物的航线，并控制无人飞行器按照所述航线飞行。
可选地，所述处理器1006根据所述选中的点在所述图像中的位置生成无人飞行器的航点或者标定所述环境中的障碍物时，具体用于：
根据所述选中的点在所述图像中的位置确定无人飞行器的航点的位置信息，根据无人飞行器的航点的所述位置信息生成无人飞行器的航点；或者，
根据所述选中的点在所述图像中的位置确定环境中的障碍物的位置信息，根据环境中的障碍物的所述位置信息标定所述环境中的障碍物。
可选地，所述处理器1006根据所述选中的点在所述图像中的位置确定无人飞行器的航点的位置信息或者所述环境中的障碍物的位置信息时，具体用于：
根据所述选中的点在所述图像中的位置确定所述环境中的参考点相对于无人飞行器的方位；
根据所述方位和无人飞行器的位置信息确定所述参考点的位置信息；
根据所述参考点的位置信息确定无人飞行器的航点的位置信息或者所述环境中的障碍物的位置信息。
可选地，所述处理器1006根据所述方位和无人飞行器的位置信息确定所述参考点的位置信息时，具体用于：
确定所述参考点与无人飞行器之间的相对高度；
根据所述相对高度、所述方位和无人飞行器的位置信息确定所述参考点的位置信息。
可选地，所述相对高度是根据无人飞行器上配置的高度传感器输出的高度信息确定的。
可选地，所述处理器1006根据所述选中的点在所述图像中的位置确定所述参考点相对于无人飞行器的方位时，具体用于：
根据所述选中的点在所述图像中的位置和所述拍摄装置的姿态确定所述参考点相对于无人飞行器的方位。
可选地，所述处理器1006根据所述选中的点在所述图像中的位置和所述拍摄装置的姿态确定所述参考点相对于无人飞行器的方位时，具体用于：
根据所述选中的点在所述图像中的位置确定所述参考点相对于无人飞行器的方位偏离所述拍摄装置的姿态的角度；
根据所述角度和所述拍摄装置的姿态确定所述参考点相对于无人飞行器的方位。
可选地，所述拍摄装置的姿态是根据所述无人飞行器的姿态或用于承载所述拍摄装置的云台的姿态，其中，所述云台配置在无人飞行器的机身上。
另外，本发明实施例还提供一种无人飞行器的控制终端，其特征在于，包括如前所述的控制装置。其中，所述控制终端包括遥控器、智能手机、穿戴式设备、膝上型电脑中的一种或多种。
本发明的实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上实施例中的控制方法的步骤。
进一步地，可以理解的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (24)

1.一种控制方法，其特征在于，包括：
在显示设备上提供图像，其中，所述图像为配置在无人飞行器上的拍摄装置捕捉的环境的图像；
响应于用户在所述图像上选点操作，确定选中的点在所述图像中的位置；
根据所述选中的点在所述图像中的位置生成无人飞行器的航点或者标定所述环境中的障碍物。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述航点生成航线，并控制无人飞行器按照所述航线飞行。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在无人飞行器飞行的过程中，控制无人飞行器对标定的障碍物进行避绕。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述标定的障碍物生成避绕所述障碍物的航线，并控制无人飞行器按照所述航线飞行。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述选中的点在所述图像中的位置生成无人飞行器的航点或者标定所述环境中的障碍物，包括：
根据所述选中的点在所述图像中的位置确定无人飞行器的航点的位置信息，根据无人飞行器的航点的所述位置信息生成无人飞行器的航点；或者，
根据所述选中的点在所述图像中的位置确定环境中的障碍物的位置信息，根据环境中的障碍物的所述位置信息标定所述环境中的障碍物。
6.根据权利要求5所述的方法，其特征在于，所述根据所述选中的点在所述图像中的位置确定无人飞行器的航点的位置信息或者所述环境中的障碍物的位置信息，包括：
根据所述选中的点在所述图像中的位置确定所述环境中的参考点相对于无人飞行器的方位；
根据所述方位和无人飞行器的位置信息确定所述参考点的位置信息；
根据所述参考点的位置信息确定无人飞行器的航点的位置信息或者所述环境中的障碍物的位置信息。
7.根据权利要求6所述的方法，其特征在于，
所述根据所述方位和无人飞行器的位置信息确定所述参考点的位置信息包括：
确定所述参考点与无人飞行器之间的相对高度；
根据所述相对高度.所述方位和无人飞行器的位置信息确定所述参考点的位置信息。
8.根据权利要求7所述的方法，其特征在于，所述相对高度是根据无人飞行器上配置的高度传感器输出的高度信息确定的。
9.根据权利要求6-8任一项所述的方法，其特征在于，所述根据所述选中的点在所述图像中的位置确定所述参考点相对于无人飞行器的方位，包括：
根据所述选中的点在所述图像中的位置和所述拍摄装置的姿态确定所述参考点相对于无人飞行器的方位。
10.根据权利要求9所述的方法，其特征在于，所述根据所述选中的点在所述图像中的位置和所述拍摄装置的姿态确定所述参考点相对于无人飞行器的方位包括：
根据所述选中的点在所述图像中的位置确定所述参考点相对于无人飞行器的方位偏离所述拍摄装置的姿态的角度；
根据所述角度和所述拍摄装置的姿态确定所述参考点相对于无人飞行器的方位。
11.根据权利要求9所述的方法，其特征在于，所述拍摄装置的姿态是根据所述无人飞行器的姿态和/或用于承载所述拍摄装置的云台的姿态，其中，所述云台配置在无人飞行器的机身上。
12.一种控制装置，其特征在于，包括：显示设备和处理器，其中，
所述处理器，用于：
在所述显示设备上提供图像，其中，所述图像为配置在无人飞行器上的拍摄装置捕捉的环境的图像；
响应于用户在所述图像上选点操作，确定选中的点在所述图像中的位置；
根据所述选中的点在所述图像中的位置生成无人飞行器的航点或者标定所述环境中的障碍物。
13.根据权利要求12所述的装置，其特征在于，所述处理器，还用于：
根据所述航点生成航线，并控制无人飞行器按照所述航线飞行。
14.根据权利要求12所述的装置，其特征在于，所述处理器，还用于：
在无人飞行器飞行的过程中，控制无人飞行器对标定的障碍物进行避绕。
15.根据权利要求12所述的装置，其特征在于，所述处理器，还用于：
根据所述标定的障碍物生成避绕所述障碍物的航线，并控制无人飞行器按照所述航线飞行。
16.根据权利要求12-15任一项所述的装置，其特征在于，所述处理器根据所述选中的点在所述图像中的位置生成无人飞行器的航点或者标定所述环境中的障碍物时，具体用于：
根据所述选中的点在所述图像中的位置确定无人飞行器的航点的位置信息，根据无人飞行器的航点的所述位置信息生成无人飞行器的航点；或者，
根据所述选中的点在所述图像中的位置确定环境中的障碍物的位置信息，根据环境中的障碍物的所述位置信息标定所述环境中的障碍物。
17.根据权利要求16所述的装置，其特征在于，所述处理器根据所述选中的点在所述图像中的位置确定无人飞行器的航点的位置信息或者所述环境中的障碍物的位置信息时，具体用于：
根据所述选中的点在所述图像中的位置确定所述环境中的参考点相对于无人飞行器的方位；
根据所述方位和无人飞行器的位置信息确定所述参考点的位置信息；
根据所述参考点的位置信息确定无人飞行器的航点的位置信息或者所述环境中的障碍物的位置信息。
18.根据权利要求17所述的装置，其特征在于，
所述处理器根据所述方位和无人飞行器的位置信息确定所述参考点的位置信息时，具体用于：
确定所述参考点与无人飞行器之间的相对高度；
根据所述相对高度.所述方位和无人飞行器的位置信息确定所述参考点的位置信息。
19.根据权利要求18所述的装置，其特征在于，所述相对高度是根据无人飞行器上配置的高度传感器输出的高度信息确定的。
20.根据权利要求17-19任一项所述的装置，其特征在于，所述处理器根据所述选中的点在所述图像中的位置确定所述参考点相对于无人飞行器的方位时，具体用于：
根据所述选中的点在所述图像中的位置和所述拍摄装置的姿态确定所述参考点相对于无人飞行器的方位。
21.根据权利要求20所述的装置，其特征在于，所述处理器根据所述选中的点在所述图像中的位置和所述拍摄装置的姿态确定所述参考点相对于无人飞行器的方位时，具体用于：
根据所述选中的点在所述图像中的位置确定所述参考点相对于无人飞行器的方位偏离所述拍摄装置的姿态的角度；
根据所述角度和所述拍摄装置的姿态确定所述参考点相对于无人飞行器的方位。
22.根据权利要求20所述的装置，其特征在于，所述拍摄装置的姿态是根据所述无人飞行器的姿态或用于承载所述拍摄装置的云台的姿态，其中，所述云台配置在无人飞行器的机身上。
23.一种无人飞行器的控制终端，其特征在于，包括：
如权利要求12至22中任一项所述的控制装置。
24.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要1至11中任一项所述控制方法的步骤。
CN201880042420.2A 2018-09-30 2018-10-17 控制方法、控制装置、无人飞行器的控制终端 Pending CN110892353A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2018111594618 2018-09-30
CN201811159461 2018-09-30
PCT/CN2018/110624 WO2020062356A1 (zh) 2018-09-30 2018-10-17 控制方法、控制装置、无人飞行器的控制终端

Publications (1)

Publication Number Publication Date
CN110892353A true CN110892353A (zh) 2020-03-17

Family

ID=69746141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880042420.2A Pending CN110892353A (zh) 2018-09-30 2018-10-17 控制方法、控制装置、无人飞行器的控制终端

Country Status (1)

Country Link
CN (1) CN110892353A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021217346A1 (zh) * 2020-04-27 2021-11-04 深圳市大疆创新科技有限公司 信息处理方法、信息处理装置和可移动设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106292704A (zh) * 2016-09-07 2017-01-04 四川天辰智创科技有限公司 规避障碍物的方法及装置
CN107368074A (zh) * 2017-07-27 2017-11-21 南京理工大学 一种基于视频监控的机器人自主导航方法
CN108008738A (zh) * 2017-12-27 2018-05-08 贵州大学 基于无人机与无人车协同下的目标跟踪系统
CN108351649A (zh) * 2015-09-15 2018-07-31 深圳市大疆创新科技有限公司 用于uav交互指令和控制的系统和方法
CN108521807A (zh) * 2017-04-27 2018-09-11 深圳市大疆创新科技有限公司 无人机的控制方法、设备及障碍物的提示方法、设备
CN108521787A (zh) * 2017-05-24 2018-09-11 深圳市大疆创新科技有限公司 一种导航处理方法、装置及控制设备
CN108521808A (zh) * 2017-10-31 2018-09-11 深圳市大疆创新科技有限公司 一种障碍信息显示方法、显示装置、无人机及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108351649A (zh) * 2015-09-15 2018-07-31 深圳市大疆创新科技有限公司 用于uav交互指令和控制的系统和方法
CN106292704A (zh) * 2016-09-07 2017-01-04 四川天辰智创科技有限公司 规避障碍物的方法及装置
CN108521807A (zh) * 2017-04-27 2018-09-11 深圳市大疆创新科技有限公司 无人机的控制方法、设备及障碍物的提示方法、设备
CN108521787A (zh) * 2017-05-24 2018-09-11 深圳市大疆创新科技有限公司 一种导航处理方法、装置及控制设备
CN107368074A (zh) * 2017-07-27 2017-11-21 南京理工大学 一种基于视频监控的机器人自主导航方法
CN108521808A (zh) * 2017-10-31 2018-09-11 深圳市大疆创新科技有限公司 一种障碍信息显示方法、显示装置、无人机及系统
CN108008738A (zh) * 2017-12-27 2018-05-08 贵州大学 基于无人机与无人车协同下的目标跟踪系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021217346A1 (zh) * 2020-04-27 2021-11-04 深圳市大疆创新科技有限公司 信息处理方法、信息处理装置和可移动设备

Similar Documents

Publication Publication Date Title
US10435176B2 (en) Perimeter structure for unmanned aerial vehicle
JP6390013B2 (ja) 小型無人飛行機の制御方法
JP6138326B1 (ja) 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
JP6430073B2 (ja) 姿勢推定装置、姿勢推定方法及び観測システム
US20210208608A1 (en) Control method, control apparatus, control terminal for unmanned aerial vehicle
JP6934116B1 (ja) 航空機の飛行制御を行う制御装置、及び制御方法
JP6289750B1 (ja) 移動体、移動体制御方法、移動体制御システム、及び移動体制御プログラム
EP3594112B1 (en) Control system for a flying object, control device therefor, and marker thereof
US10337863B2 (en) Survey system
JP2019032234A (ja) 表示装置
WO2021168819A1 (zh) 无人机的返航控制方法和设备
US20240176367A1 (en) Uav dispatching method, server, dock apparatus, system, and storage medium
US20200217665A1 (en) Mobile platform, image capture path generation method, program, and recording medium
CN115718298A (zh) Ugv和uav自动提供其激光雷达数据参照进行3d探测的系统
US20210240185A1 (en) Shooting control method and unmanned aerial vehicle
CN110892353A (zh) 控制方法、控制装置、无人飞行器的控制终端
JP2020135327A (ja) 飛行体システム、飛行体、位置測定方法、プログラム
CN112313599B (zh) 控制方法、装置和存储介质
WO2022094962A1 (zh) 飞行器的悬停方法、飞行器及存储介质
JP2020160019A (ja) 物体の三次元形状の測定方法
CN113079698B (zh) 进行航空器的飞行控制的控制装置、及控制方法
CN113961019B (zh) 路径规划方法、控制装置、拍摄装置和无人机
WO2023139628A1 (ja) エリア設定システム、及びエリア設定方法
US20220230550A1 (en) 3d localization and mapping systems and methods
JP2024008901A (ja) ３次元データ生成システム、３次元データ生成方法、及びマーカーメジャー

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200317

WD01 Invention patent application deemed withdrawn after publication