JP7190699B2 - Flight system and landing control method - Google Patents
Flight system and landing control method Download PDFInfo
- Publication number
- JP7190699B2 JP7190699B2 JP2019049140A JP2019049140A JP7190699B2 JP 7190699 B2 JP7190699 B2 JP 7190699B2 JP 2019049140 A JP2019049140 A JP 2019049140A JP 2019049140 A JP2019049140 A JP 2019049140A JP 7190699 B2 JP7190699 B2 JP 7190699B2
- Authority
- JP
- Japan
- Prior art keywords
- landing
- unmanned aerial
- aerial vehicle
- image
- takeoff
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 46
- 238000005286 illumination Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 24
- 238000003860 storage Methods 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 19
- 230000008054 signal transmission Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 13
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 239000003905 agrochemical Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、飛行システム及び着陸制御方法に関する。 The present invention relates to flight systems and landing control methods.
無人航空機(いわゆるドローン)は、近年、配送システム、監視システム、農薬散布等の農業支援などその応用範囲が飛躍的に広がっている。 In recent years, unmanned aerial vehicles (so-called drones) have dramatically expanded their range of applications, such as delivery systems, surveillance systems, and agricultural support such as pesticide spraying.
この無人航空機は、例えば無人航空機の位置や飛行状態等を検出するためのジャイロセンサ、速度センサ、航法センサ等から構成される機体センサ、安全な着陸を脅かす地上の脅威を捉える探知センサ、気象予報や他機の移動情報等を地上設備や他機から取得する通信部を有し、この機体センサ、探知センサ、通信部より得られる情報を元に着陸する(例えば特開2018-165870号公報参照)。 This unmanned aerial vehicle includes, for example, a body sensor consisting of a gyro sensor, a speed sensor, a navigation sensor, etc. for detecting the position and flight status of the unmanned aerial vehicle, detection sensors for detecting threats on the ground that threaten safe landing, weather forecasting, and so on. It has a communication unit that acquires the movement information of other aircraft and other aircraft from ground equipment and other aircraft, and lands based on the information obtained from this aircraft sensor, detection sensor, and communication unit (for example, see Japanese Patent Application Laid-Open No. 2018-165870 ).
例えば上記公報に記載の無人航空機では、上記センサ等から得られる情報により、地上に設定された複数の着陸候補地点から最も安全な着陸地点を選択し、安全に着陸することができる。 For example, the unmanned aerial vehicle described in the above publication can select the safest landing point from a plurality of candidate landing points set on the ground based on the information obtained from the sensors and the like, and land safely.
一方、近年は移動体、例えば自動車と連携したドローンの活用が注目されている。この移動体及びドローンを備える飛行システムでは、例えば自動車のルーフが離着陸台となり、飛行中のドローンをこの離着陸台に着陸させることが必要となる。この離着陸台は、一般に地上に設定される静止した着陸場所よりも面積が狭い。また、離着陸台そのものが移動を伴うため、その着陸環境が変化し易い。上記従来の無人航空機では、静止した着陸場所を前提とした着陸制御が行われているため、このような移動体に設けられた離着陸台への着陸制御は容易ではない。 On the other hand, in recent years, attention has been paid to the use of drones that are linked to mobile objects, such as automobiles. In a flight system including this moving body and a drone, for example, the roof of an automobile serves as a takeoff and landing pad, and it is necessary to land the drone during flight on this takeoff and landing pad. This take-off and landing pad is generally smaller in area than a stationary landing site set on the ground. In addition, since the takeoff/landing platform itself moves, the landing environment is likely to change. In the conventional unmanned aerial vehicle described above, landing control is performed assuming a stationary landing site, so landing control to a takeoff/landing platform provided on such a moving object is not easy.
さらに、移動体に設けられた離着陸台に着陸したドローンに対して、再飛行に備えて充電が行われる。この充電方法として、離着陸台に設けられた非接触充電システムが用いられるのが一般的である。このような非接触充電システムでは、離着陸台に設けられたコイルに対するドローンに設けられたコイルの相対位置が充電効率に大きく影響する。この充電効率を高めるため、ドローンを高い位置精度で着陸させることが求められている。 Furthermore, the drone that has landed on the takeoff/landing platform provided on the mobile body is charged in preparation for re-flight. As this charging method, a non-contact charging system provided on the takeoff/landing platform is generally used. In such a contactless charging system, the relative position of the coil provided on the drone with respect to the coil provided on the takeoff/landing pad greatly affects the charging efficiency. In order to improve this charging efficiency, it is required to land the drone with high positional accuracy.
本発明は、上述のような事情に基づいてなされたものであり、無人航空機を容易かつ高い位置精度で、移動体に設けられた離着陸台へ着陸させることができる飛行システム及び着陸制御方法の提供を目的とする。 SUMMARY OF THE INVENTION The present invention has been made based on the circumstances described above, and provides a flight system and landing control method capable of landing an unmanned aerial vehicle on a take-off/landing platform provided on a mobile body easily and with high positional accuracy. With the goal.
上記課題を解決するためになされた本発明の飛行システムは、無人航空機と、上記無人航空機が離着陸可能な離着陸台を有する移動体とを備え、上記離着陸台が、上空から識別可能な表示装置を有し、上記移動体が、着陸環境情報を含む画像を上記表示装置に表示する表示制御部を有し、上記無人航空機が、カメラと、上記表示装置に表示された画像の着陸環境情報を上記カメラにより認識する画像認識部と、上記画像認識部が取得した着陸環境情報に基づいて着陸制御を行う着陸制御部とを有する。 A flight system of the present invention, which has been made to solve the above problems, includes an unmanned aerial vehicle and a mobile body having a takeoff and landing platform on which the unmanned aerial vehicle can take off and land, and the takeoff and landing platform has a display device that can be identified from the sky. wherein the moving object has a display control unit that displays an image including landing environment information on the display device, and the unmanned aerial vehicle displays the landing environment information of the image displayed on the display device with the camera. It has an image recognition unit that recognizes with a camera, and a landing control unit that performs landing control based on the landing environment information acquired by the image recognition unit.
当該飛行システムでは、移動体に設けられた離着陸台が上空から識別可能な表示装置を有し、着陸環境情報を含む画像を上記表示装置に表示する。このため、当該飛行システムでは、離着陸台の着陸環境の変化に合わせて画像を更新することができるので、その着陸環境変化に追従し易い。また、当該飛行システムでは、無人航空機は上記表示装置に表示された画像を上記カメラにより認識し、その画像から得られる着陸環境情報を利用して着陸制御を行う。このため、離着陸台の着陸環境の変化に合わせて更新された上記画像を適確に利用することができるので、無人航空機を容易に上記離着陸台へ着陸させることができる。さらに、当該飛行システムでは、移動体及び無人航空機間の情報の伝達に画像を用いる。画像によるフィードバック制御は無線によるフィードバック制御よりも高速に行えるので、当該飛行システムは、無人航空機のきめ細かい飛行制御を可能とし、着陸の位置精度を高められる。 In this flight system, a takeoff/landing platform provided on a moving object has a display device that can be identified from above, and an image including landing environment information is displayed on the display device. Therefore, in the flight system, the image can be updated according to the change in the landing environment of the takeoff/landing platform, so the change in the landing environment can be easily followed. Further, in the flight system, the unmanned aerial vehicle recognizes the image displayed on the display device by the camera, and performs landing control using landing environment information obtained from the image. Therefore, the image updated according to changes in the landing environment of the takeoff/landing pad can be used accurately, so that the unmanned aerial vehicle can be easily landed on the takeoff/landing pad. In addition, such flight systems use images to communicate information between vehicles and unmanned aerial vehicles. Since image-based feedback control can be performed at a higher speed than wireless feedback control, the flight system enables fine-grained flight control of the unmanned aerial vehicle and improves landing position accuracy.
上記着陸環境情報が、上記離着陸台の位置、高度、風速及び照度、並びに上記移動体の速度及び進行方向のうちの少なくとも1つを含むとよい。上記着陸環境情報として、上記離着陸台の位置、高度、風速及び照度、並びに上記移動体の速度及び進行方向のうちの少なくとも1つを含めることで、移動体が移動することで変化し易い情報を無人航空機の着陸制御に利用することができるので、着陸制御がさらに容易となるうえに、着陸の位置精度をさらに高められる。 The landing environment information may include at least one of the position, altitude, wind speed and illuminance of the takeoff/landing platform, and the speed and direction of travel of the moving body. By including at least one of the position, altitude, wind speed and illuminance of the takeoff/landing platform, and the speed and direction of travel of the moving object as the landing environment information, information that is likely to change as the moving object moves. Since it can be used for the landing control of an unmanned aerial vehicle, the landing control becomes easier and the accuracy of the landing position can be further improved.
上記移動体が、複数の上記離着陸台を有し、それぞれの上記離着陸台の表示装置に着陸台識別子が表示されるとよい。このように複数の上記離着陸台を有する移動体にあっては、それぞれの上記離着陸台の表示装置に離着陸台識別子を表示することで、より確実に無人航空機の着陸誘導ができる。 It is preferable that the moving object has a plurality of takeoff/landing pads, and a landing pad identifier is displayed on a display device of each of the takeoff/landing pads. Thus, in a mobile object having a plurality of takeoff/landing pads, by displaying the takeoff/landing pad identifier on the display device of each of the takeoff/landing pads, the unmanned aerial vehicle can be guided to land more reliably.
上記表示制御部が表示する画像により、上記無人航空機の着陸時に上記着陸環境情報が実質的にリアルタイムで更新されるとよい。このように上記表示制御部が表示する画像により、上記無人航空機の着陸時に上記着陸環境情報を実質的にリアルタイムで更新することにより、さらに着陸の位置精度を高められる。 The landing environment information may be updated substantially in real time when the unmanned aerial vehicle lands using the image displayed by the display control unit. In this way, by updating the landing environment information substantially in real time when the unmanned aerial vehicle lands using the image displayed by the display control unit, the accuracy of the landing position can be further improved.
上記表示制御部が表示する画像が、二次元バーコードを含むとよい。二次元バーコードは、伝達できる情報量が多く、かつ仕様が公開され汎用性が高い。このように上記表示制御部が表示する画像に二次元バーコードを含めることで、移動体及び無人航空機間で同時に多くの情報を伝達できるうえに、市販の情報変換プログラム等を利用できるので、当該飛行システムの開発及び製造コストを低減できる。なお、本明細書で「二次元バーコード」とは、QRコード(登録商標)を指す。以降、「二次元バーコード」を単に「QRコード」ともいう。 The image displayed by the display control unit preferably includes a two-dimensional barcode. Two-dimensional barcodes can transmit a large amount of information, and their specifications are open to the public, making them highly versatile. By including a two-dimensional barcode in the image displayed by the display control unit in this way, a large amount of information can be transmitted simultaneously between the moving object and the unmanned aerial vehicle. Flight system development and manufacturing costs can be reduced. In this specification, the term "two-dimensional barcode" refers to a QR code (registered trademark). Hereinafter, the "two-dimensional bar code" is also simply referred to as "QR code".
上記課題を解決するためになされた本発明の着陸制御方法は、カメラを有する無人航空機を、移動体が有する離着陸台に着陸させる着陸制御方法であって、上記離着陸台が、上空から識別可能な表示装置を有し、上記無人航空機のカメラが上記離着陸台の表示装置の画像を認識できる位置まで上記移動体が上記無人航空機を誘導するステップと、上記誘導ステップ後に、着陸環境情報を含む画像を上記表示装置に上記移動体が表示するステップと、上記誘導ステップ後に、上記表示装置に表示された画像を上記カメラにより上記無人航空機が取得するステップと、上記画像取得ステップで取得した画像の着陸環境情報に基づいて、上記無人航空機が着陸制御を行うステップとを備える。 A landing control method of the present invention, which has been made to solve the above problems, is a landing control method for landing an unmanned aerial vehicle having a camera on a takeoff/landing platform of a mobile object, wherein the takeoff/landing platform is identifiable from the sky. a step of guiding the unmanned aerial vehicle to a position where a camera of the unmanned aerial vehicle can recognize the image of the display device of the takeoff/landing platform by the moving body; a step of displaying the moving object on the display device; a step of obtaining, by the camera, the image displayed on the display device by the unmanned aerial vehicle after the guiding step; and a landing environment of the image obtained in the image obtaining step. and performing landing control by the unmanned aerial vehicle based on the information.
当該着陸制御方法では、無人航空機のカメラが離着陸台の表示装置の画像を認識できる位置まで移動体が上記無人航空機を誘導した後、着陸環境情報を含む画像を上記表示装置に上記移動体が表示する。また、当該着陸制御方法では、無人航空機は上記表示装置に表示された画像をカメラにより認識し、その画像から得られる着陸環境情報を利用して着陸制御を行う。当該着陸制御方法では、離着陸台の着陸環境の変化に合わせて画像を更新することができるので、その着陸環境変化に追従し易い。このため、当該着陸制御方法では、離着陸台の着陸環境の変化に合わせて更新された上記画像を適確に利用することができるので、無人航空機を容易に上記離着陸台へ着陸させることができる。さらに、当該着陸制御方法では、移動体及び無人航空機間の情報の伝達に画像を用いる。画像によるフィードバック制御は無線によるフィードバック制御よりも高速に行えるので、当該着陸制御方法を用いることで、無人航空機のきめ細かい飛行制御を可能とし、着陸の位置精度を高められる。 In the landing control method, after the moving body guides the unmanned aerial vehicle to a position where the camera of the unmanned aerial vehicle can recognize the image on the display device of the takeoff/landing pad, the moving body displays the image including the landing environment information on the display device. do. Further, in the landing control method, the unmanned aerial vehicle recognizes the image displayed on the display device with a camera, and performs landing control using landing environment information obtained from the image. With this landing control method, the image can be updated in accordance with changes in the landing environment of the takeoff/landing platform, so that changes in the landing environment can be easily followed. Therefore, in the landing control method, the image updated according to changes in the landing environment of the takeoff/landing pad can be used appropriately, so that the unmanned aerial vehicle can be easily landed on the takeoff/landing pad. Further, the landing control method uses images to convey information between the mobile object and the unmanned aerial vehicle. Feedback control using images can be performed at a higher speed than feedback control using radio, so by using the landing control method, detailed flight control of the unmanned aerial vehicle is possible, and the accuracy of the landing position can be improved.
ここで、「無人航空機」とは、人が搭乗せず、無線による遠隔操縦又は搭載コンピュータにあらかじめプログラムされたパターンで自律飛行をする航空機の総称であり、典型的には自律航法装置を備えた小型のマルチロータヘリコプタ(ドローン)を指す。また、「移動体」とは、陸地又は水上を自走可能な車両を指し、自動車、オートバイ、船舶等が含まれる。「上空」とは、地上の基準点から天頂となす角度が45度以内かつ基準点からの相対高度が5m以内の範囲を指すものとする。「実質的にリアルタイムで更新される」とは、所定の間隔をおいて更新作業を行う場合を含み、上記所定の間隔は、10分以下、好ましくは5分以下とされる。 Here, "unmanned aerial vehicle" is a general term for aircraft that fly autonomously by remote control by radio or patterns pre-programmed in the on-board computer without a human on board, typically equipped with an autonomous navigation device. A small multi-rotor helicopter (drone). A "moving body" refers to a vehicle capable of self-propelled on land or water, and includes automobiles, motorcycles, ships, and the like. The term “upper sky” refers to a range in which the angle between a reference point on the ground and the zenith is within 45 degrees and the relative altitude from the reference point is within 5 m. The phrase "substantially updated in real time" includes updating at predetermined intervals, and the predetermined interval is 10 minutes or less, preferably 5 minutes or less.
以上説明したように、本発明の飛行システム及び着陸制御方法は、無人航空機を容易かつ高い位置精度で、移動体に設けられた離着陸台へ着陸させることができる。 As described above, the flight system and landing control method of the present invention can land an unmanned aerial vehicle on a takeoff/landing platform provided on a mobile body easily and with high positional accuracy.
以下、本発明の一実施形態に係る飛行システム及び着陸制御方法について適宜図面を参照しつつ説明する。 Hereinafter, a flight system and a landing control method according to an embodiment of the present invention will be described with reference to the drawings as appropriate.
〔飛行システム〕
図1に示す飛行システムは、無人航空機1と、移動体である自動車2とを備える。無人航空機1は、また、自動車2は無人航空機1が離着陸可能な離着陸台3を有する。離着陸台3の設置位置は、無人航空機1が着陸可能であれば特に限定されず、図1に示すように自動車2のルーフや、荷台、ボンネット等適宜の位置とできる。また、離着陸台3の広さは、無人航空機1が着陸可能な大きさとされる。
[Flight system]
The flight system shown in FIG. 1 includes an unmanned
当該飛行システムでは、無人航空機1が自動車2の離着陸台3に搭載されて目的地まで運搬される。目的地に到着後、無人航空機1は離着陸台3から離陸し、所定の位置まで移動する。所定の位置まで移動した無人航空機1Aは、所定の活動、例えば配送、監視、農薬散布等を行う。その間、自動車2は移動している。所定の活動を終えた無人航空機1Aは、移動後の自動車2Bまで移動し、その離着陸台3へ着陸する。図1で無人航空機1Bは、離着陸台3へ着陸した状態を表している。
In this flight system, an unmanned
[無人航空機]
無人航空機1は、図2に示すように、記憶部11と、カメラ12と、画像認識部13と、センサ部14と、着陸制御部15と、機体制御用信号送受信部16と、映像データ用無線送受信部17と、通信制御部18とを備える。
[Unmanned aerial vehicles]
As shown in FIG. 2, the unmanned
<記憶部>
記憶部11は、各種情報を一時的あるいは恒久的に記憶する。記憶部11は、例えば半導体メモリ、固定ディスク、リムーバルディスク等で構成される。
<Memory unit>
The
記憶部11が記憶する情報としては、例えば無人航空機1(自機)のID情報、着陸すべき自動車2のID情報などを挙げることができる。また、例えば画像認識部13が画像処理を行う際、記憶部11は、その処理データを一時記憶するために用いてもよい。
Examples of information stored in the
<カメラ>
カメラ12は、図1に示すように、無人航空機1が着陸時に下方を撮像できるように設置されている。具体的な位置は特に限定されないが、例えば図1に示すように無人航空機1の胴体の下面にレンズが下方に向くように取り付けられている。
<Camera>
As shown in FIG. 1, the
カメラ12としては、無人航空機に搭載可能な公知のカメラを用いることができる。カメラ12は、例えば風景や地形の撮影、飛行時の周囲の監視等を行うカメラと共通としてもよい。
A known camera that can be mounted on an unmanned aerial vehicle can be used as the
カメラ12は、後述する離着陸台3の表示装置31に表示された着陸環境情報を含む画像を撮影することができる。撮影した画像は後述する通信制御部18を介して記憶部11に格納される。
The
<画像認識部>
画像認識部13は、表示装置31に表示された画像の着陸環境情報をカメラ12により認識する。この画像認識部13は、例えばCPU(Central Processing Unit)等の演算処理装置により構成することができる。上記演算処理装置として、DSP(Digital Signal Processor)等の画像処理専用のプロセッサを用いてもよい。
<Image recognition unit>
The
具体的には、画像認識部13は、記憶部11に格納されているカメラ12の撮影画像を後述する通信制御部18を介して読み出し、その画像に対して演算処理(いわゆる画像処理)を行うことで着陸環境情報を抽出する。抽出される着陸環境情報については、後述する。
Specifically, the
<センサ部>
センサ部14は、無人航空機1の位置や飛行状態等を検出するためのジャイロセンサ、速度センサ、航法センサ等の公知の機体センサを有する。
<Sensor part>
The
また、センサ部14は、無人航空機1の周辺の環境を測定する環境センサを備えてもよい。上記環境センサとしては、例えば無人航空機1から見た自動車2の相対運動(位置、速度や進行方向)を検出するセンサや、無人航空機1と離着陸台3との間の障害物等を検出するセンサを挙げることができる。無人航空機1は、離着陸台3に着陸するまでの間、離着陸台3とは高度差がある。特に高度差が大きい段階においては、地上にある離着陸台3とは風速や気流の方向が異なる。無人航空機1は飛行しているため、これら風速や気流により着陸のための飛行制御に誤差が生じ得るが、上記環境センサとして、自動車2の相対運動を検出する環境センサを備えることで、この誤差を補正し易くなる。また、障害物等を検出するセンサを備えることで、安全な着陸径路を探索し易くできる。
Moreover, the
<着陸制御部>
着陸制御部15は、画像認識部13、センサ部14、及び後述する機体制御用信号送受信部16等から得られる情報に基づき、飛行経路を決定し、安全に無人航空機1を離着陸台3へ着陸できるよう無人航空機1の姿勢や速度、進行方向を制御する。
<Landing control unit>
The
着陸制御部15は、飛行経路や無人航空機1の取るべき姿勢を算出する例えばCPU等の演算処理装置と、無人航空機1の飛行制御装置とにより構成される。上記演算処理装置は、例えば画像認識部13の演算処理装置など他に設けられている演算処理装置の一部又は全部を兼ねてもよいし、それぞれ独立に設けてもよい。無人航空機1の飛行制御装置は公知であるため、詳細説明を省略する。
The
<機体制御用信号送受信部>
機体制御用信号送受信部16は、自動車2と無人航空機1との間で機体制御用信号を送受信するためのアンテナである。
<Signal transmitting/receiving section for aircraft control>
The body control signal transmission/
上記機体制御用信号としては、無人航空機1が着陸を行う場合であれば、例えば無人航空機1から自動車2への着陸要求信号や、自動車2から無人航空機1への着陸許可信号など、公知の着陸動作に必要な信号が挙げられる。
If the unmanned
また、機体制御用信号送受信部16は、無人航空機1の位置情報を確認するためのGPS(Global Positioning System)衛星との通信を行うこともできるよう構成されている。
The aircraft control signal transmission/
<映像データ用無線送受信部>
映像データ用無線送受信部17は、カメラ12で撮影した映像データを自動車2へ送信し、また自動車2で撮影した映像データを受信するためのアンテナである。
<Wireless transmitter/receiver for video data>
The video data radio transmission/
この映像データ用無線送受信部17は、機体制御用信号送受信部16と兼ねて1つのアンテナとしてもよいが、データ送受信の効率化の観点から別に設けられることが好ましい。また、映像データ用無線送受信部17を別体とすることで、既存の無人航空機1に対して映像データ用無線送受信部17を取り付けることで容易に機能を追加できるので、当該飛行システムを実現し易いという利点もある。
The video data radio transmitting/receiving
<通信制御部>
通信制御部18は、機体制御用信号送受信部16及び映像データ用無線送受信部17で自動車2と通信を行うための変復調、符号化及び復号化を行うとともに、記憶部11、カメラ12、画像認識部13、センサ部14、着陸制御部15、機体制御用信号送受信部16及び映像データ用無線送受信部17の間でのデータのやり取りを制御する。
<Communication control unit>
The
この通信制御部18は、例えばCPU等の演算処理装置により構成することができる。上記演算処理装置は、例えば画像認識部13や着陸制御部15の演算処理装置など他に設けられている演算処理装置の一部又は全部を兼ねてもよいし、それぞれ独立に設けてもよい。
The
また、通信制御部18が自動車2と通信を行う回線は、特に限定されず公知の回線、例えばモバイルに用いられる3G帯や4G帯、WiFi(IEEE 802.11規格の無線LAN)、ITS(Intelligent Transport Systems:高度道路交通システムで利用されているDSRC(Dedicated Short Range Communications)などを利用することができる。
Also, the line through which the
[自動車]
自動車2は、無人航空機1を制御するための車載機4を備える。車載機4は、表示制御部40と、記憶部41と、カメラ42と、画像認識部43と、センサ部44と、距離方位演算部45と、コマンド生成部46と、機体制御用信号送受信部47と、映像データ用無線送受信部48と、通信制御部49とを有する。また、上述のように自動車2は、離着陸台3を備え、離着陸台3は表示装置31を有する。
[Automobile]
The
<表示制御部>
表示制御部40は、着陸環境情報を含む画像を表示装置31に表示する。具体的には、表示制御部40は、後述する離着陸台3の表示装置31に表示する画像情報データを作成し、表示装置31に送信する。この表示制御部40は、例えばCPU等の演算処理装置により構成することができる。
<Display control part>
The
<記憶部>
記憶部41は、各種情報を一時的あるいは恒久的に記憶する。記憶部41は、無人航空機1の記憶部11と同様に構成できる。
<Memory section>
The
記憶部41には、その領域の一部にデータベースが格納されていてもよい。このデータベースには、無人航空機1のIDや制御のためのシーケンス手順等の各種情報、HMI(Human Machine Interface)に必要な音声認識データなど格納され、複数種の無人航空機1の制御を実現したり、乗員からの声による指示を認識したりすることが可能とする。
A database may be stored in part of the area of the
<カメラ>
カメラ42は、自動車2の離着陸台3へ着陸体勢に入っている無人航空機1を自動車2側から撮影するために用いられる。
<Camera>
The
このカメラ42は、無人航空機1を撮影できる限り、その種類は特に限定されない。また、カメラ42は、無人航空機1を撮影できるように自動車2の上部、好ましくは離着陸台3に上空を撮影できるように設置される。
The type of the
カメラ42が撮影した画像は、後述する通信制御部49を介して記憶部41に格納される。
Images captured by the
<画像認識部>
画像認識部43は、上述のようにカメラ42で撮影された無人航空機1を認識する。この画像認識部43は、認識対象が無人航空機1である点を除き、無人航空機1の画像認識部13と同様に構成できる。
<Image recognition unit>
The
<センサ部>
センサ部44は、離着陸台3の位置、高度、風速及び照度、並びに自動車2の速度及び進行方向を取得するための測定装置等を有する。
<Sensor part>
The
離着陸台3の位置は、GPS衛星からの情報に基づいて取得可能である。離着陸台3の高度は、GPS衛星からの情報に基づいてもよいが、センサ部44として高度計を備えてもよい。離着陸台3の風速や照度は、センサ部44として風速計や照度計を備えることで取得できる。自動車2の速度は、自動車2が自走のために有する速度計を用いることで取得できる。自動車2の進行方向は、GPS衛星からの情報に基づいてもよいが、センサ部44として方位計を備えてもよい。
The position of the takeoff/
<距離方位演算部>
距離方位演算部45は、着陸体勢に入っている飛行中の無人航空機1と自動車2との距離と方位とを算出する。距離方位演算部45は、例えばCPU等の演算処理装置により構成することができる。この演算処理装置は、例えば画像認識部43の演算処理装置など他に設けられている演算処理装置の一部又は全部を兼ねてもよいし、それぞれ独立に設けてもよい。以下、演算処理装置で構成されるものについては、同様である。
<Distance and direction calculator>
The distance and
無人航空機1は比較的小さいため、距離方位を測定するための基点は、例えば無人航空機1の重心位置等で代表できる。一方、自動車2は比較的大きいため、距離方位を測定するための基点は、無人航空機1が実際に着陸する離着陸台3に設定することが好ましく、離着陸台3の中心付近(無人航空機1が実際に着陸する際の中心位置)に設定することがさらに好ましい。このように基点を決定することで、着陸に必要な距離及び方位の精度を高めることができる。
Since the unmanned
無人航空機1と自動車2との距離及び方位の算出は、カメラ42により撮影されたドローンの画像データとカメラ42の撮影方位とを用いて行うことができる。あるいは、無人航空機1から映像データ用無線送受信部17を介して送信されてくる画像データを用いてもよい。さらに、GPS衛星からの無人航空機1や自動車2の位置情報を用いることもできる。これらは単独で用いてもよいし、2つ以上を組み合わせて用いてもよい。組み合わせて用いることで、距離及び方位の算出精度を向上させることができる。
The distance and direction between the unmanned
<コマンド生成部>
コマンド生成部46は、離着陸台3の表示装置31に表示すべき着陸環境情報を含む情報の生成と、その情報に対応した無人航空機1への制御コマンドとを生成する。コマンド生成部46は、例えばCPU等の演算処理装置により構成することができる。
<Command generator>
The
上記着陸環境情報を含む情報は、後述する通信制御部49を介して表示制御部40へ送信され、表示制御部40により画像情報データが作成され、表示装置31に表示される。コマンド生成部46は、この着陸環境情報としてセンサ部44で取得した情報である離着陸台3の位置、高度、風速及び照度、並びに自動車2の速度及び進行方向を用いる。つまり、上記着陸環境情報は、離着陸台3の位置、高度、及び照度、並びに自動車2の速度及び進行方向のうちの少なくとも1つを含む。上記着陸環境情報として、これらのうちの少なくとも1つを含めることで、自動車2が移動することで変化し易い情報を無人航空機1の着陸制御に利用することができるので、着陸制御がさらに容易となるうえに、着陸の位置精度をさらに高められる。
Information including the landing environment information is transmitted to the
また、コマンド生成部46は、距離方位演算部45が算出した自動車2から見た無人航空機1の距離に応じて表示する画像の大きさを変えるように、表示装置31に対してコマンドを生成してもよい。具体的には、上記距離が大きいほど画像を大きくするとよい。このように上記距離に応じて画像の大きさを変えることで、着陸時の無人航空機1からの画像の視認性を高めることができる。また、上記距離が小さい場合に画像を小さくすることで、無人航空機1での画像の認識速度を向上できる。
Also, the
画像の大きさは上記距離に応じて連続的に変化させてもよいが、一定の距離ごとに段階的に画像の大きさを変えてもよい。段階的に画像の大きさを変える方法としては、例えば予め決定された上記距離の閾値に対し、上記距離が閾値を下回ると(上記距離が小さくなると)、画像の面積を1/4(長さを1/2)とする方法を挙げることができる。 The size of the image may be changed continuously according to the above distance, or the size of the image may be changed stepwise for each fixed distance. As a method for changing the size of the image stepwise, for example, when the distance falls below a predetermined distance threshold value (when the distance becomes smaller), the area of the image is reduced to 1/4 (length is 1/2).
コマンド生成部46は、無人航空機1の着陸時には、実質的にリアルタイムで表示装置31に表示すべき情報の生成を行う。コマンド生成部46からの情報に基づいて表示制御部40により画像情報データが作成され、表示装置31に表示されるから、表示制御部40が表示する画像により、無人航空機1の着陸時に上記着陸環境情報が実質的にリアルタイムで更新される。このように表示制御部40が表示する画像により、無人航空機1の着陸時に上記着陸環境情報を実質的にリアルタイムで更新することにより、さらに着陸の位置精度を高められる。
The
一方、上記制御コマンドは、通信制御部49を介して機体制御用信号送受信部47から無人航空機1へ送信される。無人航空機1へ送信された制御コマンドは、無人航空機1の機体制御用信号送受信部16で受信され、着陸制御部15へ送られる。なお、この制御コマンドは、主として機体制御用のコマンドであるが、他のコマンドを含んでもよい。
On the other hand, the control command is transmitted from the aircraft control signal transmission/
<機体制御用信号送受信部>
機体制御用信号送受信部47は、自動車2と無人航空機1との間で機体制御用信号を送受信するためのアンテナである。この機体制御用信号送受信部47は、無人航空機1の機体制御用信号送受信部16と同様に構成される。
<Signal transmitting/receiving section for aircraft control>
The body control signal transmission/
<映像データ用無線送受信部>
映像データ用無線送受信部48は、カメラ42で撮影した映像データを無人航空機1へ送信し、また無人航空機1で撮影した映像データを受信するためのアンテナである。この映像データ用無線送受信部48は、無人航空機1の映像データ用無線送受信部17と同様に構成される。
<Wireless transmitter/receiver for video data>
The video data wireless transmission/
<通信制御部>
通信制御部49は、機体制御用信号送受信部47及び映像データ用無線送受信部48で無人航空機1と通信を行うための変復調、符号化及び復号化を行うとともに、表示制御部40、記憶部41、カメラ42、画像認識部43、センサ部44、距離方位演算部45、コマンド生成部46、機体制御用信号送受信部47、及び映像データ用無線送受信部48の間でのデータのやり取りを制御する。
<Communication control unit>
The
この通信制御部49は、例えばCPU等の演算処理装置により構成することができる。また、通信を行う回線としては、無人航空機1の通信制御部18と対応する回線が用いられる。
The
<表示装置>
表示装置31は離着陸台3の上面側に配設されている。表示装置31を離着陸台3の最表面に配設し、表示装置31自体に無人航空機1を着陸させることもできるが、離着陸台3を表面がメッシュ状で、かつ表面側から流入する空気を側方へ流出する空気孔を有する中空板状の部材で構成し、表示装置31を上記部材の中空部で、空気の側方への流出を妨げない位置に配設することが好ましい。このような構成にあっては、無人航空機1は上記部材のメッシュ状部分に着陸する。無人航空機1は着陸時には下方に向かって強い気流を発生するが、この下方気流はメッシュを通過し、上記空気孔を介して側方へ流出する。このため、無人航空機1の着陸直前に発生し易い離着陸台3からの反射気流の影響を低減でき、無人航空機1の着陸制御の安定性を高められる。また、表示装置31を上記部材の中空部に配設することで、無人航空機1が直接着陸することがないため、表示装置31の故障や破損の発生を低減できる。なお、この構成では、メッシュの径は、表示装置31の表示を上空から識別可能な程度に粗くされる。
<Display device>
The
表示装置31としては、公知の液晶ディスプレイ等を用いることができるが、中でもフレキシブルディスプレイが好ましい。フレキシブルディプレイを用いることで、画像表示が必要な際に離着陸台3に適宜配設することができるので、不要時は格納することで表示装置31の故障や破損の発生を低減できる。また、フレキシブルディスプレイは薄いので、無人航空機1の着陸時の下方気流に影響を与え難い。
A known liquid crystal display or the like can be used as the
図4に表示装置31が表示する画像を例示する。図4の表示装置31が表示する画像は、ヘリポートマーク31aと、一対の着陸環境情報(QRコード31b)とを含む。
FIG. 4 illustrates an image displayed by the
ヘリポートマーク31aは、Hマークであり、本実施形態では、無人航空機1が着陸する目標となるマークとして用いられている。無人航空機1は、このヘリポートマーク31aの着陸中心点Mに向かって着陸する。
The
一対の着陸環境情報は、着陸中心点Mを中心に点対称に置かれている。一対の着陸環境情報の距離(着陸環境情報を表示する領域の中心間の距離)は、上空からその距離を識別可能な距離とされる。このように一対の着陸環境情報を構成することで、無人航空機1は一対の着陸環境情報を直線で結んだ線の中点を目指して降下することで、着陸中心点Mに着陸することができる。
A pair of landing environment information are placed point-symmetrically with the landing center point M as the center. The distance between a pair of landing environment information (the distance between the centers of the areas displaying the landing environment information) is a distance that can be identified from the sky. By configuring a pair of landing environment information in this way, the unmanned
一対の着陸環境情報は、図4ではQRコード31bとして表示されている。つまり、表示制御部40が表示する画像が、QRコード31bを含む。QRコード31bは、伝達できる情報量が多く、かつ仕様が公開され汎用性が高い。このように表示制御部40が表示する画像にQRコード31bを含めることで、自動車2及び無人航空機1の間で同時に多くの情報を伝達できるうえに、既存の情報変換プログラム等の資産を活用できるので、当該飛行システムの開発及び製造コストを低減できる。
A pair of landing environment information is displayed as a
QRコード31bには、その仕様からファインダーパターンA(位置検出用パターン)が、3コーナーに配置されている。例えば図4ではファインダーパターンAは、図4のQRコード31bの右下以外に配置されている。ここで、ファインダーパターンAを配置しない位置を例えば自動車2の進行方向に対して右後方と決めておけば、無人航空機1はQRコード31bのファインダーパターンAの位置を認識することで、自動車2の進行方向が図4の矢印の方向であることを読み取ることができる。なお、自動車2の進行方向を表示する方法は、これに限定されず、QRコード31bのデータ部のデータとして表示してもよい。
The
また、上記着陸環境情報には、離着陸台3の位置、高度、及び照度、並びに自動車2の速度が含まれ得るが、QRコード31bの場合、これらはデータ部のデータとして表示することができる。
The landing environment information may include the position, altitude, and illumination of the takeoff/
QRコード31bは数字で最大7089字の情報を格納できるので、必要に応じて他の情報を含めることも可能である。このような他の情報としては、自動車2のIDや着陸すべき無人航空機1のIDを挙げることができる。これらの情報はリアルタイムで変化する情報ではないが、表示装置31に直接表示し、無人航空機1側でIDを照合することで、例えば無人航空機1が誤った移動体へ着陸することを防止できる。
Since the
以下、図4に示す画像が表示される表示装置31をもとに説明するが、表示装置31が表示する画像等はこれに限定されるものではない。例えば、着陸環境情報はQRコード31bで表示されるものに限定されるものではなく、一部又は全部が他の表示方法で表示されるものであってもよい。ヘリポートマーク31aはHマークに限定されるものではなく、他の表示であってもよい。また、ヘリポートマーク31aは必ずしも表示装置31に表示される必要はなく、離着陸台3に直接描画しておくことも可能である。さらに、ヘリポートマーク31aは必須の表示ではなく省略することもできる。
The following description is based on the
<利点>
当該飛行システムでは、移動体である自動車2に設けられた離着陸台3が上空から識別可能な表示装置31を有し、着陸環境情報を含む画像を表示装置31に表示する。このため、当該飛行システムでは、離着陸台3の着陸環境の変化に合わせて画像を更新することができるので、その着陸環境変化に追従し易い。また、当該飛行システムでは、無人航空機1は表示装置31に表示された画像をカメラ12により認識し、その画像から得られる着陸環境情報を利用して着陸制御を行う。このため、離着陸台3の着陸環境の変化に合わせて更新された上記画像を適確に利用することができるので、無人航空機1を容易に離着陸台3へ着陸させることができる。さらに、当該飛行システムでは、自動車2及び無人航空機1間の情報の伝達に画像を用いる。画像によるフィードバック制御は無線によるフィードバック制御よりも高速に行えるので、当該飛行システムは、無人航空機1のきめ細かい飛行制御を可能とし、着陸の位置精度を高められる。
<Advantages>
In this flight system, a take-off/
〔着陸制御方法〕
次に、着陸制御方法について図5を用いて説明する。当該着陸制御方法は、当該飛行システムで用いられる。つまり、当該着陸制御方法は、カメラ12を有する無人航空機1を、移動体(自動車2)が有する離着陸台3に着陸させる着陸制御方法である。また、離着陸台3が、上空から識別可能な表示装置31を有している。
[Landing control method]
Next, the landing control method will be explained using FIG. The landing control method is used in the flight system. In other words, the landing control method is a landing control method for landing the unmanned
まず、当該着陸制御方法を用いる無人航空機1の飛行について簡単に説明する。無人航空機1は、配送システム、監視システム、農業支援などに用いられる。例えば監視システムとして、自動車2から無人航空機1を用いて自動車2の周囲の風景画像を取得する場合、無人航空機1は、自動車2を離陸し上昇後、自動車2の上空でホバリングする。次に、水平飛行により目的地へ速やかに移動後、目的地近傍の上空でホバリングしつつ、最終の撮影ポイントへ高度や位置を調整しながら比較的低速で移動する。撮影ポイントで風景画像を取得した後、再び水平飛行する高度に復帰し、着陸地近傍へ速やかに移動する。着陸地近傍に移動した後は、下降及び着陸を行う。なお、上述では撮影ポイントのみで撮影する場合で説明しているが、水平飛行中に画像取得することも可能である。
First, the flight of the unmanned
当該着陸制御方法は、水平飛行する高度に復帰した後、着陸地近傍へ速やかに移動し下降及び着陸を行う過程で用いられる。 This landing control method is used in the process of quickly moving to the vicinity of the landing site, descending, and landing after returning to a level flight altitude.
当該着陸制御方法は、図5に示すように、誘導ステップ(STEP1)と、画像表示ステップ(STEP2)と、画像取得ステップ(STEP3)と、着陸制御ステップ(STEP4)とを備える。 The landing control method includes, as shown in FIG. 5, a guidance step (STEP1), an image display step (STEP2), an image acquisition step (STEP3), and a landing control step (STEP4).
<誘導ステップ>
誘導ステップ(STEP1)では、無人航空機1のカメラ12が離着陸台3の表示装置31の画像を認識できる位置まで自動車2が無人航空機1を誘導する。
<Induction step>
In the guidance step (STEP 1 ), the
具体的には、自動車2の車載機4のコマンド生成部46が生成した着陸指示に関する制御コマンドを、機体制御用信号送受信部47を介して無人航空機1に送信する。この制御コマンドには、例えば自動車2のID(以下、「車両ID」)、無人航空機1のID(以下、「航空機ID」)、着陸地点位置、到着予定時間が含まれる。
Specifically, the control command related to the landing instruction generated by the
車両IDは、自動車2の固有IDであり無人航空機1はこの車両IDにより自機が着陸すべき自動車2を特定することができる。また、航空機IDは無人航空機1の固有IDであり、無人航空機1はこの航空機IDにより自機への制御コマンドであるか否かの認識をすることができる。
The vehicle ID is a unique ID of the
着陸地点位置は、無人航空機1の着陸を予定している地点であり、自動車2が無人航空機1を収容するための移動先でもある。この着陸地点位置は、GPSで規定される位置情報を用いてもよく、予め無人航空機1及び自動車2間で定められ、無人航空機1の記憶部11及び自動車2の記憶部41に格納されたスポット名を用いてもよい。また、到着予定時間は、自動車2が着陸地点位置への移動を完了する予測時間である。
The landing point position is a point where the unmanned
当該着陸制御方法では、無人航空機1の作業中に、無人航空機1が離着陸する自動車2が移動可能である。従って、無人航空機1を離陸させた位置と、着陸させる位置とが同一とは限らない。また、この制御コマンドを送信した時点で自動車2が、無人航空機1の着陸位置にいるとは限らない。このため、着陸地点位置及び到着予定時間の情報を無人航空機1との間で共有する必要がある。
In this landing control method, the
この着陸指示に関する制御コマンドについて、機体制御用信号送受信部16を介して受け取った無人航空機1は、通信制御部18で車両ID及び航空機IDを確認し、自機への指示であること及び着陸すべき自動車2及び自機の着陸地点位置を認識する。
When the unmanned
無人航空機1は、例えばセンサ部14の情報から取得した現在の自機位置及び着陸見込時間を車両ID及び航空機IDに加え、機体制御用信号送受信部16を介して自動車2へ送信する。例えば着陸見込時間は、現在の自機位置、着陸予定地点及び自機の予定飛行速度を用いて算出することができる。なお、これらの情報を自動車2へ送信することは必須ではなく、例えば着陸指示の制御コマンドを受信した旨の信号のみを送ってもよい。
The unmanned
これらの制御コマンドのやり取りを行った後、無人航空機1及び自動車2は上記着陸予定地点へ向かう。着陸地点位置及び到着予定時間等の情報は、移動中に変化し得る情報であるため、定期的に更新されてもよく、あるいは一定の変化が生じた際にその都度更新してもよい。この情報の更新は、誘導ステップ(STEP1)を再度行うことによりすることができる。
After exchanging these control commands, the unmanned
<画像表示ステップ>
画像表示ステップ(STEP2)では、誘導ステップ(STEP1)後に、着陸環境情報を含む画像を表示装置31に自動車2が表示する。
<Image display step>
In the image display step (STEP2), the
このステップは、自動車2及び無人航空機1が着陸地点位置に移動した後に行う。無人航空機1が着陸地点位置に移動しているか否かは、例えば誘導ステップ(STEP1)で無人航空機1から送信された到着予定時間をもとに判断してもよいし、自動車2のカメラ42で撮影された映像に無人航空機1が認められるか否かを画像認識部43により判断してもよい。あるいは、無人航空機1から映像データ用無線送受信部17を介して送信されてくる無人航空機1のカメラ12の画像データを用いて判断してもよい。
This step is performed after the
まず、自動車2は、車載機4のセンサ部44により離着陸台3の位置、高度、及び照度、並びに自動車2の速度及び進行方向を取得する。また、距離方位演算部45は、着陸体勢に入っている飛行中の無人航空機1と自動車2との距離と方位とをカメラ42から得られる情報等をもとに算出する。
First, the
離着陸台3の位置、高度、風速及び照度、並びに自動車2の速度及び進行方向と、無人航空機1と自動車2との距離及び方位は、表示制御部40を介して表示装置31に一対のQRコード31bとして表示される。一対のQRコード31bに表示される情報は、上記情報のうちの一部又は全部が重複表示されもよい。また、QRコード31bは、上記情報以外の情報、例えば車両IDや航空機IDを挙げることができる。
The position, altitude, wind speed and illuminance of the takeoff/
上記画像は、実質的にリアルタイムで更新されるとよい。つまり、表示制御部40が表示する画像により、無人航空機1の着陸時に上記着陸環境情報が実質的にリアルタイムで更新される。
The images may be updated substantially in real time. That is, the image displayed by the
<画像取得ステップ>
画像取得ステップ(STEP3)は、誘導ステップ(STEP1)後に、表示装置31に表示された画像をカメラ12により無人航空機1が取得する。
<Image acquisition step>
In the image acquisition step (STEP3), the unmanned
この画像取得ステップ(STEP3)は、画像表示ステップ(STEP2)の前から行われ、表示装置31に画像が表示されるまで待機していてもよいが、画像表示ステップ(STEP2)が行われてから開始してもよい。画像表示ステップ(STEP2)が行われたか否かは、例えば自動車2の表示制御部40から通信制御部49及び機体制御用信号送受信部47を介して、画像表示ステップ(STEP2)が行われているという情報を送信する方法を用いることができる。
This image acquisition step (STEP 3) may be performed before the image display step (STEP 2) and waits until the image is displayed on the
また、画像取得ステップ(STEP3)の開始を決定する別の方法としては、自機の位置と着陸地点位置との距離が一定距離以下(例えば5m以下)となった際に開始する方法が挙げられる。上記距離は平面視での距離でもよいが、実距離(高度差を考慮した実空間での距離)とすることが好ましい。着陸地点位置は地表であることが分かっているので、着陸地点位置での標高と、自機の高度とを加味することで、容易に実距離を算出できる。 Another method for determining the start of the image acquisition step (STEP 3) is a method of starting when the distance between the position of the aircraft and the position of the landing point becomes a certain distance or less (for example, 5 m or less). . The above distance may be a distance in plan view, but is preferably an actual distance (distance in real space considering altitude difference). Since it is known that the landing point position is on the ground surface, the actual distance can be easily calculated by adding the altitude at the landing point position and the altitude of the aircraft.
無人航空機1は、画像認識部13によりカメラ12で映像から着陸環境情報を抽出する。以下、その手順の例を示すが、この例に限定されるものではない。
The unmanned
(倍率調整)
無人航空機1は、まず着陸環境情報を好適に抽出できるようカメラ12の倍率を調整する。カメラ12の倍率を高めるほど着陸環境情報を抽出し易くなると考えられるが、一方倍率が高過ぎると、カメラ12の視野内に表示装置31が入りきらないおそれがある。このため、無人航空機1は、画像認識部13により認識される画像をもとに、必要な情報を全て取得可能な高倍率を選択するとよい。このようにカメラ12の倍率を調整することで、画像認識を容易に行えるようになるので、認識処理時間を小さくすることができ、精度の高い着陸制御を可能とする。
(magnification adjustment)
The unmanned
(実距離の算出)
カメラ12で撮影された映像内の距離と実空間での距離は異なるため、まず映像と実空間との距離の倍率を算出する。具体的な算出方法ついて、無人航空機1のカメラ12から離着陸台3を撮影している図6を用いて説明する。無人航空機1のカメラ12の視野角θは既知であり、選択された倍率により決まる。また、無人航空機1のカメラ12に撮影される画像Sの大きさ(例えば図6のL)も既知である。この場合、着陸環境情報として送信されてくるQRコード31bに含まれる離着陸台3の高度と自機の高度との差(図6のH)を用いて、無人航空機1のカメラ12の画像に対する実空間の倍率は、H×tan(θ/2)/Lで算出できる。この倍率を用いて、カメラ12で撮影された画像上の距離を実空間の距離に変換する。
(Calculation of actual distance)
Since the distance in the image captured by the
(ID照合)
QRコード31bに車両IDや航空機IDの情報が含まれる場合、画像認識部13は、この車両ID及び航空機IDの情報から、自機が着陸すべき対象であるか否かを照合する。照合できない場合は、例えば自動車2の車載機4と通信することで、誘導ステップ(STEP1)を再実行し、正しい着陸場所へ移動する。照合できた場合は、着陸環境情報の抽出を継続する。
(ID verification)
If the
(無人航空機と自動車との距離及び方位)
無人航空機1と離着陸台3の着陸中心点Mとの距離及び方位は、無人航空機1のカメラ12により撮影された映像に基づいた画像解析により算出する。この算出において、着陸環境情報として送信されてくるQRコード31bに含まれる離着陸台3の照度を用い、カメラ12の映像を調整することで、着陸中心点Mの認識精度を高めることができる。また、自動車2の基準点を特定するため、着陸環境情報として送信されてくるQRコード31bに含まれる離着陸台3の位置を用いる。さらに、着陸環境情報として送信されてくるQRコード31bに含まれる離着陸台3の風速により着陸地点の実際の風速に基づいた着陸態勢の微修正を行うことができる。
(Distance and direction between unmanned aerial vehicles and automobiles)
The distance and azimuth between the unmanned
無人航空機1と自動車2との距離及び方位は、無人航空機1のカメラ12により撮影された映像のみで算出することもできるが、大気の状態等により誤差が生じる場合がある。着陸環境情報として送信されてくるQRコード31bに含まれる自動車2側から測定した無人航空機1と自動車2との距離及び方位の情報を参照することで、この誤差を低減する。これにより無人航空機1の着陸精度を向上させることができる。
The distance and azimuth between the unmanned
(自動車の速度及び進行方向)
自動車2の速度及び進行方向は、無人航空機1のカメラ12の映像の経時変化から求めることもできるが、着陸環境情報として送信されてくるQRコード31bに含まれる自動車2の速度及び進行方向を用いることで、その精度を高めることができる。
(Vehicle speed and direction of travel)
The speed and direction of movement of the
<着陸制御ステップ>
着陸制御ステップ(STEP4)では、画像取得ステップ(STEP3)で取得した画像の着陸環境情報に基づいて、無人航空機1が着陸制御を行う。
<Landing control step>
In the landing control step (STEP4), the unmanned
図5に示すように、無人航空機1が着陸体勢に入った段階では、その位置は必ずしも離着陸台3の着陸中心点Mの直上にあるとは限らない。また、無人航空機1の姿勢も自動車2の進行方向に対して適切な姿勢となっているとは限らない。着陸制御ステップ(STEP4)では、無人航空機1の位置や姿勢を制御しつつ降下を行う。
As shown in FIG. 5 , when the unmanned
(姿勢の制御)
図4に示すように、表示装置31では一対のQRコード31b(着陸環境情報)が着陸中心点Mを中心に点対象に配置されている。このQRコード31bを結ぶ直線が自動車2の進行方向に対してなす角度は常に一定であるので、自機から見た上記直線の角度が所定の角度となるように姿勢を制御することで、自動車2の進行方向に対して適切な姿勢とすることができる。なお、上記所定の角度は既知であるので、例えば自動車2の車載機4から機体制御用信号送受信部47を介して送信する方法や、予め無人航空機1の記憶部11に格納しておく方法を用いることで、無人航空機1は参照することができる。
(Posture control)
As shown in FIG. 4, on the
(着陸位置の制御)
上述のように一対のQRコード31bを結ぶ線分の2等分点が着陸中心点Mとなるので、一対のQRコード31bを結ぶ線分の2等分点の直上に移動するように無人航空機1を制御するとよい。この際、自動車2の速度及び進行方向の補正も併せて行うとよい。また、無人航空機1のセンサ部14から得られる風速や気流等の影響を考慮するとよい。これらを考慮することで、着陸精度を高めることができる。
(Control of landing position)
As described above, the bisector of the line segment connecting the pair of
着陸の制御は、実距離で行う必要があるが、カメラ12の映像から得られる距離を画像取得ステップ(STEP3)で算出した倍率に従って補正することで、実距離での制御が可能となる。具体的な制御は、無人航空機1の着陸制御部15を用いて、公知の手法で行うことができる。
Landing control must be performed at the actual distance, but by correcting the distance obtained from the image of the
また、必要に応じて自動車2の乗員が適切な指示を与えてもよい。このような指示を与える方法としてはHMIによる音声入力が好適である。緊急時に速やかに指示を出すことができる。
Also, the occupant of the
なお、画像取得ステップ(STEP3)及び着陸制御ステップ(STEP4)は一度の実行で無人航空機1を着陸させてもよいが、画像取得ステップ(STEP3)及び着陸制御ステップ(STEP4)を繰り返し行いつつ、無人航空機1を着陸させることが好ましい。このように繰り返し行うことで、無人航空機1の着陸精度をさらに高められる。画像取得ステップ(STEP3)及び着陸制御ステップ(STEP4)を繰り返し行う場合の繰り返しは、画像表示ステップ(STEP2)の更新と同期するように制御してもよいが、画像表示ステップ(STEP2)の更新とは非同期であってもよい。
Note that the image acquisition step (STEP3) and the landing control step (STEP4) may land the unmanned
<利点>
当該着陸制御方法では、無人航空機1のカメラ12が離着陸台3の表示装置31の画像を認識できる位置まで移動体である自動車2が無人航空機1を誘導した後、着陸環境情報を含む画像を表示装置31に自動車2が表示する。また、当該着陸制御方法では、無人航空機1は表示装置31に表示された画像をカメラ12により認識し、その画像から得られる着陸環境情報を利用して着陸制御を行う。当該着陸制御方法では、離着陸台3の着陸環境の変化に合わせて画像を更新することができるので、その着陸環境変化に追従し易い。このため、当該着陸制御方法では、離着陸台3の着陸環境の変化に合わせて更新された上記画像を適確に利用することができるので、無人航空機1を容易に離着陸台3へ着陸させることができる。さらに、当該着陸制御方法では、自動車2及び無人航空機1間の情報の伝達に画像を用いる。画像によるフィードバック制御は無線によるフィードバック制御よりも高速に行えるので、当該着陸制御方法を用いることで、無人航空機1のきめ細かい飛行制御を可能とし、着陸の位置精度を高められる。
<Advantages>
In the landing control method, after the
[その他の実施形態]
上記実施形態は、本発明の構成を限定するものではない。従って、上記実施形態は、本明細書の記載及び技術常識に基づいて上記実施形態各部の構成要素の省略、置換又は追加が可能であり、それらは全て本発明の範囲に属するものと解釈されるべきである。
[Other embodiments]
The above embodiments do not limit the configuration of the present invention. Therefore, in the above embodiment, the components of each part of the above embodiment can be omitted, replaced, or added based on the description of the present specification and common general technical knowledge, and all of them are interpreted as belonging to the scope of the present invention. should.
上記実施形態では、移動体が自動車である場合を説明したが、移動体は自動車に限定されない。上記移動体は、陸地又は水上を自走可能な車両であればよく、例えば自動車、オートバイ、船舶等であってもよい。 In the above embodiment, the mobile object is an automobile, but the mobile object is not limited to an automobile. The mobile body may be a vehicle capable of self-propelled on land or water, such as an automobile, a motorcycle, or a ship.
上記実施形態では、無人航空機が映像データ用無線送受信部を備える場合を説明したが、例えば自動車で撮影した映像データがない、あるいは無人航空機側で利用しない場合は、送信機能のみを有するものであってもよい。同様に、受信機能のみを有するものであってもよく、さらには映像データ用無線送受信部を備えないものであってもよい。 In the above embodiment, the case where the unmanned aerial vehicle is equipped with a radio transmitting/receiving unit for video data has been described. may Similarly, it may have only a reception function, or may not have a wireless transmission/reception unit for video data.
また、上記実施形態では、自動車がカメラを有する車載機を備える場合を説明したが、自動車のカメラは必須の構成要素ではなく、省略してもよい。自動車のカメラで撮影した画像に代えて、無人航空機のカメラから送信されてくる画像のみを用いて、無人航空機と自動車との距離を算出してもよい。なお、自動車がカメラを有さない場合、画像認識部も省略可能である。 Further, in the above embodiment, the description has been given of the case where the vehicle is equipped with an in-vehicle device having a camera, but the camera of the vehicle is not an essential component and may be omitted. The distance between the unmanned aerial vehicle and the automobile may be calculated using only the image transmitted from the camera of the unmanned aerial vehicle instead of the image captured by the camera of the vehicle. Note that if the vehicle does not have a camera, the image recognition section can also be omitted.
上記実施形態では、無人航空機及び自動車がGPS衛星と通信を行える構成を有する場合を説明したが、本発明はGPS衛星との通信を行わない飛行システムにも適用可能である。このような飛行システムとしては、例えば無人航空機が自動車から発信される電波を受信することで、自動車の位置(方位や距離)を認識しつつ飛行するシステムを挙げることができる。 In the above embodiments, the case where the unmanned aerial vehicle and the automobile are configured to communicate with GPS satellites has been described, but the present invention is also applicable to flight systems that do not communicate with GPS satellites. As such a flight system, for example, there is a system in which an unmanned aerial vehicle flies while recognizing the position (azimuth and distance) of a vehicle by receiving radio waves emitted from the vehicle.
上記実施形態では、自動車のセンサ部が離着陸台の位置、高度、風速及び照度、並びに自動車の速度及び進行方向を取得し、着陸環境情報としてこれらの情報全てを離着陸台の表示装置に表示する場合を説明したが、上記表示装置に表示する着陸環境情報は、これらの情報の一部であってもよい。なお、着陸環境情報として、離着陸台の位置、高度、風速及び照度、並びに自動車の速度及び進行方向の一部又は全部を着陸環境情報として使用しない場合、使用しない情報に該当するセンサは省略することができる。 In the above embodiment, the sensor unit of the vehicle acquires the position, altitude, wind speed and illuminance of the takeoff/landing pad, as well as the speed and traveling direction of the vehicle, and displays all of these information on the display device of the takeoff/landing pad as the landing environment information. , the landing environment information displayed on the display device may be part of this information. If the position, altitude, wind speed and illuminance of the takeoff/landing pad, and the speed and direction of travel of the vehicle are not used as landing environment information in part or in whole, the sensors corresponding to the information not used shall be omitted. can be done.
上記実施形態では、距離方位演算部により算出された無人航空機と自動車との距離と方位とを、着陸環境情報として画像に表示する場合を説明したが、無人航空機と自動車との距離と方位との表示は必須ではなく、省略可能である。 In the above embodiment, the case where the distance and bearing between the unmanned aerial vehicle and the automobile calculated by the distance and bearing calculation unit is displayed in the image as the landing environment information has been described. Display is optional and optional.
当該飛行システムで、無人航空機と移動体とは一対一で対応する必要はなく、いずれか一方又は両方が複数であってもよい。例えば複数の無人航空機と複数の移動体とを有する飛行システムである場合にあっては、個々の無人航空機は、自身の識別子により移動体からの制御コマンドの有効性(自己の無人航空機への制御であること)を判断できる。また、移動体からは、自身の識別子と対象となる無人航空機の識別子の組合せにより、個別の無人航空機を自身の移動体へ着陸するように誘導することができる。なお、複数の移動体から同一の無人航空機に対して矛盾する制御コマンドが送信され得るが、このような事態は複数の移動体間の通信制御を行うことが回避できる。あるいは、複数の無人航空機の集合体と複数の移動体の集合体を予め準備し、それぞれから選択した任意の1機の無人航空機と1台の移動体とを組み合わせて当該飛行システムを構成してもよい。このように組み合わせて当該飛行システムを構成する方法によっても複数の移動体から同一の無人航空機に対して矛盾する制御コマンドが送信されることを回避し得る。 In the flight system, the unmanned aerial vehicle and the mobile object do not need to correspond one-to-one, and one or both of them may be plural. For example, in the case of a flight system having multiple unmanned aerial vehicles and multiple moving bodies, each unmanned aerial vehicle uses its own identifier to determine the validity of a control command from the moving body (control of own unmanned aerial vehicle). ) can be determined. Further, from the mobile object, it is possible to guide an individual unmanned aerial vehicle to land on its own mobile object by combining its own identifier and the identifier of the target unmanned aerial vehicle. Although conflicting control commands may be transmitted from a plurality of moving bodies to the same unmanned aerial vehicle, such a situation can be avoided by performing communication control between the plurality of moving bodies. Alternatively, a group of a plurality of unmanned aerial vehicles and a group of a plurality of moving bodies are prepared in advance, and an arbitrary one unmanned aerial vehicle and one moving body selected from each are combined to configure the flight system. good too. This method of configuring the flight system in combination also makes it possible to avoid transmission of contradictory control commands from a plurality of moving bodies to the same unmanned aerial vehicle.
上記実施形態では、移動体が1つの離着陸台を有する場合を説明したが、移動体が複数の離着陸台を有する場合も本発明の意図するところである。このような移動体にあっては、1台の移動体に対して複数機の無人航空機を同時にあるいは時間差をおいて次々と着陸させることができる。このような構成では、狭い範囲に複数の離着陸台が存在することとなるため、個々の無人航空機に対しどの離着陸台に着陸すべきか適確に制御できるよう離着陸台識別子を用いるとよい。つまり、個々の離着陸台に対し異なる離着陸台識別子を付与し、この離着陸台識別により個々の離着陸台を区別する。無人航空機は、移動体からの制御コマンドにより着陸すべき離着陸台の離着陸台識別を取得し、指定された離着陸台識別を有する離着陸台に着陸する。このとき、それぞれの離着陸台の表示装置に着陸台識別子が表示されるとよい。このように離着陸台の表示装置に着陸台識別子が表示されることで、無人航空機はその画像から実際に着陸しようとしている離着陸台が正しいものであることを容易に認識できるので、より確実に無人航空機の着陸誘導ができる。 In the above embodiment, the case where the moving object has one takeoff/landing pad has been described, but the present invention also intends for the case where the moving object has a plurality of takeoff/landing pads. In such a mobile body, a plurality of unmanned aerial vehicles can be landed on one mobile body at the same time or one after another with a time lag. In such a configuration, a plurality of takeoff and landing pads exist within a narrow range, so it is preferable to use takeoff and landing pad identifiers so that it is possible to accurately control which takeoff and landing pad each individual unmanned aerial vehicle should land on. In other words, a different takeoff/landing pad identifier is given to each takeoff/landing pad, and each takeoff/landing pad is distinguished by this takeoff/landing pad identifier. The unmanned aerial vehicle acquires the takeoff/landing pad identification of the takeoff/landing pad to land by a control command from the mobile body, and lands on the takeoff/landing pad having the specified takeoff/landing pad identification. At this time, it is preferable that the landing pad identifier is displayed on the display device of each takeoff/landing pad. By displaying the landing pad identifier on the display device of the takeoff and landing pad in this way, the unmanned aerial vehicle can easily recognize from the image that it is the correct takeoff and landing pad that it is actually going to land on. Aircraft can be guided to land.
以上説明したように、本発明の飛行システム及び着陸制御方法は、無人航空機を容易かつ高い位置精度で、移動体に設けられた離着陸台へ着陸させることができる。 As described above, the flight system and landing control method of the present invention can land an unmanned aerial vehicle on a takeoff/landing platform provided on a mobile body easily and with high positional accuracy.
1、1A、1B 無人航空機
11 記憶部
12 カメラ
13 画像認識部
14 センサ部
15 着陸制御部
16 機体制御用信号送受信部
17 映像データ用無線送受信部
18 通信制御部
2、2B 自動車
3 離着陸台
31 表示装置
31a ヘリポートマーク
31b QRコード
4 車載機
40 表示制御部
41 記憶部
42 カメラ
43 画像認識部
44 センサ部
45 距離方位演算部
46 コマンド生成部
47 機体制御用信号送受信部
48 映像データ用無線送受信部
49 通信制御部
M 着陸中心点
A ファインダーパターン
S 画像
L 画像の大きさ
H 高度差
1, 1A, 1B Unmanned
Claims (7)
上記無人航空機が離着陸可能な離着陸台を有する移動体と
を備え、
上記離着陸台が、上空から識別可能な表示装置を有し、
上記移動体が、
着陸環境情報を含む画像を上記表示装置に表示する表示制御部を有し、
上記無人航空機が、
カメラと、
上記表示装置に表示された画像の着陸環境情報を上記カメラにより認識する画像認識部と、
上記画像認識部が取得した着陸環境情報に基づいて着陸制御を行う着陸制御部と
を有し、
上記移動体の進行方向に対して上記無人航空機を適切な姿勢とできるように、上記着陸環境情報が、上記移動体の速度及び進行方向を含み、
上記移動体から見た上記無人航空機の距離に応じて表示する画像の大きさが変化する飛行システム。 an unmanned aerial vehicle and
a mobile body having a takeoff and landing platform on which the unmanned aerial vehicle can take off and land;
The takeoff and landing platform has a display device that can be identified from the sky,
The moving body
Having a display control unit for displaying an image including landing environment information on the display device,
The unmanned aerial vehicle
camera and
an image recognition unit that uses the camera to recognize landing environment information in the image displayed on the display device;
a landing control unit that performs landing control based on the landing environment information acquired by the image recognition unit;
wherein the landing environment information includes the speed and direction of travel of the mobile body so that the unmanned aerial vehicle can take an appropriate attitude with respect to the direction of travel of the mobile body;
A flight system in which the size of the displayed image changes according to the distance of the unmanned aerial vehicle from the moving object.
それぞれの上記離着陸台の表示装置に離着陸台識別子が表示される請求項1から請求項4のいずれか1項に記載の飛行システム。 the moving object has a plurality of takeoff/landing platforms,
5. A flight system according to any one of claims 1 to 4, wherein a platform identifier is displayed on the display device of each platform.
上記離着陸台が、上空から識別可能な表示装置を有し、
上記無人航空機のカメラが上記離着陸台の表示装置の画像を認識できる位置まで上記移動体が上記無人航空機を誘導するステップと、
上記誘導ステップ後に、着陸環境情報を含む画像を上記表示装置に上記移動体が表示するステップと、
上記誘導ステップ後に、上記表示装置に表示された画像を上記カメラにより上記無人航空機が取得するステップと、
上記画像取得ステップで取得した画像の着陸環境情報に基づいて、上記無人航空機が着陸制御を行うステップと
を備え、
上記移動体の進行方向に対して上記無人航空機を適切な姿勢とできるように、上記着陸環境情報が、上記移動体の速度及び進行方向を含み、
上記移動体から見た上記無人航空機の距離に応じて表示する画像の大きさが変化する着陸制御方法。
A landing control method for landing an unmanned aerial vehicle having a camera on a takeoff/landing platform of a mobile object,
The takeoff and landing platform has a display device that can be identified from the sky,
the moving body guiding the unmanned aerial vehicle to a position where the camera of the unmanned aerial vehicle can recognize the image of the display device of the takeoff/landing platform;
a step of causing the moving object to display an image including landing environment information on the display device after the guidance step;
After the guiding step, the unmanned aerial vehicle acquires an image displayed on the display device by the camera;
a step of performing landing control of the unmanned aerial vehicle based on the landing environment information of the image acquired in the image acquisition step;
wherein the landing environment information includes the speed and direction of travel of the mobile body so that the unmanned aerial vehicle can take an appropriate attitude with respect to the direction of travel of the mobile body;
A landing control method in which a size of an image to be displayed is changed according to a distance of the unmanned aerial vehicle from the moving body.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049140A JP7190699B2 (en) | 2019-03-15 | 2019-03-15 | Flight system and landing control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049140A JP7190699B2 (en) | 2019-03-15 | 2019-03-15 | Flight system and landing control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020149640A JP2020149640A (en) | 2020-09-17 |
JP7190699B2 true JP7190699B2 (en) | 2022-12-16 |
Family
ID=72430666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019049140A Active JP7190699B2 (en) | 2019-03-15 | 2019-03-15 | Flight system and landing control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7190699B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7174748B2 (en) * | 2020-12-18 | 2022-11-17 | 楽天グループ株式会社 | Travel control system, control method, and control device |
KR102441563B1 (en) * | 2021-01-08 | 2022-09-07 | 아주대학교산학협력단 | Apparatus and method for controlling landing based on image learning |
JP7561731B2 (en) * | 2021-12-27 | 2024-10-04 | 三菱重工業株式会社 | Automatic take-off and landing system for vertical take-off and landing aircraft, vertical take-off and landing aircraft, and take-off and landing control method for vertical take-off and landing aircraft |
WO2024069700A1 (en) * | 2022-09-26 | 2024-04-04 | 株式会社Subaru | Land and air moving body |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017010445A (en) | 2015-06-25 | 2017-01-12 | 三菱自動車工業株式会社 | Driving support control device |
CN106527487A (en) | 2016-12-23 | 2017-03-22 | 北京理工大学 | Autonomous precision landing system of unmanned aerial vehicle on motion platform and landing method |
WO2017198696A2 (en) | 2016-05-18 | 2017-11-23 | Unmanned Systems Ltd. | Intelligent autonomous drone fleet management |
US20180130008A1 (en) | 2016-11-06 | 2018-05-10 | Yan Liu | System and Method for Aerial Vehicle Automatic Landing and Cargo Delivery |
US20180173245A1 (en) | 2015-03-27 | 2018-06-21 | Planck Aerosystems Inc. | Unmanned aircraft navigation system and method |
US20180251234A1 (en) | 2014-05-30 | 2018-09-06 | SZ DJI Technology Co., Ltd. | Systems and methods for uav docking |
JP2019031164A (en) | 2017-08-07 | 2019-02-28 | 日本電気株式会社 | Taking-off/landing device, control method of taking-off/landing device, and program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170027618A (en) * | 2015-09-02 | 2017-03-10 | 옥윤선 | System with drone apparatus for vehicle, method for providing inside and outside information of vehicle based on the same |
-
2019
- 2019-03-15 JP JP2019049140A patent/JP7190699B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180251234A1 (en) | 2014-05-30 | 2018-09-06 | SZ DJI Technology Co., Ltd. | Systems and methods for uav docking |
US20180173245A1 (en) | 2015-03-27 | 2018-06-21 | Planck Aerosystems Inc. | Unmanned aircraft navigation system and method |
JP2017010445A (en) | 2015-06-25 | 2017-01-12 | 三菱自動車工業株式会社 | Driving support control device |
WO2017198696A2 (en) | 2016-05-18 | 2017-11-23 | Unmanned Systems Ltd. | Intelligent autonomous drone fleet management |
US20180130008A1 (en) | 2016-11-06 | 2018-05-10 | Yan Liu | System and Method for Aerial Vehicle Automatic Landing and Cargo Delivery |
CN106527487A (en) | 2016-12-23 | 2017-03-22 | 北京理工大学 | Autonomous precision landing system of unmanned aerial vehicle on motion platform and landing method |
JP2019031164A (en) | 2017-08-07 | 2019-02-28 | 日本電気株式会社 | Taking-off/landing device, control method of taking-off/landing device, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2020149640A (en) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7190699B2 (en) | Flight system and landing control method | |
AU2021202509B2 (en) | Image based localization for unmanned aerial vehicles, and associated systems and methods | |
EP3077879B1 (en) | Imaging method and apparatus | |
CN108255190B (en) | Accurate landing method based on multiple sensors and tethered unmanned aerial vehicle using same | |
CN112506212A (en) | System and method for calculating flight control for vehicle landing | |
KR101798996B1 (en) | Method for calculating relative position of the vertical take-off and landing UAV and landing guide system for the UAV using the method | |
EP3077760B1 (en) | Payload delivery | |
CN111465556B (en) | Information processing system, information processing method, and computer-readable storage medium | |
EP3077880B1 (en) | Imaging method and apparatus | |
US10642284B1 (en) | Location determination using ground structures | |
JP6934116B1 (en) | Control device and control method for controlling the flight of an aircraft | |
CN113156998A (en) | Unmanned aerial vehicle flight control system and control method | |
WO2015082594A1 (en) | Determining routes for aircraft | |
JP6701153B2 (en) | Position measurement system for moving objects | |
US20240069214A1 (en) | Navigation Using Self-Describing Fiducials | |
JP2020135327A (en) | Flight body system, flight body, position measuring method and program | |
GB2522328A (en) | Payload delivery | |
EP2881827A1 (en) | Imaging method and apparatus | |
EP2881697A1 (en) | Capturing and processing images | |
JP6393157B2 (en) | Spacecraft search and recovery system | |
JP2023175386A (en) | flight system | |
JP7228077B1 (en) | Control device, control method, and unmanned aerial vehicle search system | |
RU2722599C1 (en) | Method for correcting strapdown inertial navigation system of unmanned aerial vehicle of short range using intelligent system of geospatial information | |
CN113079698B (en) | Control device and control method for controlling flight of aircraft | |
EP2881826A1 (en) | Imaging method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210517 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210517 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7190699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |