Nothing Special   »   [go: up one dir, main page]

JP6878567B2 - ３次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体 - Google Patents

３次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体 Download PDF

Info

Publication number
JP6878567B2
JP6878567B2 JP2019502400A JP2019502400A JP6878567B2 JP 6878567 B2 JP6878567 B2 JP 6878567B2 JP 2019502400 A JP2019502400 A JP 2019502400A JP 2019502400 A JP2019502400 A JP 2019502400A JP 6878567 B2 JP6878567 B2 JP 6878567B2
Authority
JP
Japan
Prior art keywords
flight
subject
altitude
range
radius
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019502400A
Other languages
English (en)
Other versions
JPWO2018158927A1 (ja
Inventor
磊 顧
磊 顧
斌 陳
斌 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JPWO2018158927A1 publication Critical patent/JPWO2018158927A1/ja
Application granted granted Critical
Publication of JP6878567B2 publication Critical patent/JP6878567B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/242—Means based on the reflection of waves generated by the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G05D1/46—Control of position or course in three dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/689—Pointing payloads towards fixed or moving targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/80—Specific applications of the controlled vehicles for information gathering, e.g. for academic research
    • G05D2105/89—Specific applications of the controlled vehicles for information gathering, e.g. for academic research for inspecting structures, e.g. wind mills, bridges, buildings or vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/20—Aircraft, e.g. drones
    • G05D2109/25—Rotorcrafts
    • G05D2109/254—Flying platforms, e.g. multicopters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G05D2111/17—Coherent light, e.g. laser signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Description

本開示は、飛行体により撮像された被写体の３次元形状を推定する３次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体に関する。
撮影機器を搭載し、予め設定された固定経路を飛行しながら撮影を行うプラットフォーム（例えば無人飛行体）が知られている（例えば特許文献１参照）。このプラットフォームは、地上基地から飛行経路や撮影指示等の命令を受け、その命令に従って飛行し、撮影を行って取得画像を地上基地に送る。プラットフォームは、撮影対象を撮影する場合、設定された固定経路を飛行しながら、プラットフォームと撮影対象との位置関係に基づいて、プラットフォームの撮像機器を傾斜して撮像する。
また従来、空中を飛行する無人飛行体（例えばＵＡＶ：Unmanned Aerial Vehicle）により撮影された空中写真等の撮像画像に基づいて、建物等の被写体の３次元形状を推定することも知られている。無人飛行体による撮影（例えば空撮）を自動化するために、予め無人飛行体の飛行経路を生成する技術が用いられる。従って、無人飛行体を用いて建物等の被写体の３次元形状を推定するためには、予め生成した飛行経路に従って無人飛行体を飛行させ、無人飛行体が飛行経路中の異なる撮像位置において撮影した被写体の撮像画像を複数取得する必要がある。
日本国特開２０１０−６１２１６号公報
無人飛行体により推定される建物等の被写体の形状が比較的簡単（例えば円柱状）であれば被写体の高度による形状の変化が殆ど無く、無人飛行体は、固定の飛行中心から固定の飛行半径で円周方向に円旋回飛行して高度を変えながら被写体を撮影すればよい。これにより、無人飛行体から被写体までの距離を高度に拘わらずに適正に保てるので、無人飛行体に設定された所望解像度を満たした被写体の撮影ができ、その撮影により得られた撮像画像に基づく被写体の３次元形状の推定が可能となる。
しかし、建物等の被写体の形状が高度によって変化する複雑な形状（例えば斜円柱状、又は錐体）であると、高さ方向における被写体の中心が一定とならず、更に、無人飛行体の飛行時の飛行半径も一定とならない。従って、特許文献１を含む従来技術では、無人飛行体により撮影された撮像画像の解像度が被写体の高度によってばらついて低下する場合があり、その撮影により得られた撮像画像に基づく被写体の３次元形状の推定が困難となる可能性があった。また、高度によって被写体の形状が変化するので、事前の無人飛行体の飛行経路の生成も容易ではなく、無人飛行体が飛行時に建物等の被写体に衝突する可能性もあった。
一態様において、３次元形状推定方法は、設定された飛行高度毎の飛行範囲の飛行中に、飛行体により被写体の情報を取得するステップと、
取得された前記被写体の情報に基づいて、前記被写体の３次元形状を推定するステップと、を有する。
３次元形状推定方法は、被写体の高さに応じて、被写体の周囲を飛行する飛行体の飛行範囲を飛行高度毎に設定するステップを更に有してよい。
飛行範囲を設定するステップは、飛行体の現在の飛行高度の飛行中に取得された被写体の情報に基づいて、飛行体の次の飛行高度の飛行範囲を設定するステップを含んでよい。
次の飛行高度の飛行範囲を設定するステップは、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、現在の飛行高度における被写体の半径及び中心を推定するステップと、推定された現在の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定するステップと、を含んでよい。
次の飛行高度の飛行範囲を設定するステップは、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、次の飛行高度における被写体の半径及び中心を推定するステップと、推定された次の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定するステップと、を含んでよい。
次の飛行高度の飛行範囲を設定するステップは、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、現在の飛行高度における被写体の半径及び中心を推定するステップと、推定された現在の飛行高度における被写体の半径及び中心を用いて、次の飛行高度における被写体の半径及び中心を予測するステップと、予測された次の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定するステップと、を含んでよい。
３次元形状推定方法は、飛行高度毎の飛行範囲の飛行を制御するステップ、を更に有してよい。
飛行範囲を設定するステップは、設定された飛行高度毎の飛行範囲の飛行中に取得された被写体の情報に基づいて、飛行高度毎の飛行範囲における被写体の半径及び中心を推定するステップを含み、被写体の３次元形状を推定するステップは、推定された飛行高度毎の飛行範囲における被写体の半径及び中心を用いて、被写体の３次元形状を推定するステップを含んでよい。
飛行範囲を設定するステップは、被写体の高さ、被写体の中心、被写体の半径、飛行体に含まれる撮像部の設定解像度をそれぞれ取得するステップと、取得された被写体の高さ、中心及び半径と設定解像度とを用いて、被写体の頂上付近を飛行高度とする飛行体の初期飛行範囲を設定するステップと、を含んでよい。
飛行体の飛行範囲を設定するステップは、被写体の高さ、被写体の中心、飛行体の飛行半径をそれぞれ取得するステップと、取得された被写体の高さ及び中心と飛行半径とを用いて、被写体の頂上付近を飛行高度とする飛行体の初期飛行範囲を設定するステップと、を含んでよい。
飛行範囲を設定するステップは、飛行高度毎の飛行範囲に複数の撮像位置を設定するステップを含み、被写体の情報を取得するステップは、設定された複数の撮像位置のうち隣接するそれぞれの撮像位置において、飛行体により被写体の一部を重複して撮像するステップを含んでよい。
３次元形状推定方法は、飛行体の次の飛行高度が所定の飛行高度以下となるか否かを判断するステップを更に有してよい。被写体の情報を取得するステップは、飛行体の次の飛行高度が所定の飛行高度以下となると判断されるまで、設定された飛行高度毎の飛行体の飛行範囲における被写体の情報の取得を繰り返すステップを含んでよい。
被写体の情報を取得するステップは、設定された飛行高度毎の飛行範囲の飛行中に、飛行体により被写体を撮像するステップを含んでよい。３次元形状を推定するステップは、撮像された飛行高度毎の被写体の複数の撮像画像に基づいて、被写体の３次元形状を推定するステップを含んでよい。
被写体の情報を取得するステップは、設定された飛行高度毎の飛行範囲の飛行中に、飛行体が有する光照射計を用いた測距結果と被写体の位置情報とを取得するステップを含んでよい。
飛行範囲を設定するステップは、設定された初期飛行範囲を飛行体に飛行させるステップと、初期飛行範囲の飛行中に取得された被写体の情報に基づいて、初期飛行範囲における被写体の半径及び中心を推定するステップと、推定された初期飛行範囲における被写体の半径及び中心を用いて、初期飛行範囲を調整するステップと、を含んでよい。
飛行を制御するステップは、調整された初期飛行範囲を飛行体に飛行させるステップを含み、飛行範囲を設定するステップは、調整された初期飛行範囲の飛行中に撮像された被写体の複数の撮像画像に基づいて、初期飛行範囲における被写体の半径及び中心を推定するステップと、推定された初期飛行範囲における被写体の半径及び中心を用いて、初期飛行範囲の飛行高度の次の飛行高度の飛行範囲を設定するステップと、を含んでよい。
一態様において、飛行体は、設定された飛行高度毎の飛行範囲の飛行中に、被写体の情報を取得する取得部と、取得された被写体の情報に基づいて、被写体の３次元形状を推定する形状推定部と、を備える。
飛行体は、被写体の高さに応じて、被写体の周囲を飛行する飛行体の飛行範囲を飛行高度毎に設定する設定部、を更に備えてよい。
設定部は、飛行体の現在の飛行高度の飛行中に取得された被写体の情報に基づいて、飛行体の次の飛行高度の飛行範囲を設定してよい。
設定部は、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、現在の飛行高度における被写体の半径及び中心を推定し、推定された現在の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定してよい。
設定部は、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、次の飛行高度における被写体の半径及び中心を推定し、推定された次の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定してよい。
設定部は、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、現在の飛行高度における被写体の半径及び中心を推定し、推定された現在の飛行高度における被写体の半径及び中心を用いて、次の飛行高度における被写体の半径及び中心を予測し、予測された次の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定してよい。
飛行体は、飛行高度毎の飛行範囲の飛行を制御する飛行制御部、を更に備えてよい。
設定部は、飛行高度毎の飛行範囲の飛行中に取得された被写体の情報に基づいて、飛行高度毎の飛行範囲における被写体の半径及び中心を推定し、形状推定部は、推定された飛行高度毎の飛行範囲における被写体の半径及び中心を用いて、被写体の３次元形状を推定してよい。
設定部は、被写体の高さ、被写体の中心、被写体の半径、飛行体に含まれる撮像部の設定解像度をそれぞれ取得し、取得された被写体の高さ、中心及び半径と設定解像度とを用いて、被写体の頂上付近を飛行高度とする飛行体の初期飛行範囲を設定してよい。
設定部は、被写体の高さ、被写体の中心、飛行体の飛行半径をそれぞれ取得し、取得された被写体の高さ及び中心と飛行半径とを用いて、被写体の頂上付近を飛行高度とする飛行体の初期飛行範囲を設定してよい。
設定部は、飛行高度毎の飛行範囲に複数の撮像位置を設定し、取得部は、設定された複数の撮像位置のうち隣接するそれぞれの撮像位置において、被写体の一部を重複して撮像してよい。
飛行体は、飛行体の次の飛行高度が所定の飛行高度以下となるか否かを判断する判断部を更に備えてよい。取得部は、飛行体の次の飛行高度が所定の飛行高度以下となると判断されるまで、飛行制御部に基づく飛行高度毎の飛行体の飛行範囲における被写体の情報の取得を繰り返してよい。
取得部は、設定された飛行高度毎の飛行範囲の飛行中に、被写体を撮像する撮像部を含んでよい。形状推定部は、撮像された飛行高度毎の被写体の複数の撮像画像に基づいて、被写体の３次元形状を推定してよい。
取得部は、設定された飛行高度毎の飛行範囲の飛行中に、飛行体が有する光照射計を用いた測距結果と被写体の位置情報とを取得してよい。
飛行制御部は、設定された初期飛行範囲を飛行体に飛行させ、設定部は、飛行制御部に基づく初期飛行範囲の飛行中に取得された被写体の情報に基づいて、初期飛行範囲における被写体の半径及び中心を推定し、推定された初期飛行範囲における被写体の半径及び中心を用いて、初期飛行範囲を調整してよい。
飛行制御部は、調整された初期飛行範囲を飛行体に飛行させ、設定部は、調整された初期飛行範囲の飛行中に撮像された被写体の複数の撮像画像に基づいて、初期飛行範囲における被写体の半径及び中心を推定し、推定された初期飛行範囲における被写体の半径及び中心を用いて、初期飛行範囲の飛行高度の次の飛行高度の飛行範囲を設定してよい。
一態様において、モバイルプラットフォームは、被写体の周囲を飛行する飛行体と通信可能に接続されたモバイルプラットフォームであって、設定された飛行高度毎の飛行範囲の飛行中に、飛行体に被写体の情報の取得を指示する取得指示部と、取得された被写体の情報に基づいて、被写体の３次元形状を推定する形状推定部と、を備える。
モバイルプラットフォームは、被写体の高さに応じて、飛行体の飛行範囲を飛行高度毎に設定する設定部、を更に備えてよい。
設定部は、飛行体の現在の飛行高度の飛行中に取得された被写体の情報に基づいて、飛行体の次の飛行高度の飛行範囲を設定してよい。
設定部は、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、現在の飛行高度における被写体の半径及び中心を推定し、推定された現在の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定してよい。
設定部は、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、次の飛行高度における被写体の半径及び中心を推定し、推定された次の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定してよい。
設定部は、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、現在の飛行高度における被写体の半径及び中心を推定し、推定された現在の飛行高度における被写体の半径及び中心を用いて、次の飛行高度における被写体の半径及び中心を予測し、予測された次の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定してよい。
モバイルプラットフォームは、飛行高度毎の飛行範囲の飛行を制御する飛行制御部、を更に備えてよい。
設定部は、飛行高度毎の飛行範囲の飛行中に取得された被写体の情報に基づいて、飛行高度毎の飛行範囲における被写体の半径及び中心を推定し、形状推定部は、推定された飛行高度毎の飛行範囲における被写体の半径及び中心を用いて、被写体の３次元形状を推定してよい。
設定部は、被写体の高さ、被写体の中心、被写体の半径、飛行体に含まれる撮像部の設定解像度をそれぞれ取得し、取得された被写体の高さ、中心及び半径と設定解像度とを用いて、被写体の頂上付近を飛行高度とする飛行体の初期飛行範囲を設定してよい。
設定部は、被写体の高さ、被写体の中心、飛行体の飛行半径をそれぞれ取得し、取得された被写体の高さ及び中心と飛行半径とを用いて、被写体の頂上付近を飛行高度とする飛行体の初期飛行範囲を設定してよい。
設定部は、飛行高度毎の飛行範囲に複数の撮像位置を設定し、取得指示部は、設定された複数の撮像位置のうち隣接するそれぞれの撮像位置において、飛行体に被写体の一部を重複して撮像させてよい。
モバイルプラットフォームは、飛行体の次の飛行高度が所定の飛行高度以下となるか否かを判断する判断部を更に備えてよい。取得指示部は、飛行体の次の飛行高度が所定の飛行高度以下となると判断されるまで、飛行制御部に基づく飛行高度毎の飛行体の飛行範囲における被写体の情報の取得を繰り返させてよい。
取得指示部は、設定された飛行高度毎の飛行範囲の飛行中に、被写体を撮像するための指示を飛行体に送信してよい。形状推定部は、飛行体により撮像された飛行高度毎の被写体の複数の撮像画像に基づいて、被写体の３次元形状を推定してよい。
取得指示部は、設定された飛行高度毎の飛行範囲の飛行中に、飛行体が有する光照射計を用いた測距結果と被写体の位置情報との取得の指示を飛行体に送信してよい。
飛行制御部は、設定された初期飛行範囲を飛行体に飛行させ、設定部は、飛行制御部に基づく初期飛行範囲の飛行中に取得された被写体の情報に基づいて、初期飛行範囲における被写体の半径及び中心を推定し、推定された初期飛行範囲における被写体の半径及び中心を用いて、初期飛行範囲を調整してよい。
飛行制御部は、調整された初期飛行範囲を飛行体に飛行させ、設定部は、調整された初期飛行範囲の飛行中に取得された被写体の情報に基づいて、初期飛行範囲における被写体の半径及び中心を推定し、推定された初期飛行範囲における被写体の半径及び中心を用いて、初期飛行範囲の飛行高度の次の飛行高度の飛行範囲を設定してよい。
モバイルプラットフォームは、飛行体との間の通信を用いて飛行体を遠隔制御する操作端末、又は操作端末と接続され、操作端末を介して飛行体を遠隔制御する通信端末のいずれかであってよい。
一態様において、記録媒体は、コンピュータである飛行体に、設定された飛行高度毎の飛行範囲の飛行中に、飛行体により被写体の情報を取得するステップと、取得された被写体の情報に基づいて、被写体の３次元形状を推定するステップと、を実行させるためのプログラムを記録したコンピュータ読み取り可能な、記録媒体である。
一態様において、プログラムは、コンピュータである飛行体に、設定された飛行高度毎の飛行範囲の飛行中に、飛行体により被写体の情報を取得するステップと、取得された被写体の情報に基づいて、被写体の３次元形状を推定するステップと、を実行させるための、プログラムである。
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
各実施の形態の３次元形状推定システムの第１の構成例を示す図である。 無人飛行体の外観の一例を示す図である。 無人飛行体の具体的な外観の一例を示す図である。 図１の３次元形状推定システムを構成する無人飛行体のハードウェア構成の一例を示すブロック図である。 送信機の外観の一例を示す図である。 図１の３次元形状推定システムを構成する送信機のハードウェア構成の一例を示すブロック図である。 本実施の形態の３次元形状推定システムの第２の構成例を示す図である。 図７の３次元形状推定システムを構成する送信機のハードウェア構成の一例を示すブロック図である。 図７の３次元形状推定システムを構成する無人飛行体のハードウェア構成の一例を示すブロック図である。 本実施の形態の３次元形状推定システムの第３の構成例を示す図である。 図１０の３次元形状推定システムを構成する通信端末（例えばタブレット端末）が装着された送信機の外観の一例を示す斜視図である。 図１０の３次元形状推定システムを構成する通信端末（例えばスマートフォン）が装着された送信機の外観の一例を示す斜視図である。 図１０の３次元形状推定システムを構成する、送信機と通信端末との電気的な接続関係の一例を示すブロック図である。 被写体周辺を上空から見た平面図である。 被写体を正面から見た正面図である。 水平撮像間隔を算出するための説明図である。 水平角度の一例を示す模式図である。 実施の形態１の被写体の３次元形状の推定の動作概要の説明図である。 実施の形態１の３次元形状推定方法の動作手順の一例を示すフローチャートである。 図１８のステップＳ７の変形例１の動作手順の一例を示すフローチャートである。 図１８のステップＳ７の変形例２の動作手順の一例を示すフローチャートである。 実施の形態２の被写体の３次元形状の推定の動作概要の説明図である。 実施の形態２の３次元形状推定方法の動作手順の一例を示すフローチャートである。
以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。
本開示に係る３次元形状推定システムは、移動体の一例としての無人飛行体（ＵＡＶ：Unmanned Aerial Vehicle）と、無人飛行体の動作又は処理を遠隔で制御するためのモバイルプラットフォームとを含む構成である。
無人飛行体は、空中を移動する航空機（例えばドローン、ヘリコプター）を含む。無人飛行体は、被写体（例えば不規則な形状を有する建物）の高さに応じて設定された飛行高度毎の飛行範囲（以下、「飛行コース」とも称する場合がある）を水平方向かつ円周方向に円旋回しながら飛行する。飛行高度毎の飛行範囲は、被写体の周囲を囲むように設定され、例えば円形状に設定される。無人飛行体は、飛行高度毎の飛行範囲を円旋回しながら飛行している間、被写体を空撮する。
また以下の説明において、本開示に係る３次元形状推定システムの特徴を分かり易く説明するために、被写体の形状は複雑とする。例えば斜円柱状又は錐体のように、被写体の形状が無人飛行体の飛行高度によって変化する。但し、被写体の形状は、例えば円柱状のように比較的簡単な形状であってよい。つまり、被写体の形状が無人飛行体の飛行高度によって変化しなくてもよい。
モバイルプラットフォームは、コンピュータであって、例えば無人飛行体の移動を含む各種処理の遠隔制御を指示するための送信機、又は送信機と情報やデータの入出力が可能に接続された通信端末である。なお、無人飛行体自体がモバイルプラットフォームとして含まれてよい。
本開示に係る３次元形状推定方法は、３次元形状推定システム、無人飛行体、又はモバイルプラットフォームにおける各種の処理（ステップ）が規定されたものである。
本開示に係る記録媒体は、プログラム（つまり、無人飛行体又はモバイルプラットフォームに各種の処理（ステップ）を実行させるためのプログラム）が記録されたものである。
本開示に係るプログラムは、無人飛行体又はモバイルプラットフォームに各種の処理（ステップ）を実行させるためのプログラムである。
（実施の形態１）
実施の形態１では、無人飛行体１００は、入力パラメータ（後述参照）に基づいて、被写体の周囲を円旋回して飛行する初期の飛行範囲（図１７に示す初期飛行コースＣ１参照）を設定する。
図１は、各実施の形態の３次元形状推定システム１０の第１の構成例を示す図である。図１に示す３次元形状推定システム１０は、無人飛行体１００と送信機５０とを少なくとも含む。無人飛行体１００と送信機５０とは、有線通信又は無線通信（例えば無線ＬＡＮ（Local Area Network）、又はＢｌｕｅｔｏｏｔｈ（登録商標））を用いて、情報やデータを互いに通信することが可能である。なお図１では、送信機５０の筐体に通信端末８０が取り付けられた様子の図示が省略されている。操作端末の一例としての送信機５０は、例えば送信機５０を使用する人物（以下、「ユーザ」という）の両手で把持された状態で使用される。
図２は、無人飛行体１００の外観の一例を示す図である。図３は、無人飛行体１００の具体的な外観の一例を示す図である。無人飛行体１００が移動方向ＳＴＶ０に飛行する時の側面図が図２に示され、無人飛行体１００が移動方向ＳＴＶ０に飛行する時の斜視図が図３に示されている。無人飛行体１００は、撮像部の一例としての撮像装置２２０，２３０を備えて移動する移動体の一例である。移動体とは、無人飛行体１００の他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。ここで、図２及び図３に示すように、地面と平行であって移動方向ＳＴＶ０に沿う方向にロール軸（図２及び図３のｘ軸参照）が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸（図２及び図３のｙ軸参照）が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸（図２及び図３のｚ軸）が定められる。
無人飛行体１００は、ＵＡＶ本体１０２と、ジンバル２００と、撮像装置２２０と、複数の撮像装置２３０とを含む構成である。無人飛行体１００は、本開示に係るモバイルプラットフォームの一例としての送信機５０から送信される遠隔制御の指示を基に移動する。無人飛行体１００の移動は、飛行を意味し、少なくとも上昇、降下、左旋回、右旋回、左水平移動、右水平移動の飛行が含まれる。
ＵＡＶ本体１０２は、複数の回転翼を備える。ＵＡＶ本体１０２は、複数の回転翼の回転を制御することにより無人飛行体１００を移動させる。ＵＡＶ本体１０２は、例えば４つの回転翼を用いて無人飛行体１００を移動させる。回転翼の数は、４つに限定されない。また、無人飛行体１００は、回転翼を有さない固定翼機でよい。
撮像装置２２０は、所望の撮像範囲に含まれる被写体（例えば上述した不規則な形状を有する建物）を撮像する撮像用のカメラである。なお被写体は、無人飛行体１００の空撮対象となる上空の様子、山や川等の景色が含まれてよい。
複数の撮像装置２３０は、無人飛行体１００の移動を制御するために無人飛行体１００の周囲を撮像するセンシング用のカメラである。２つの撮像装置２３０が、無人飛行体１００の機首である正面に設けられてよい。更に、他の２つの撮像装置２３０が、無人飛行体１００の底面に設けられてよい。正面側の２つの撮像装置２３０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置２３０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置２３０により撮像された画像に基づいて、無人飛行体１００の周囲の３次元空間データが生成されてよい。なお、無人飛行体１００が備える撮像装置２３０の数は４つに限定されない。無人飛行体１００は、少なくとも１つの撮像装置２３０を備えていればよい。無人飛行体１００は、無人飛行体１００の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置２３０を備えてよい。撮像装置２３０で設定できる画角は、撮像装置２２０で設定できる画角より広くてよい。撮像装置２３０は、単焦点レンズ又は魚眼レンズを有してよい。
次に、無人飛行体１００の構成例について説明する。
図４は、図１の３次元形状推定システム１０を構成する無人飛行体１００のハードウェア構成の一例を示すブロック図である。無人飛行体１００は、ＵＡＶ制御部１１０と、通信インタフェース１５０と、メモリ１６０と、バッテリ１７０と、ジンバル２００と、回転翼機構２１０と、撮像装置２２０と、撮像装置２３０と、ＧＰＳ受信機２４０と、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）２５０と、磁気コンパス２６０と、気圧高度計２７０と、超音波高度計２８０と、レーザ測距計２９０とを含む構成である。
ＵＡＶ制御部１１０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。ＵＡＶ制御部１１０は、無人飛行体１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
ＵＡＶ制御部１１０は、メモリ１６０に格納されたプログラムに従って無人飛行体１００の飛行を制御する。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して遠隔の送信機５０から受信した命令に従って、無人飛行体１００の移動（つまり、飛行）を制御する。メモリ１６０は、無人飛行体１００から取り外し可能であってよい。
ＵＡＶ制御部１１０は、複数の撮像装置２３０により撮像された複数の画像を解析することで、無人飛行体１００の周囲の環境を特定してよい。ＵＡＶ制御部１１０は、無人飛行体１００の周囲の環境に基づいて、例えば障害物を回避して飛行を制御する。ＵＡＶ制御部１１０は、複数の撮像装置２３０により撮像された複数の画像に基づいて無人飛行体１００の周囲の３次元空間データを生成し、３次元空間データに基づいて飛行を制御してよい。
ＵＡＶ制御部１１０は、現在の日時を示す日時情報を取得する。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から現在の日時を示す日時情報を取得してよい。ＵＡＶ制御部１１０は、無人飛行体１００に搭載されたタイマ（不図示）から現在の日時を示す日時情報を取得してよい。
ＵＡＶ制御部１１０は、無人飛行体１００の位置を示す位置情報を取得する。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から、無人飛行体１００が存在する緯度、経度及び高度を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から無人飛行体１００が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計２７０又は超音波高度計２８０から無人飛行体１００が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。
ＵＡＶ制御部１１０は、磁気コンパス２６０から無人飛行体１００の向きを示す向き情報を取得する。向き情報には、例えば無人飛行体１００の機首の向きに対応する方位が示される。
ＵＡＶ制御部１１０は、撮像装置２２０が撮像すべき撮像範囲を撮像する時に無人飛行体１００が存在すべき位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、無人飛行体１００が存在すべき位置を示す位置情報をメモリ１６０から取得してよい。ＵＡＶ制御部１１０は、無人飛行体１００が存在すべき位置を示す位置情報を、通信インタフェース１５０を介して送信機５０等の他の装置から取得してよい。ＵＡＶ制御部１１０は、３次元地図データベースを参照して、撮像すべき撮像範囲を撮像するために、無人飛行体１００が存在可能な位置を特定して、その位置を無人飛行体１００が存在すべき位置を示す位置情報として取得してよい。
ＵＡＶ制御部１１０は、撮像装置２２０及び撮像装置２３０のそれぞれの撮像範囲を示す撮像情報を取得する。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像装置２２０及び撮像装置２３０の画角を示す画角情報を撮像装置２２０及び撮像装置２３０から取得する。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像装置２２０及び撮像装置２３０の撮像方向を示す情報を取得する。ＵＡＶ制御部１１０は、例えば撮像装置２２０の撮像方向を示す情報として、ジンバル２００から撮像装置２２０の姿勢の状態を示す姿勢情報を取得する。ＵＡＶ制御部１１０は、無人飛行体１００の向きを示す情報を取得する。撮像装置２２０の姿勢の状態を示す情報は、ジンバル２００のピッチ軸及びヨー軸の基準回転角度からの回転角度を示す。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、無人飛行体１００が存在する位置を示す位置情報を取得する。ＵＡＶ制御部１１０は、撮像装置２２０及び撮像装置２３０の画角及び撮像方向、並びに無人飛行体１００が存在する位置に基づいて、撮像装置２２０が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲を示す撮像情報を生成することで、撮像情報を取得してよい。
ＵＡＶ制御部１１０は、撮像装置２２０が撮像すべき撮像範囲を示す撮像情報を取得してよい。ＵＡＶ制御部１１０は、メモリ１６０から撮像装置２２０が撮像すべき撮像情報を取得してよい。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して送信機５０等の他の装置から撮像装置２２０が撮像すべき撮像情報を取得してよい。
ＵＡＶ制御部１１０は、無人飛行体１００の周囲に存在するオブジェクトの立体形状を示す立体情報を取得する。オブジェクトは、例えば、建物、道路、車、木等の風景の一部である。立体情報は、例えば、３次元空間データである。ＵＡＶ制御部１１０は、複数の撮像装置２３０から得られたそれぞれの画像から、無人飛行体１００の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。ＵＡＶ制御部１１０は、メモリ１６０に格納された３次元地図データベースを参照することにより、無人飛行体１００の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。ＵＡＶ制御部１１０は、ネットワーク上に存在するサーバが管理する３次元地図データベースを参照することで、無人飛行体１００の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。
ＵＡＶ制御部１１０は、撮像装置２２０及び撮像装置２３０により撮像された被写体の画像データ（以下、「撮像画像」と称する場合がある）を取得する。
ＵＡＶ制御部１１０は、ジンバル２００、回転翼機構２１０、撮像装置２２０、及び撮像装置２３０を制御する。ＵＡＶ制御部１１０は、撮像装置２２０の撮像方向又は画角を変更することによって、撮像装置２２０の撮像範囲を制御する。ＵＡＶ制御部１１０は、ジンバル２００の回転機構を制御することで、ジンバル２００に支持されている撮像装置２２０の撮像範囲を制御する。
本明細書では、撮像範囲は、撮像装置２２０又は撮像装置２３０により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度及び高度で定義される３次元空間データにおける範囲でよい。撮像範囲は、撮像装置２２０又は撮像装置２３０の画角及び撮像方向、並びに無人飛行体１００が存在する位置に基づいて特定される。撮像装置２２０及び撮像装置２３０の撮像方向は、撮像装置２２０及び撮像装置２３０の撮像レンズが設けられた正面が向く方位と俯角とから定義される。撮像装置２２０の撮像方向は、無人飛行体１００の機首の方位と、ジンバル２００に対する撮像装置２２０の姿勢の状態とから特定される方向である。撮像装置２３０の撮像方向は、無人飛行体１００の機首の方位と、撮像装置２３０が設けられた位置とから特定される方向である。
ＵＡＶ制御部１１０は、回転翼機構２１０を制御することで、無人飛行体１００の飛行を制御する。つまり、ＵＡＶ制御部１１０は、回転翼機構２１０を制御することにより、無人飛行体１００の緯度、経度及び高度を含む位置を制御する。ＵＡＶ制御部１１０は、無人飛行体１００の飛行を制御することにより、撮像装置２２０及び撮像装置２３０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、撮像装置２２０が備えるズームレンズを制御することで、撮像装置２２０の画角を制御してよい。ＵＡＶ制御部１１０は、撮像装置２２０のデジタルズーム機能を利用して、デジタルズームにより、撮像装置２２０の画角を制御してよい。ＵＡＶ制御部１１０は、飛行高度毎に設定される飛行範囲（飛行コース）の途中に存在する撮像位置（後述するWaypoint）において、撮像装置２２０又は撮像装置２３０により被写体を水平方向、既定角度の方向、又は鉛直方向に撮像させる。既定角度の方向は、無人飛行体１００又はモバイルプラットフォームが被写体の３次元形状の推定を行う上で適した既定値の角度の方向である。
撮像装置２２０が無人飛行体１００に固定され、撮像装置２２０を動かせない場合、ＵＡＶ制御部１１０は、特定の日時に特定の位置に無人飛行体１００を移動させることにより、所望の環境下で所望の撮像範囲を撮像装置２２０に撮像させることができる。あるいは撮像装置２２０がズーム機能を有さず、撮像装置２２０の画角を変更できない場合でも、ＵＡＶ制御部１１０は、特定された日時に、特定の位置に無人飛行体１００を移動させることで、所望の環境下で所望の撮像範囲を撮像装置２２０に撮像させることができる。
また、ＵＡＶ制御部１１０は、無人飛行体１００の飛行高度毎に設定される飛行範囲（飛行コース）の生成に関する処理を行う飛行経路処理部１１１と、被写体の３次元形状データの推定及び生成に関する処理を行う形状データ処理部１１２とを含む。
取得部の一例としての飛行経路処理部１１１は、入力パラメータを取得してよい。又は、飛行経路処理部１１１は、送信機５０が入力した入力パラメータを、通信インタフェース１５０を介して受信することで取得してよい。取得された入力パラメータは、メモリ１６０に保持されてよい。入力パラメータは、例えば被写体の周囲を円旋回して飛行する無人飛行体１００の初期の飛行範囲（つまり、初期飛行範囲又は初期飛行コースＣ１（図１７参照））の高度Ｈｓｔａｒｔの情報、初期飛行コースＣ１の中心位置Ｐ０（例えば緯度及び経度）の情報を含む。また、入力パラメータは、初期飛行コースＣ１を飛行する無人飛行体１００の初期飛行コースの半径を示す初期飛行半径Ｒｆｌｉｇｈｔ０の情報、又は、被写体の半径Ｒｏｂｊ０の情報及び設定解像度の情報を含んでよい。なお、設定解像度は、撮像装置２２０，２３０により撮像される撮像画像の解像度（つまり、被写体ＢＬの３次元形状を高精度に推定可能とするために適正な撮像画像を得るための解像度）を示し、無人飛行体１００のメモリ１６０に保持されてよい。
なお、入力パラメータは、上述したパラメータの他に、無人飛行体１００の初期飛行コースＣ１における撮像位置（つまり、Waypoint）の情報や、撮像位置を通る飛行経路を生成するための各種のパラメータを含んでよい。撮像位置は３次元空間における位置である。
また、入力パラメータは、例えば図１７に示すそれぞれの飛行高度毎の飛行範囲（初期飛行コースＣ１，飛行コースＣ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ７，Ｃ８）において設定される撮像位置（Waypoint）において無人飛行体１００が被写体ＢＬを撮像する時の撮像範囲の重複率の情報を含んでよい。また、入力パラメータは、無人飛行体１００が被写体ＢＬの３次元形状の推定を行うために飛行する最終の飛行高度を示す終了高度の情報、飛行コースの初期撮像位置の情報、の少なくとも１つを含んでよい。また、入力パラメータは、それぞれの飛行高度毎の飛行範囲（初期飛行コースＣ１，飛行コースＣ２〜Ｃ８）における撮像位置の間隔の情報を含んでよい。
また、飛行経路処理部１１１は、入力パラメータに含まれる少なくとも一部の情報を、送信機５０から取得するのではなく、他の装置から取得してよい。例えば、飛行経路処理部１１１は、送信機５０により特定された被写体の識別情報を受信して取得してよい。飛行経路処理部１１１は、特定された被写体の識別情報を基に、通信インタフェース１５０を介して外部サーバと通信し、被写体の識別情報に対応する被写体の半径の情報や被写体の高さの情報を受信して取得してよい。
撮像範囲の重複率は、水平方向又は上下方向で隣り合う撮像位置で撮像装置２２０又は撮像装置２３０により撮像される場合の２つの撮像範囲が重複する割合を示す。撮像範囲の重複率は、水平方向での撮像範囲の重複率（水平重複率ともいう）の情報、上下方向での撮像範囲の重複率（上下重複率ともいう）の情報、の少なくとも１つを含んでよい。水平重複率及び上下重複率は、同じでも異なってもよい。水平重複率及び上下重複率が異なる値である場合、水平重複率の情報及び上下重複率の情報のいずれも入力パラメータに含まれてよい。水平重複率及び上下重複率が同値である場合、同値である１つの重複率の情報が入力パラメータに含まれてよい。
撮像位置間隔は、空間的な撮像間隔であり、飛行経路において無人飛行体１００が画像を撮像すべき複数の撮像位置のうち、隣り合う撮像位置の間の距離である。撮像位置間隔は、水平方向での撮像位置の間隔（水平撮像間隔ともいう）及び鉛直方向の撮像位置の間隔（上下撮像間隔ともいう）の少なくとも１つを含んでよい。飛行経路処理部１１１は、水平撮像間隔及び上下撮像間隔を含む撮像位置間隔を、算出して取得してもよいし、入力パラメータから取得してもよい。
つまり、飛行経路処理部１１１は、飛行高度毎の飛行範囲（飛行コース）上に、撮像装置２２０又は２３０により撮像する撮像位置（Waypoint）を配置してよい。撮像位置の間隔（撮像位置間隔）は、例えば等間隔で配置されてよい。撮像位置は、隣り合う撮像位置での撮像画像に係る撮像範囲が一部重複するよう配置される。複数の撮像画像を用いた３次元形状の推定を可能とするためである。撮像装置２２０又は２３０は所定の画角を有するので、撮像位置間隔を短くすることで、双方の撮像範囲の一部が重複する。
飛行経路処理部１１１は、例えば撮像位置が配置される高度（撮像高度）、撮像装置２２０又は２３０の解像度に基づき、撮像位置間隔を算出してよい。撮像高度が高い程又は撮像距離が長い程、撮像範囲の重複率が大きくなるので、撮像位置間隔を長く（疎に）できる。撮像高度が低い程又は撮像距離が短い程、撮像範囲の重複率が小さくなるので、撮像位置間隔を短く（密に）する。飛行経路処理部１１１は、更に撮像装置２２０又は２３０の画角を基に、撮像位置間隔を算出してよい。飛行経路処理部１１１は、その他公知の方法により撮像位置間隔を算出してよい。
飛行範囲（飛行コース）は、被写体の周囲に無人飛行体１００が水平方向（言い換えると、飛行高度をほぼ変えずに）かつ円周方向に円旋回して飛行する飛行経路を周端部に含む範囲である。飛行範囲（飛行コース）は、飛行範囲を真上から見た断面形状が円形状に近似される範囲でよい。飛行範囲（飛行コース）を真上から見た断面形状は、円形以外の形状（例えば多角形状）でもよい。飛行経路（飛行コース）は、高度（撮像高度）が異なる複数の飛行コースを有してよい。飛行経路処理部１１１は、被写体の中心位置の情報（例えば緯度及び経度の情報）と被写体の半径の情報とを基に、飛行範囲を算出してよい。飛行経路処理部１１１は、被写体の中心位置と被写体の半径とを基に、被写体を円形状に近似して、飛行範囲を算出してよい。また、飛行経路処理部１１１は、入力パラメータに含まれる送信機５０が生成した飛行範囲の情報を取得してよい。
飛行経路処理部１１１は、撮像装置２２０の画角又は撮像装置２３０の画角の情報を、撮像装置２２０又は撮像装置２３０から取得してよい。撮像装置２２０の画角又は撮像装置２３０の画角は、水平方向と上下方向とで同じでも異なってもよい。水平方向での撮像装置２２０の画角又は撮像装置２３０の画角を水平画角とも称する。上下方向での撮像装置２２０の画角又は撮像装置２３０の画角を上下画角とも称する。飛行経路処理部１１１は、水平画角及び上下画角が同値である場合、同値である１つの画角の情報を取得してよい。
飛行経路処理部１１１は、被写体の半径、飛行範囲の半径、撮像装置２２０の水平画角又は撮像装置２３０の水平画角、撮像範囲の水平重複率に基づいて、水平撮像間隔を算出してよい。飛行経路処理部１１１は、被写体の半径、飛行範囲の半径、撮像装置２２０の上下画角又は撮像装置２３０の上下画角、撮像範囲の上下重複率に基づいて、上下撮像間隔を算出してよい。
飛行経路処理部１１１は、飛行範囲及び撮像位置間隔に基づいて、無人飛行体１００による被写体の撮像位置（Waypoint）を決定する。無人飛行体１００による撮像位置は、水平方向において等間隔に配置されてよく、最後の撮像位置と最初の撮像位置との距離は撮像位置間隔より短くてよい。この間隔は、水平撮像間隔となる。無人飛行体１００による撮像位置は、上下方向において等間隔に配置されてよく、最後の撮像位置と最初の撮像位置との距離は撮像位置間隔より短くてよい。この間隔は、上下撮像間隔となる。
飛行経路処理部１１１は、決定された撮像位置を通る飛行範囲（飛行コース）を生成する。飛行経路処理部１１１は、１つの飛行コースにおいて水平方向に隣り合う各撮像位置を順に通り、この飛行コースにおける各撮像位置を全て通過した後、次の飛行コースへ進入する飛行経路を生成してよい。飛行経路処理部１１１は、次の飛行コースにおいても同様に、水平方向に隣り合う各撮像位置を順に通り、この飛行コースにおける各撮像位置を全て通過した後、その次の飛行コースへ進入する飛行経路を生成してよい。飛行経路は、上空側を始点として飛行経路を進むにつれて高度が下降するように形成されてよい。一方、飛行経路は、地面側を始点として飛行経路を進むにつれて高度が上昇するように形成されてよい。
飛行経路処理部１１１は、生成された飛行経路に従って、無人飛行体１００の飛行を制御してよい。飛行経路処理部１１１は、飛行経路の途中に存在する撮像位置において、撮像装置２２０又は撮像装置２３０により被写体を撮像させてよい。無人飛行体１００は、被写体の側方を周回して、飛行経路に従って飛行してよい。従って、撮像装置２２０又は撮像装置２３０は、飛行経路における撮像位置において、被写体の側面を撮像してよい。撮像装置２２０又は撮像装置２３０により撮像された撮像画像は、メモリ１６０に保持されてよい。ＵＡＶ制御部１１０は、適宜（例えば３次元形状データの生成時）メモリ１６０を参照してよい。
形状データ処理部１１２は、撮像装置２２０，２３０のいずれかにより異なる撮像位置において撮像された複数の撮像画像に基づいて、オブジェクト（被写体）の立体形状（３次元形状）を示す立体情報（３次元情報、３次元形状データ）を生成してよい。よって、撮像画像は、３次元形状データを復元するための１つの画像として用いられてよい。３次元形状データを復元するための撮像画像は、静止画像でよい。複数の撮像画像に基づく３次元形状データの生成手法としては、公知の方法を用いてよい。公知の方法として、例えば、ＭＶＳ（Multi View Stereo）、ＰＭＶＳ（Patch-based MVS）、ＳfＭ（Structure from Motion）が挙げられる。
３次元形状データの生成に用いられる撮像画像は、静止画でよい。３次元形状データの生成に用いられる複数の撮像画像には、互いに撮像範囲が一部重複する２つの撮像画像が含まれる。この重複の割合（つまり撮像範囲の重複率）が高い程、同一範囲において３次元形状データを生成する場合には、３次元形状データの生成に用いられる撮像画像の数が多くなる。従って、形状データ処理部１１２は、３次元形状の復元精度を向上できる。一方、撮像範囲の重複率が低い程、同一範囲において３次元形状データを生成する場合には、３次元形状データの生成に用いられる撮像画像の数が少なくなる。従って、形状データ処理部１１２は、３次元形状データの生成時間を短縮できる。なお、複数の撮像画像において、互いに撮像範囲が一部重複する２つの撮像画像が含まれなくてもよい。
形状データ処理部１１２は、複数の撮像画像として、被写体の側面が撮像された撮像画像を含んで取得する。従って、形状データ処理部１１２は、一律に上空から鉛直方向を撮像した撮像画像を取得する場合と比較すると、被写体の側面における画像特徴を多数収集でき、被写体周辺の３次元形状の復元精度を向上できる。
通信インタフェース１５０は、送信機５０と通信する（図４参照）。通信インタフェース１５０は、遠隔の送信機５０からＵＡＶ制御部１１０に対する各種の命令を受信する。
メモリ１６０は、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像装置２２０、撮像装置２３０、ＧＰＳ受信機２４０、慣性計測装置２５０、磁気コンパス２６０及び気圧高度計２７０を制御するのに必要なプログラム等を格納する。メモリ１６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１６０は、ＵＡＶ本体１０２の内部に設けられてよい。ＵＡＶ本体１０２から取り外し可能に設けられてよい。
バッテリ１７０は、無人飛行体１００の各部の駆動源としての機能を有し、無人飛行体１００の各部に必要な電源を供給する。
ジンバル２００は、少なくとも１つの軸を中心に撮像装置２２０を回転可能に支持する。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置２２０を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置２２０を回転させることで、撮像装置２２０の撮像方向を変更してよい。
回転翼機構２１０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。
撮像装置２２０は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像装置２２０の撮像により得られた画像データは、撮像装置２２０が有するメモリ、又はメモリ１６０に格納される。
撮像装置２３０は、無人飛行体１００の周囲を撮像して撮像画像のデータを生成する。撮像装置２３０の画像データは、メモリ１６０に格納される。
ＧＰＳ受信機２４０は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいて、ＧＰＳ受信機２４０の位置（つまり、無人飛行体１００の位置）を算出する。ＧＰＳ受信機２４０は、無人飛行体１００の位置情報をＵＡＶ制御部１１０に出力する。なお、ＧＰＳ受信機２４０の位置情報の算出は、ＧＰＳ受信機２４０の代わりにＵＡＶ制御部１１０により行われてよい。この場合、ＵＡＶ制御部１１０には、ＧＰＳ受信機２４０が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。
慣性計測装置２５０は、無人飛行体１００の姿勢を検出し、検出結果をＵＡＶ制御部１１０に出力する。慣性計測装置ＩＭＵ２５０は、無人飛行体１００の姿勢として、無人飛行体１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の３軸方向の角速度とを検出する。
磁気コンパス２６０は、無人飛行体１００の機首の方位を検出し、検出結果をＵＡＶ制御部１１０に出力する。
気圧高度計２７０は、無人飛行体１００が飛行する高度を検出し、検出結果をＵＡＶ制御部１１０に出力する。
超音波高度計２８０は、超音波を照射し、地面や物体により反射された超音波を検出し、検出結果をＵＡＶ制御部１１０に出力する。検出結果は、例えば無人飛行体１００から地面までの距離（つまり、高度）を示す。検出結果は、例えば無人飛行体１００から物体までの距離を示してよい。
光照射計の一例としてのレーザ測距計２９０は、無人飛行体１００の飛行高度毎に設定された飛行範囲（飛行コース）の飛行中に被写体に向けてレーザ光を照射し、無人飛行体１００と被写体との間の距離を測距する。測距結果は、ＵＡＶ制御部１１０に入力される。なお、光照射計は、レーザ測距計２９０に限定されず、例えば赤外線を照射する赤外線測距計でよい。
次に、送信機５０の構成例について説明する。
図５は、送信機５０の外観の一例を示す斜視図である。送信機５０に対する上下前後左右の方向は、図５に示す矢印の方向にそれぞれ従うとする。送信機５０は、例えば送信機５０を使用するユーザの両手で把持された状態で使用される。
送信機５０は、例えば略正方形状の底面を有し、かつ高さが底面の一辺より短い略直方体（言い換えると、略箱形）の形状をした樹脂製の筐体５０Ｂを有する。送信機５０の具体的な構成は図６を参照して後述する。送信機５０の筐体表面の略中央には、左制御棒５３Ｌと右制御棒５３Ｒとが突設して配置される。
左制御棒５３Ｌ、右制御棒５３Ｒは、それぞれユーザによる無人飛行体１００の移動を遠隔で制御（例えば、無人飛行体１００の前後移動、左右移動、上下移動、向き変更）するための操作において使用される。図５では、左制御棒５３Ｌ及び右制御棒５３Ｒは、ユーザの両手からそれぞれ外力が印加されていない初期状態の位置が示されている。左制御棒５３Ｌ及び右制御棒５３Ｒは、ユーザにより印加された外力が解放された後、自動的に所定位置（例えば図５に示す初期位置）に復帰する。
左制御棒５３Ｌの手前側（言い換えると、ユーザ側）には、送信機５０の電源ボタンＢ１が配置される。電源ボタンＢ１がユーザにより一度押下されると、例えば送信機５０に内蔵されるバッテリ（不図示）の容量の残量がバッテリ残量表示部Ｌ２において表示される。電源ボタンＢ１がユーザによりもう一度押下されると、例えば送信機５０の電源がオンとなり、送信機５０の各部（図６参照）に電源が供給されて使用可能となる。
右制御棒５３Ｒの手前側（言い換えると、ユーザ側）には、ＲＴＨ（Return To Home）ボタンＢ２が配置される。ＲＴＨボタンＢ２がユーザにより押下されると、送信機５０は、無人飛行体１００に所定の位置に自動復帰させるための信号を送信する。これにより、送信機５０は、無人飛行体１００を所定の位置（例えば無人飛行体１００が記憶している離陸位置）に自動的に帰還させることができる。ＲＴＨボタンＢ２は、例えば屋外での無人飛行体１００による空撮中にユーザが無人飛行体１００の機体を見失った場合、又は電波干渉や予期せぬトラブルに遭遇して操作不能になった場合等に利用可能である。
電源ボタンＢ１及びＲＴＨボタンＢ２の手前側（言い換えると、ユーザ側）には、リモートステータス表示部Ｌ１及びバッテリ残量表示部Ｌ２が配置される。リモートステータス表示部Ｌ１は、例えばＬＥＤ（Light Emission Diode）を用いて構成され、送信機５０と無人飛行体１００との無線の接続状態を表示する。バッテリ残量表示部Ｌ２は、例えばＬＥＤを用いて構成され、送信機５０に内蔵されたバッテリ（不図示）の容量の残量を表示する。
左制御棒５３Ｌ及び右制御棒５３Ｒより後側であって、かつ送信機５０の筐体５０Ｂの後方側面から、２つのアンテナＡＮ１，ＡＮ２が突設して配置される。アンテナＡＮ１，ＡＮ２は、ユーザの左制御棒５３Ｌ及び右制御棒５３Ｒの操作に基づき、送信機制御部６１により生成された信号（つまり、無人飛行体１００の移動を制御するための信号）を無人飛行体１００に送信する。アンテナＡＮ１，ＡＮ２は、例えば２ｋｍの送受信範囲をカバーできる。また、アンテナＡＮ１，ＡＮ２は、送信機５０と無線接続中の無人飛行体１００が有する撮像装置２２０，２３０により撮像された画像、又は無人飛行体１００が取得した各種データが無人飛行体１００から送信された場合に、これらの画像又は各種データを受信できる。
タッチパネルディスプレイＴＰＤ１は、例えばＬＣＤ（Crystal Liquid Display）又は有機ＥＬ（Electroluminescence）を用いて構成される。タッチパネルディスプレイＴＰＤ１の形状、サイズ、及び配置位置は任意であり、図６の図示例に限られない。
図６は、図１の３次元形状推定システム１０を構成する送信機５０のハードウェア構成の一例を示すブロック図である。送信機５０は、左制御棒５３Ｌと、右制御棒５３Ｒと、送信機制御部６１と、無線通信部６３と、メモリ６４と、電源ボタンＢ１と、ＲＴＨボタンＢ２と、操作部セットＯＰＳと、リモートステータス表示部Ｌ１と、バッテリ残量表示部Ｌ２と、タッチパネルディスプレイＴＰＤ１とを含む構成である。送信機５０は、無人飛行体１００を遠隔制御するための操作端末の一例である。
左制御棒５３Ｌは、例えばユーザの左手により、無人飛行体１００の移動を遠隔で制御するための操作に使用される。右制御棒５３Ｒは、例えばユーザの右手により、無人飛行体１００の移動を遠隔で制御するための操作に使用される。無人飛行体１００の移動は、例えば前進する方向の移動、後進する方向の移動、左方向の移動、右方向の移動、上昇する方向の移動、下降する方向の移動、左方向に無人飛行体１００を回転する移動、右方向に無人飛行体１００を回転する移動のうちいずれか又はこれらの組み合わせであり、以下同様である。
電源ボタンＢ１は一度押下されると、一度押下された旨の信号が送信機制御部６１に入力される。送信機制御部６１は、この信号に従い、送信機５０に内蔵されるバッテリ（不図示）の容量の残量をバッテリ残量表示部Ｌ２に表示する。これにより、ユーザは、送信機５０に内蔵されるバッテリの容量の残量を簡単に確認できる。また、電源ボタンＢ１は二度押下されると、二度押下された旨の信号が送信機制御部６１に渡される。送信機制御部６１は、この信号に従い、送信機５０に内蔵されるバッテリ（不図示）に対し、送信機５０内の各部への電源供給を指示する。これにより、ユーザは、送信機５０の電源がオンとなり、送信機５０の使用を簡単に開始できる。
ＲＴＨボタンＢ２は押下されると、押下された旨の信号が送信機制御部６１に入力される。送信機制御部６１は、この信号に従い、無人飛行体１００に所定の位置（例えば無人飛行体１００の離陸位置）に自動復帰させるための信号を生成し、無線通信部６３及びアンテナＡＮ１，ＡＮ２を介して無人飛行体１００に送信する。これにより、ユーザは、送信機５０に対する簡単な操作により、無人飛行体１００を所定の位置に自動で復帰（帰還）させることができる。
操作部セットＯＰＳは、複数の操作部（例えば操作部ＯＰ１，…，操作部ＯＰｎ）（ｎ：２以上の整数）を用いて構成される。操作部セットＯＰＳは、図５に示す左制御棒５３Ｌ、右制御棒５３Ｒ、電源ボタンＢ１及びＲＴＨボタンＢ２を除く他の操作部（例えば、送信機５０による無人飛行体１００の遠隔制御を支援するための各種の操作部）により構成される。ここでいう各種の操作部とは、例えば、無人飛行体１００の撮像装置２２０を用いた静止画の撮像を指示するボタン、無人飛行体１００の撮像装置２２０を用いた動画の録画の開始及び終了を指示するボタン、無人飛行体１００のジンバル２００（図４参照）のチルト方向の傾きを調整するダイヤル、無人飛行体１００のフライトモードを切り替えるボタン、無人飛行体１００の撮像装置２２０の設定を行うダイヤルが該当する。
また、操作部セットＯＰＳは、無人飛行体１００の撮像間隔位置、撮像位置、又は飛行経路を生成するための入力パラメータの情報を入力するパラメータ操作部ＯＰＡを有する。パラメータ操作部ＯＰＡは、スティック、ボタン、キー、タッチパネル、等により形成されてよい。パラメータ操作部ＯＰＡは、左制御棒５３Ｌ、右制御棒５３Ｒにより形成されてもよい。パラメータ操作部ＯＰＡにより入力パラメータに含まれる各パラメータを入力するタイミングは、全て同じでも異なってもよい。
入力パラメータは、飛行範囲の情報、飛行範囲の半径（飛行経路の半径）の情報、飛行範囲の中心位置の情報、被写体の半径の情報、被写体の高さの情報、水平重複率の情報、上下重複率の情報、撮像装置２２０又は撮像装置２３０の解像度の情報、の少なくとも１つを含んでよい。また、入力パラメータは、飛行経路の初期高度の情報、飛行経路の終了高度の情報、飛行コースの初期撮像位置の情報、の少なくとも１つを含んでよい。また、入力パラメータは、水平撮像間隔の情報、上下撮像間隔の情報、の少なくとも１つを含んでよい。
パラメータ操作部ＯＰＡは、緯度・経度の具体的な値又は範囲を入力することで、飛行範囲の情報、飛行範囲の半径（飛行経路の半径）の情報、飛行範囲の中心位置の情報、被写体の半径の情報、被写体の高さ（例えば初期高度、終了高度）の情報、水平重複率の情報、上下重複率の情報、撮像装置２２０又は撮像装置２３０の解像度の情報、の少なくとも１つを入力してよい。パラメータ操作部ＯＰＡは、緯度・経度の具体的な値又は範囲を入力することで、飛行経路の初期高度の情報、飛行経路の終了高度の情報、飛行コースの初期撮像位置の情報、の少なくとも１つを入力してよい。パラメータ操作部ＯＰＡは、緯度・経度の具体的な値又は範囲を入力することで、水平撮像間隔の情報、上下撮像間隔の情報、の少なくも１つを入力してよい。
リモートステータス表示部Ｌ１及びバッテリ残量表示部Ｌ２は、図５を参照して説明したので、ここでは説明を省略する。
送信機制御部６１は、プロセッサ（例えばＣＰＵ、ＭＰＵ又はＤＳＰ）を用いて構成される。送信機制御部６１は、送信機５０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
例えば送信機制御部６１は、ユーザの左制御棒５３Ｌ及び右制御棒５３Ｒの操作により、その操作により指定された無人飛行体１００の移動を制御するための信号を生成する。送信機制御部６１は、この生成した信号を、無線通信部６３及びアンテナＡＮ１，ＡＮ２を介して、無人飛行体１００に送信して無人飛行体１００を遠隔制御する。これにより、送信機５０は、無人飛行体１００の移動を遠隔で制御できる。例えば、設定部の一例としての送信機制御部６１は、無人飛行体１００に対し、飛行高度毎の飛行範囲（飛行コース）を設定する。また、判断部の一例としての送信機制御部６１は、無人飛行体１００の次の飛行高度が所定の飛行高度（つまり、終了高度Ｈｅｎｄ）以下となるか否かを判断する。また、飛行制御部の一例としての送信機制御部６１は、無人飛行体１００に対し、飛行高度毎の飛行範囲（飛行コース）の飛行を制御する。
例えば送信機制御部６１は、無線通信部６３を介して外部サーバ等が蓄積する地図データベースの地図情報を取得する。送信機制御部６１は、表示部ＤＰを介して地図情報を表示し、パラメータ操作部ＯＰＡを介して地図情報でのタッチ操作等により、飛行範囲を選択して、飛行範囲の情報、飛行範囲の半径（飛行経路の半径）の情報を取得してよい。送信機制御部６１は、パラメータ操作部ＯＰＡを介して地図情報でのタッチ操作等により、被写体を選択して、被写体の半径の情報、被写体の高さの情報を取得してよい。また、送信機制御部６１は、被写体の高さの情報を基に、飛行経路の初期高度の情報、飛行経路の終了高度の情報を算出して取得してよい。この初期高度及び終了高度は、被写体の側面の端部が撮像可能な範囲で算出されてよい。
例えば送信機制御部６１は、パラメータ操作部ＯＰＡにより入力された入力パラメータを、無線通信部６３を介して無人飛行体１００へ送信する。入力パラメータに含まれる各パラメータの送信タイミングは、全て同じタイミングでも異なるタイミングでもよい。
送信機制御部６１は、パラメータ操作部ＯＰＡにより得られた入力パラメータの情報を取得し、表示部ＤＰ及び無線通信部６３へ送る。
無線通信部６３は、２つのアンテナＡＮ１，ＡＮ２と接続される。無線通信部６３は、２つのアンテナＡＮ１，ＡＮ２を介して、無人飛行体１００との間で所定の無線通信方式（例えばＷｉｆｉ（登録商標））を用いた情報やデータの送受信を行う。無線通信部６３は、送信機制御部６１からの入力パラメータの情報を、無人飛行体１００へ送信する。
メモリ６４は、例えば送信機制御部６１の動作を規定するプログラムや設定値のデータが格納されたＲＯＭ（Read Only Memory）と、送信機制御部６１の処理時に使用される各種の情報やデータを一時的に保存するＲＡＭ（Random Access Memory）とを有する。メモリ６４のＲＯＭに格納されたプログラムや設定値のデータは、所定の記録媒体（例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ）にコピーされてよい。メモリ６４のＲＡＭには、例えば無人飛行体１００の撮像装置２２０により撮像された空撮画像のデータが保存される。
タッチパネルディスプレイＴＰＤ１は、送信機制御部６１により処理された各種データを表示してよい。タッチパネルディスプレイＴＰＤ１は、入力された入力パラメータの情報を表示する。従って、送信機５０のユーザは、タッチパネルディスプレイＴＰＤ１を参照することで、入力パラメータの内容を確認できる。
なお、送信機５０は、タッチパネルディスプレイＴＰＤ１を備える代わりに、後述する通信端末８０（図１３参照）と有線又は無線により接続されてもよい。通信端末８０には、タッチパネルディスプレイＴＰＤ１と同様に、入力パラメータの情報が表示されてよい。通信端末８０は、スマートフォン、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等でよい。また、通信端末８０が入力パラメータの少なくとも１つを入力し、入力パラメータを有線通信又は無線通信で送信機５０へ送り、送信機５０の無線通信部６３が無人飛行体１００へ入力パラメータを送信してもよい。
図７は、本実施の形態の３次元形状推定システムの第２の構成例を示す図である。図７に示す３次元形状推定システム１０Ａは、無人飛行体１００Ａと送信機５０Ａとを少なくとも含む。無人飛行体１００Ａ及び送信機５０Ａは、有線通信又は無線通信（例えば無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標））により通信可能である。３次元形状推定システムの第２の構成例において、３次元形状推定システムの第１の構成例と同様の事項については、説明を省略又は簡略化する。
図８は、図７の３次元形状推定システムを構成する送信機のハードウェア構成の一例を示すブロック図である。送信機５０Ａは、送信機５０と比較すると、送信機制御部６１の代わりに送信機制御部６１ＡＡを備える。図８の送信機５０Ａにおいて、図６の送信機５０と同様の構成については、同一の符号を付し、説明を省略又は簡略化する。
送信機制御部６１ＡＡは、送信機制御部６１の機能に加え、無人飛行体１００Ａの飛行高度毎に設定される飛行範囲（飛行コース）の生成に関する処理を行う飛行経路処理部６１Ａと、被写体の３次元形状データの推定及び生成に関する処理を行う形状データ処理部６１Ｂとを含む。飛行経路処理部６１Ａは、３次元形状推定システムの第１の構成例における無人飛行体１００のＵＡＶ制御部１１０の飛行経路処理部１１１と同様である。形状データ処理部６１Ｂは、３次元形状推定システムの第１の構成例における無人飛行体１００のＵＡＶ制御部１１０の形状データ処理部１１２と同様である。
飛行経路処理部６１Ａは、パラメータ操作部ＯＰＡに入力された入力パラメータを取得する。飛行経路処理部６１Ａは、入力パラメータを必要に応じてメモリ６４に保持する。飛行経路処理部６１Ａは、必要に応じて（例えば撮像位置間隔の算出時、撮像位置の決定時、飛行範囲（飛行コース）の生成時）にメモリ６４から入力パラメータの少なくとも一部を読み込む。
メモリ６４は、送信機５０Ａ内の各部を制御するのに必要なプログラム等を格納する。メモリ６４は、飛行経路処理部６１Ａ及び形状データ処理部６１Ｂの実行に必要なプログラム等を格納する。メモリ６４は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ６４は、送信機５０Ａの内部に設けられてよい。送信機５０Ａから取り外し可能に設けられてよい。
飛行経路処理部６１Ａは、３次元形状推定システムの第１の構成例の飛行経路処理部１１１と同様の方法で、撮像位置間隔の取得（例えば算出）、撮像位置の決定、飛行範囲（飛行コース）の生成及び設定等をしてよい。ここでは詳細な説明を省略する。送信機５０Ａは、パラメータ操作部ＯＰＡによる入力パラメータの入力から撮像位置間隔の取得（例えば算出）、撮像位置の決定、飛行範囲（飛行コース）の生成及び設定に至るまで、１つの装置で処理できる。よって、撮像位置の決定及び飛行範囲（飛行コース）の生成及び設定において通信が発生しないので、通信環境の良否に左右されずに撮像位置の決定及び飛行範囲（飛行コース）の生成及び設定が可能となる。飛行経路処理部６１Ａは、無線通信部６３を介して、決定された撮像位置の情報及び生成された飛行範囲（飛行コース）の情報を、無人飛行体１００Ａへ送信する。
形状データ処理部６１Ｂは、無線通信部６３を介して、無人飛行体１００Ａにより撮像された撮像画像を受信して取得してよい。受信された撮像画像は、メモリ６４に保持されてよい。形状データ処理部６１Ｂは、取得された複数の撮像画像を基に、オブジェクト（被写体）の立体形状（３次元形状）を示す立体情報（３次元情報、３次元形状データ）を生成してよい。複数の撮像画像に基づく３次元形状データの生成手法としては、公知の方法を用いてよい。公知の方法として、例えば、ＭＶＳ、ＰＭＶＳ、ＳfＭが挙げられる。
図９は、図７の３次元形状推定システムを構成する無人飛行体のハードウェア構成の一例を示すブロック図である。無人飛行体１００Ａは、無人飛行体１００と比較すると、ＵＡＶ制御部１１０の代わりにＵＡＶ制御部１１０Ａを備える。ＵＡＶ制御部１１０Ａは、図４に示す飛行経路処理部１１１及び形状データ処理部１１２を備えない。図９の無人飛行体１００Ａにおいて、図４の無人飛行体１００と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
ＵＡＶ制御部１１０Ａは、通信インタフェース１５０を介して、各撮像位置の情報及び飛行範囲（飛行コース）の情報を送信機５０Ａから受信して取得してよい。撮像位置の情報及び飛行範囲（飛行コース）の情報は、メモリ１６０に保持されてよい。ＵＡＶ制御部１１０Ａは、送信機５０Ａから取得した撮像位置の情報及び飛行範囲（飛行コース）の情報に基づいて、無人飛行体１００Ａの飛行を制御し、飛行範囲（飛行コース）における各撮像位置において、被写体の側面を撮像する。各撮像画像は、メモリ１６０に保持されてよい。ＵＡＶ制御部１１０Ａは、通信インタフェース１５０を介して、撮像装置２２０又は２３０により撮像された撮像画像を送信機５０Ａへ送信してよい。
図１０は、本実施の形態の３次元形状推定システムの第３の構成例を示す図である。図１０に示す３次元形状推定システム１０Ｂは、無人飛行体１００Ａ（図７参照）と送信機５０（図１参照）とを少なくとも含む。無人飛行体１００Ａと送信機５０とは、有線通信又は無線通信（例えば無線ＬＡＮ（Local Area Network）、又はＢｌｕｅｔｏｏｔｈ（登録商標））を用いて、情報やデータを互いに通信することが可能である。なお図１０では、送信機５０の筐体に通信端末８０が取り付けられた様子の図示が省略されている。３次元形状推定システムの第３の構成例において、３次元形状推定システムの第１の構成例又は第２の構成例と同様の事項については、説明を省略又は簡略化する。
図１１は、図１０の３次元形状推定システム１０Ｂを構成する通信端末（例えばタブレット端末８０Ｔ）が装着された送信機５０の外観の一例を示す斜視図である。第３の構成例において、上下前後左右の方向は、図１１に示す矢印の方向に従うとする。
ホルダ支持部５１は、例えば略Ｔ字状に加工された金属を用いて構成され、３つの接合部を有する。３つの接合部のうち、２つの接合部（第１の接合部、第２の接合部）が筐体５０Ｂに接合され、１つの接合部（第３の接合部）がホルダＨＬＤに接合される。第１の接合部は、送信機５０の筐体５０Ｂの表面の略中央（例えば、左制御棒５３Ｌと右制御棒５３Ｒと電源ボタンＢ１とＲＴＨボタンＢ２とにより囲まれる位置）に挿設される。第２の接合部は、送信機５０の筐体５０Ｂの表面の後側（例えば、左制御棒５３Ｌ及び右制御棒５３Ｒよりも後側の位置）にネジ（不図示）を介して挿設される。第３の接合部は、送信機５０の筐体５０Ｂの表面から離反した位置に設けられ、ヒンジ（不図示）を介してホルダＨＬＤに固定される。第３の接合部は、ホルダＨＬＤを支持する支点としての役割を有する。ホルダ支持部５１は、送信機５０の筐体５０Ｂの表面から離反した状態でホルダＨＬＤを支持する。ユーザの操作により、ヒンジを介して、ホルダＨＬＤの角度の調整が可能である。
ホルダＨＬＤは、通信端末（例えば図１１ではタブレット端末８０Ｔ）の載置面と、載置面の一端側において載置面を基準として上側に略９０度起立する上端壁部ＵＰ１と、載置面の他端側において載置面を基準として上側に略９０度起立する下端壁部ＵＰ２とを有する。ホルダＨＬＤは、上端壁部ＵＰ１と載置面と下端壁部ＵＰ２とで挟み込むようにタブレット端末８０Ｔを固定して保持可能である。載置面の幅（言い換えると、上端壁部ＵＰ１と下端壁部ＵＰ２との間の距離）は、ユーザにより調整可能である。載置面の幅は、例えばタブレット端末８０Ｔが挟み込まれるように、タブレット端末８０Ｔの筐体の一方向の幅と略同一となるように調整される。
図１１に示すタブレット端末８０Ｔには、ＵＳＢケーブル（不図示）の一端が挿入されるＵＳＢコネクタＵＪ１が設けられる。タブレット端末８０Ｔは、表示部の一例としてのタッチパネルディスプレイＴＰＤ２を有する。従って、送信機５０は、ＵＳＢケーブル（不図示）を介して、タブレット端末８０ＴのタッチパネルディスプレイＴＰＤ２と接続可能となる。また、送信機５０は、筐体５０Ｂの背面側にＵＳＢポート（不図示）を有する。ＵＳＢケーブル（不図示）の他端は、送信機５０のＵＳＢポート（不図示）に挿入される。これにより、送信機５０は、通信端末８０（例えばタブレット端末８０Ｔ）との間で、例えばＵＳＢケーブル（不図示）を介して情報やデータの入出力を行える。なお、送信機５０は、マイクロＵＳＢポート（不図示）を有してよい。マイクロＵＳＢポート（不図示）には、マイクロＵＳＢケーブル（不図示）が接続される。
図１２は、図１０の３次元形状推定システム１０Ｂを構成する通信端末（例えばスマートフォン８０Ｓ）が装着された送信機５０の筐体前面側の外観の一例を示す斜視図である。図１２の説明において、図１１の説明と重複するものについては、同一の符号を付与して説明を簡略化又は省略する。
ホルダＨＬＤは、上端壁部ＵＰ１と下端壁部ＵＰ２との間の略中央部に、左爪部ＴＭＬ及び右爪部ＴＭＲを有してよい。左爪部ＴＭＬ及び右爪部ＴＭＲは、例えばホルダＨＬＤが幅広のタブレット端末８０Ｔを保持する際には、載置面に沿うように倒される。一方、左爪部ＴＭＬ及び右爪部ＴＭＲは、例えばホルダＨＬＤがタブレット端末８０Ｔより幅狭のスマートフォン８０Ｓを保持する際には、載置面を基準として上側に略９０度起立する。これにより、スマートフォン８０Ｓは、ホルダＨＬＤの上端壁部ＵＰ１と左爪部ＴＭＬ及び右爪部ＴＭＲとにより保持される。
図１２に示すスマートフォン８０Ｓには、ＵＳＢケーブル（不図示）の一端が挿入されるＵＳＢコネクタＵＪ２が設けられる。スマートフォン８０Ｓは、表示部の一例としてのタッチパネルディスプレイＴＰＤ２を有する。このため、送信機５０は、ＵＳＢケーブル（不図示）を介して、スマートフォン８０ＳのタッチパネルディスプレイＴＰＤ２と接続可能となる。これにより、送信機５０は、通信端末８０（例えばスマートフォン８０Ｓ）との間で、例えばＵＳＢケーブル（不図示）を介して情報やデータの入出力を行える。
また、左制御棒５３Ｌ及び右制御棒５３Ｒより後側であって、かつ送信機５０の筐体５０Ｂの後方側面から、２つのアンテナＡＮ１，ＡＮ２が突設して配置される。アンテナＡＮ１，ＡＮ２は、ユーザの左制御棒５３Ｌ及び右制御棒５３Ｒの操作に基づき、送信機制御部６１により生成された信号（つまり、無人飛行体１００の動きや処理を制御するための信号）を無人飛行体１００に送信する。アンテナＡＮ１，ＡＮ２は、例えば２ｋｍの送受信範囲をカバーできる。また、アンテナＡＮ１，ＡＮ２は、送信機５０と無線接続中の無人飛行体１００が有する撮像装置２２０，２３０により撮像された画像、又は無人飛行体１００が取得した各種データが無人飛行体１００から送信された場合に、これらの画像又は各種データを受信できる。
図１３は、図１０の３次元形状推定システム１０Ｂを構成する、送信機５０と通信端末８０との電気的な接続関係の一例を示すブロック図である。例えば図１１又は図１２を参照して説明したように、送信機５０と通信端末８０とは、ＵＳＢケーブル（不図示）を介して情報やデータが入出力可能に接続される。
送信機５０は、左制御棒５３Ｌと、右制御棒５３Ｒと、送信機制御部６１と、無線通信部６３と、メモリ６４と、送信機側ＵＳＢインタフェース部６５と、電源ボタンＢ１と、ＲＴＨボタンＢ２と、操作部セットＯＰＳと、リモートステータス表示部Ｌ１と、バッテリ残量表示部Ｌ２とを含む構成である。送信機５０は、ユーザの操作（例えばタッチ又はタップ）を検知可能なタッチパネルディスプレイＴＤＰ１を有してもよい。
また、送信機制御部６１は、例えば無人飛行体１００の撮像装置２２０により撮像された空撮画像のデータを、無線通信部６３を介して取得してメモリ６４に保存し、タッチパネルディスプレイＴＰＤ１に表示する。これにより、無人飛行体１００の撮像装置２２０により撮像された空撮画像は、送信機５０のタッチパネルディスプレイＴＰＤ１において表示可能となる。
また、送信機制御部６１は、例えば無人飛行体１００の撮像装置２２０により撮像された空撮画像のデータを、送信機側ＵＳＢインタフェース部６５を介して通信端末８０に出力してよい。つまり、送信機制御部６１は、空撮画像のデータを通信端末８０のタッチパネルディスプレイＴＰＤ２に表示させてよい。これにより、無人飛行体１００の撮像装置２２０により撮像された空撮画像は、通信端末８０のタッチパネルディスプレイＴＰＤ２において表示可能となる。
無線通信部６３は、例えば無人飛行体１００との無線通信により、無人飛行体１００の撮像装置２２０により撮像された空撮画像のデータを受信する。無線通信部６３は、空撮画像のデータを送信機制御部６１に出力する。また、無線通信部６３は、ＧＰＳ受信機２４０（図４参照）を有する無人飛行体１００により算出された無人飛行体１００の位置情報を受信する。無線通信部６３は、無人飛行体１００の位置情報を送信機制御部６１に出力する。
送信機側ＵＳＢインタフェース部６５は、送信機５０と通信端末８０との間の情報やデータの入出力を行う。送信機側ＵＳＢインタフェース部６５は、例えば送信機５０に設けられたＵＳＢポート（不図示）により構成される。
通信端末８０は、プロセッサ８１と、端末側ＵＳＢインタフェース部８３と、無線通信部８５と、メモリ８７と、ＧＰＳ（Global Positioning System）受信機８９と、タッチパネルディスプレイＴＰＤ２とを含む構成である。通信端末８０は、例えばタブレット端末８０Ｔ（図１１参照）又はスマートフォン８０Ｓ（図１２参照）である。
プロセッサ８１は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成される。プロセッサ８１は、通信端末８０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
例えば、設定部の一例としてのプロセッサ８１は、無人飛行体１００に対し、飛行高度毎の飛行範囲（飛行コース）を設定する。また、判断部の一例としてのプロセッサ８１は、無人飛行体１００の次の飛行高度が所定の飛行高度（つまり、終了高度Ｈｅｎｄ）以下となるか否かを判断する。また、飛行制御部の一例としてのプロセッサ８１は、無人飛行体１００に対し、飛行高度毎の飛行範囲（飛行コース）の飛行を制御する。
プロセッサ８１は、メモリ８７に記憶されるプログラム及びデータを読み出して実行することにより、無人飛行体１００Ａの飛行高度毎に設定される飛行範囲（飛行コース）の生成に関する処理を行う飛行経路処理部８１Ａと、被写体の３次元形状データの推定及び生成に関する処理を行う形状データ処理部８１Ｂとして動作する。飛行経路処理部８１Ａは、３次元形状推定システムの第１の構成例における無人飛行体１００のＵＡＶ制御部１１０の飛行経路処理部１１１と同様である。形状データ処理部８１Ｂは、３次元形状推定システムの第１の構成例における無人飛行体１００のＵＡＶ制御部１１０の形状データ処理部１１２と同様である。
飛行経路処理部８１Ａは、タッチパネルディスプレイＴＰＤ２に入力された入力パラメータを取得する。飛行経路処理部８１Ａは、入力パラメータを必要に応じてメモリ８７に保持する。飛行経路処理部８１Ａは、必要に応じて（例えば撮像位置間隔の算出時、撮像位置の決定時、飛行範囲（飛行コース）の生成時）にメモリ８７から入力パラメータの少なくとも一部を読み込む。
飛行経路処理部８１Ａは、３次元形状推定システムの第１の構成例の飛行経路処理部１１１と同様の方法で、撮像位置間隔の取得（例えば算出）、撮像位置の決定、飛行範囲（飛行コース）の生成及び設定等をしてよい。ここでは詳細な説明を省略する。通信端末８０は、タッチパネルディスプレイＴＰＤ２による入力パラメータの入力から撮像位置間隔の取得（例えば算出）、撮像位置の決定、飛行範囲（飛行コース）の生成及び設定に至るまで、１つの装置で処理できる。よって、撮像位置の決定及び飛行範囲（飛行コース）の生成及び設定において通信が発生しないので、通信環境の良否に左右されずに撮像位置の決定及び飛行範囲（飛行コース）の生成及び設定が可能となる。飛行経路処理部８１Ａは、無線通信部６３を介して、決定された撮像位置の情報及び生成された飛行範囲（飛行コース）の情報を、送信機５０を介して無人飛行体１００Ａへ送信する。
形状推定部の一例としての形状データ処理部８１Ｂは、送信機５０を介して、無人飛行体１００Ａにより撮像された撮像画像を受信して取得してよい。受信された撮像画像は、メモリ８７に保持されてよい。形状データ処理部８１Ｂは、取得された複数の撮像画像を基に、オブジェクト（被写体）の立体形状（３次元形状）を示す立体情報（３次元情報、３次元形状データ）を生成してよい。複数の撮像画像に基づく３次元形状データの生成手法としては、公知の方法を用いてよい。公知の方法として、例えば、ＭＶＳ、ＰＭＶＳ、ＳfＭが挙げられる。
また、例えばプロセッサ８１は、端末側ＵＳＢインタフェース部８３を介して取得した撮像画像のデータをメモリ８７に保存し、タッチパネルディスプレイＴＰＤ２に表示する。言い換えると、プロセッサ８１は、無人飛行体１００により撮像された空撮画像のデータをタッチパネルディスプレイＴＰＤ２に表示する。
端末側ＵＳＢインタフェース部８３は、通信端末８０と送信機５０との間の情報やデータの入出力を行う。端末側ＵＳＢインタフェース部８３は、例えばタブレット端末８０Ｔに設けられたＵＳＢコネクタＵＪ１、又はスマートフォン８０Ｓに設けられたＵＳＢコネクタＵＪ２により構成される。
無線通信部８５は、通信端末８０に内蔵されるアンテナ（不図示）を介して、インターネット等の広域網ネットワーク（不図示）と接続される。無線通信部８５は、広域網ネットワークに接続された他の通信機器（不図示）との間で情報やデータを送受信する。
メモリ８７は、例えば通信端末８０の動作（例えば、本実施の形態に係る飛行経路表示方法として行われる処理（ステップ））を規定するプログラムや設定値のデータが格納されたＲＯＭと、プロセッサ８１の処理時に使用される各種の情報やデータを一時的に保存するＲＡＭとを有する。メモリ８７のＲＯＭに格納されたプログラムや設定値のデータは、所定の記録媒体（例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ）にコピーされてよい。メモリ８７のＲＡＭには、例えば無人飛行体１００の撮像装置２２０により撮像された空撮画像のデータが保存される。
ＧＰＳ受信機８９は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機８９は、受信された複数の信号に基づいて、ＧＰＳ受信機８９の位置（つまり、通信端末８０の位置）を算出する。通信端末８０と送信機５０とはＵＳＢケーブル（不図示）を介して接続されているがほぼ同じ位置にあると考えることができる。このため、通信端末８０の位置は、送信機５０の位置と略同一と考えることができる。なお、ＧＰＳ受信機８９は通信端末８０内に設けられるとして説明したが、送信機５０内にも設けられてよい。また、通信端末８０と送信機５０との接続方法は、ＵＳＢケーブルＣＢＬによる有線接続に限定されず、既定の近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）による無線接続でよい。ＧＰＳ受信機８９は、通信端末８０の位置情報をプロセッサ８１に出力する。なお、ＧＰＳ受信機８９の位置情報の算出は、ＧＰＳ受信機８９の代わりにプロセッサ８１により行われてよい。この場合、プロセッサ８１には、ＧＰＳ受信機８９が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。
タッチパネルディスプレイＴＰＤ２は、例えばＬＣＤ又は有機ＥＬを用いて構成され、プロセッサ８１から出力された各種の情報やデータを表示する。タッチパネルディスプレイＴＰＤ２は、例えば無人飛行体１００により撮像された空撮画像のデータを表示する。タッチパネルディスプレイＴＰＤ２は、ユーザの操作（例えば、タッチ又はタップ）の入力操作を検知可能である。
次に、無人飛行体１００の飛行範囲（飛行コース）における撮像位置の間隔を示す撮像位置間隔の具体的な算出方法について説明する。なお、図１４Ａ、図１４Ｂ、図１５及び図１６の説明においては、説明を分かり易くするために、被写体ＢＬｚの形状を簡単な形状（例えば円柱状）として説明する。但し、図１４Ａ、図１４Ｂ、図１５及び図１６の説明は、被写体ＢＬｚの形状が複雑な形状（つまり、被写体の形状が無人飛行体の飛行高度によって変化する）であってもよい。
図１４Ａは、被写体ＢＬの周辺を上空から見た平面図である。図１４Ｂは、被写体ＢＬを正面から見た正面図である。被写体ＢＬｚの正面は、被写体ＢＬｚを側方（水平方向）から見た側面図の一例である。図１４Ａ及び図１４Ｂでは、被写体ＢＬｚはビルでよい。
飛行経路処理部１１１は、数式（１）を用いて、無人飛行体１００の飛行高度毎に設定された飛行範囲（飛行コース）の水平方向の撮像位置間隔を示す水平撮像間隔ｄｆｏｒｗａｒｄを算出してよい。
Figure 0006878567
数式（１）における各パラメータの意味を、以下に示す。
Ｒｆｌｉｇｈｔ０：初期飛行コースＣ１（図１７参照）の無人飛行体１００の初期飛行半径
Ｒｏｂｊ０：初期飛行コースＣ１（図１７参照）の無人飛行体１００の飛行高度に対応する被写体ＢＬの半径（つまり、被写体ＢＬｚを示す近似円の半径）
ＦＯＶ（Field of View）１：撮像装置２２０又は撮像装置２３０の水平画角
ｒｆｏｒｗａｒｄ：水平重複率
飛行経路処理部１１１は、入力パラメータに含まれる被写体ＢＬｚの中心位置ＢＬｃ（図１５参照）の情報（例えば緯度及び経度の各情報）を、通信インタフェース１５０を介して送信機５０から受信してよい。
飛行経路処理部１１１は、初期飛行半径Ｒｆｌｉｇｈｔ０を、撮像装置２２０又は撮像装置２３０の設定解像度に基づいて算出してよい。この場合、飛行経路処理部１１１は、入力パラメータに含まれる設定解像度の情報を、通信インタフェース１５０を介して送信機５０から受信してよい。飛行経路処理部１１１は、入力パラメータに含まれる初期飛行半径Ｒｆｌｉｇｈｔ０の情報を受信してよい。飛行経路処理部１１１は、入力パラメータに含まれる初期飛行コースＣ１（図１７参照）の無人飛行体１００の飛行高度に対応する被写体ＢＬｚの半径Ｒｏｂｊ０の情報を、通信インタフェース１５０を介して送信機５０から受信してよい。
水平画角ＦＯＶ１の情報は、無人飛行体１００に係るハードウェアの情報としてメモリ１６０に保持されてよく、又は送信機５０から取得されてもよい。飛行経路処理部１１１は、水平撮像間隔を算出する際に、メモリ１６０から水平画角ＦＯＶ１の情報を読み込んでよい。飛行経路処理部１１１は、水平重複率ｒｆｏｒｗａｒｄの情報を、通信インタフェース１５０を介して送信機５０から受信してよい。水平重複率ｒｆｏｒｗａｒｄは、例えば９０％である。
飛行経路処理部１１１は、取得（算出又は受信）された撮像位置間隔に基づいて、飛行経路における各飛行コースＦＣの撮像位置ＣＰ（Waypoint）を算出する。飛行経路処理部１１１は、各飛行コースＦＣでは、水平撮像間隔毎に等間隔で撮像位置ＣＰを配置してよい。飛行経路処理部１１１は、上下方向に隣り合う飛行コースＦＣ間では、上下撮像間隔毎に等間隔で撮像位置ＣＰを配置してよい。
飛行経路処理部１１１は、水平方向での撮像位置ＣＰの配置に際し、任意の飛行コースＦＣにおける初期の撮像位置ＣＰ（最初の撮像位置ＣＰ）を１点定めて配置し、初期の撮像位置ＣＰを基点として水平撮像間隔毎に、飛行コースＦＣ上に順に等間隔に撮像位置ＣＰを配置してよい。飛行経路処理部１１１は、水平撮像間隔で撮像位置ＣＰを配置した結果、飛行コースＦＣ上を一周後の撮像位置ＣＰを、初期の撮像位置ＣＰと同位置に配置しなくてもよい。つまり、飛行コースの一周である３６０度が撮像位置ＣＰにより等間隔に分割されなくてもよい。よって、同一の飛行コースＦＣ上で水平撮像間隔が等間隔でない間隔が存在してよい。撮像位置ＣＰと初期の撮像位置ＣＰとの距離は、水平撮像間隔と同じ又は水平撮像間隔より短い。
図１５は、水平撮像間隔ｄｆｏｒｗａｒｄを算出するための説明図である。
水平画角ＦＯＶ１は、撮像装置２２０又は撮像装置２３０による撮像範囲の水平方向成分ｐｈ１及び撮像距離としての被写体ＢＬｚまでの距離を用いて、数式（２）のように近似できる。
Figure 0006878567
従って、飛行経路処理部１１１は、数式（１）の一部である（Ｒｆｌｉｇｈｔ０−Ｒｏｂｊ０）×ＦＯＶ１＝ｐｈ１を算出する。画角ＦＯＶ（ここではＦＯＶ１）は、上式から明らかなように、長さ（距離）の比によって示される。
飛行経路処理部１１１は、撮像装置２２０又は撮像装置２３０により複数の撮像画像を取得する場合、隣り合う２つの撮像画像の撮像範囲を一部重複させてよい。飛行経路処理部１１１は、複数の撮像範囲を一部重複させることで、３次元形状データの生成が可能となる。
飛行経路処理部１１１は、撮像範囲の水平方向成分ｐｈ１において隣接する撮像範囲の水平方向成分と重複しない非重複部分を、数式（１）の一部である（ｐｈ１×（１−ｒｆｏｒｗａｒｄ））として算出する。飛行経路処理部１１１は、初期飛行半径Ｒｆｌｉｇｈｔ０と初期飛行コースＣ１における被写体ＢＬｚの半径Ｒｏｂｊ０との比に基づいて、撮像範囲の水平方向成分ｐｈ１における非重複部分を、飛行範囲の周端（飛行経路）に至るまで拡大し、水平撮像間隔ｄｆｏｒｗａｒｄとして撮像する。
飛行経路処理部１１１は、水平撮像間隔ｄｆｏｒｗａｒｄの代わりに、水平角度θｆｏｒｗａｒｄを算出してよい。図１６は、水平角度θｆｏｒｗａｒｄの一例を示す模式図である。水平角度は、例えば数式（３）を用いて算出される。
Figure 0006878567
また、飛行経路処理部１１１は、数式（４）を用いて、上下方向の撮像位置間隔を示す上下撮像間隔ｄｓｉｄｅを算出してよい。
Figure 0006878567
数式（４）における各パラメータの意味を、以下に示す。なお、数式（１）で用いたパラメータについては、説明を省略する。
ＦＯＶ（Field of View）２：撮像装置２２０又は撮像装置２３０の上下画角
ｒｓｉｄｅ：上下重複率
上下画角ＦＯＶ２の情報は、ハードウェアの情報としてメモリ１６０に保持されている。飛行経路処理部１１１は、上下撮像間隔を算出する際に、メモリ１６０から水平画角ＦＯＶ１の情報を読み込んでよい。飛行経路処理部１１１は、入力パラメータに含まれる上下重複率ｒｓｉｄｅの情報を、通信インタフェース１５０を介して送信機５０から受信してよい。上下重複率ｒｆｏｒｗａｒｄは、例えば６０％である。
数式（１）と数式（４）とを比較すると、上下撮像間隔ｄｓｉｄｅの算出方法は、水平撮像間隔ｄｆｏｒｗａｒｄの算出方法とほぼ同様であるが、数式（１）の最後の項（Ｒｆｌｉｇｈｔ０／Ｒｏｂｊ０）が数式（４）には存在しない。これは、撮像範囲の上下方向成分ｐｈ２（不図示）が、撮像範囲の水平方向成分ｐｈ１と異なり、上下方向において隣り合う撮像位置の距離にそのまま相当するためである。
なお、ここでは主に、飛行経路処理部１１１が、撮像位置間隔を算出して取得することを例示した。この代わりに、飛行経路処理部１１１が通信インタフェース１５０を介して送信機５０から撮像位置間隔の情報を受信して取得してよい。
このように、撮像位置間隔が水平撮像間隔を含むことで、無人飛行体１００は、同一の飛行コース上に複数の撮像位置を配置できる。従って、無人飛行体１００は、高度を変更せずに複数の撮像位置を通過でき、安定して飛行できる。また、無人飛行体１００は、水平方向を被写体ＢＬｚの周囲を一周して撮像画像を安定して取得できる。また、同じ被写体ＢＬｚを異なる角度で撮像画像を多数取得できるので、被写体ＢＬｚの側方の全周にわたって３次元形状データの復元精度を向上できる。
また、飛行経路処理部１１１は、少なくとも被写体ＢＬｚの半径と初期飛行半径と撮像装置２２０又は２３０の水平画角と水平重複率とに基づいて、水平撮像間隔を決定してよい。従って、無人飛行体１００は、特定の被写体ＢＬｚの大きさや飛行範囲等、各種パラメータを考慮して、３次元復元に必要される水平方向の複数の撮像画像を好適に取得できる。また、水平重複率を大きくする等、撮像位置の間隔が狭くなると、水平方向での撮像画像の枚数が増加し、無人飛行体１００は、３次元復元の精度を更に向上できる。
また、撮像位置間隔が上下撮像間隔を含むことで、無人飛行体１００は、上下方向の異なる位置、つまり異なる高度で撮像画像を取得できる。つまり、無人飛行体１００は、特に上空からの画一的な撮像では取得することが困難な異なる高度での撮像画像を取得できる。よって、３次元形状データの生成時に欠損領域が発生することを抑制できる。
また、飛行経路処理部１１１は、少なくとも被写体ＢＬｚの半径と初期飛行半径と撮像装置２２０又は２３０の上下画角と上下重複率とに基づいて、上下撮像間隔を決定してよい。これにより、無人飛行体１００は、特定の被写体ＢＬｚの大きさや飛行範囲等、各種パラメータを考慮して、３次元復元に必要とされる上下方向の複数の撮像画像を好適に取得できる。また、上下重複率を大きくする等、撮像位置の間隔が狭くなると、上下方向での撮像画像の枚数が増加し、無人飛行体１００は、３次元復元の精度を更に向上できる。
次に、実施の形態１の被写体ＢＬの３次元形状の推定の動作内容について、図１７及び図１８を参照して説明する。図１７は、実施の形態１の被写体の３次元形状の推定の動作概要の説明図である。図１８は、実施の形態１の３次元形状推定方法の動作手順の一例を示すフローチャートである。以下、無人飛行体１００が被写体ＢＬの３次元形状を推定するとして説明する。
図１７に示すように、不規則な形状を有する被写体ＢＬは、無人飛行体１００の飛行高度の飛行範囲（飛行コース）によって、その飛行高度の飛行範囲（飛行コース）に対応する被写体ＢＬの形状の半径及び中心位置が異なり、連続的に変化している。
そこで、実施の形態１では、図１７に示すように、無人飛行体１００は、例えば先ず被写体ＢＬの頂上付近（つまり、高度Ｈｓｔａｒｔの位置）の周囲を円旋回して飛行する。無人飛行体１００は、その飛行中にその飛行高度における被写体ＢＬを、複数の撮像位置（図１４Ａの撮像位置ＣＰ参照）のうち隣接する撮像位置において撮像範囲を一部重複させて空撮を行う。無人飛行体１００は、その空撮により得られた複数の撮像画像に基づいて、次の飛行高度における飛行範囲（飛行コース）を算出して設定する。
無人飛行体１００は、設定された次の飛行高度（例えば、高度Ｈｓｔａｒｔから上下撮像間隔ｄｓｉｄｅの減算値に対応する飛行高度）に降下し、その飛行高度の飛行範囲（飛行コース）を同様に円旋回して飛行する。図１７では、初期飛行コースＣ１と飛行コースＣ２との間の間隔は、高度Ｈｓｔａｒｔから上下撮像間隔ｄｓｉｄｅの減算値に対応する。同様に、飛行コースＣ２と飛行コースＣ３との間の間隔は、飛行コースＣ２の飛行高度から上下撮像間隔ｄｓｉｄｅの減算値に対応する。以下同様にして、飛行コースＣ７と飛行コースＣ８との間の間隔は、飛行コースＣ７の飛行高度から上下撮像間隔ｄｓｉｄｅの減算値に対応する。
無人飛行体１００は、その飛行中にその飛行高度における被写体ＢＬを、複数の撮像位置（図１４Ａの撮像位置ＣＰ参照）のうち隣接する撮像位置において撮像範囲を一部重複させて空撮を行う。無人飛行体１００は、その空撮により得られた被写体の情報の一例としての複数の撮像画像に基づいて、次の飛行高度における飛行範囲（飛行コース）を算出して設定する。なお、無人飛行体１００が次の飛行高度における飛行範囲（飛行コース）を算出して設定する方法は、無人飛行体１００の空撮により得られた複数の撮像画像を用いる方法に限定されない。例えば、無人飛行体１００は、例えば無人飛行体１００が備える赤外線測距計（不図示）からの赤外線又はレーザ測距計２９０からのレーザ光とＧＰＳの位置情報とを被写体の情報の一例として用いて、次の飛行高度における飛行範囲（飛行コース）を算出して設定してよく、以下同様である。
このように、無人飛行体１００は、現在の飛行高度の飛行範囲（飛行コース）の飛行中に得た複数の撮像画像に基づいて、次の飛行高度の飛行範囲（飛行コース）を設定する。無人飛行体１００は、現在の飛行高度が所定の終了高度Ｈｅｎｄ以下となるまで、飛行高度毎の飛行範囲（飛行コース）における被写体ＢＬの空撮と次の飛行高度の飛行範囲（飛行コース）の設定とを繰り返す。
図１７では、無人飛行体１００は、不規則な形状を有する被写体ＢＬの３次元形状を推定するために、入力パラメータに基づいて初期飛行範囲（初期飛行コースＣ１）を設定し、例えば合計８個の飛行範囲（つまり、初期飛行コースＣ１、飛行コースＣ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ７，Ｃ８）を設定する。そして、無人飛行体１００は、それぞれの飛行高度の飛行コースにおいて撮像した被写体ＢＬの複数の撮像画像に基づいて、被写体ＢＬの３次元形状を推定する。
図１８において、ＵＡＶ制御部１１０の飛行経路処理部１１１は、入力パラメータを取得する（Ｓ１）。入力パラメータは、例えば無人飛行体１００のメモリ１６０に全て保持されてよいし、或いは、送信機５０又は通信端末８０からの通信を介して無人飛行体１００により受信されてよい。
ここで、入力パラメータは、無人飛行体１００の初期飛行コースＣ１の高度（言い換えると、被写体ＢＬの高さを示す高度Ｈｓｔａｒｔ）の情報と、初期飛行コースＣ１の中心位置Ｐ０（言い換えると、被写体ＢＬの頂上付近の中心位置）の情報（例えば緯度及び経度）とを有する。また、入力パラメータは、初期飛行コースＣ１における初期飛行半径Ｒｆｌｉｇｈｔ０の情報を更に含んでよい。設定部の一例としてのＵＡＶ制御部１１０の飛行経路処理部１１１は、これらの各入力パラメータにより定まる、被写体ＢＬの頂上付近の周囲を囲む円範囲を無人飛行体１００の初期飛行コースＣ１として設定する。これにより、無人飛行体１００は、不規則な形状を有する被写体ＢＬの３次元形状を推定するための初期飛行コースＣ１を簡易かつ適切に設定できる。なお、初期飛行範囲（初期飛行コースＣ１）の設定は無人飛行体１００に限らず、モバイルプラットフォームの一例としての送信機５０又は通信端末８０において行われてよい。
入力パラメータは、無人飛行体１００の初期飛行コースＣ１の高度（言い換えると、被写体ＢＬの高さを示す高度Ｈｓｔａｒｔ）の情報と、初期飛行コースＣ１の中心位置Ｐ０（言い換えると、被写体ＢＬの頂上付近の中心位置）の情報（例えば緯度及び経度）とを有する。また、入力パラメータは、初期飛行コースＣ１における被写体の半径Ｒｏｂｊ０の情報及び撮像装置２２０，２３０の設定解像度の情報を含んでよい。ＵＡＶ制御部１１０の飛行経路処理部１１１は、これらの各入力パラメータにより定まる、被写体ＢＬの頂上付近の周囲を囲む円範囲を無人飛行体１００の初期飛行コースＣ１として設定する。これにより、無人飛行体１００は、不規則な形状を有する被写体ＢＬの３次元形状を推定するための初期飛行コースＣ１を、撮像装置２２０，２３０の設定解像度を反映した上で適切に設定できる。なお、初期飛行範囲（初期飛行コースＣ１）の設定は無人飛行体１００に限らず、モバイルプラットフォームの一例としての送信機５０又は通信端末８０において行われてよい。
ＵＡＶ制御部１１０の飛行経路処理部１１１は、ステップＳ１により取得された入力パラメータを用いて初期飛行コースＣ１を設定し、更に、数式（１）及び数式（４）に従って、初期飛行コースＣ１の水平方向における水平撮像間隔ｄｆｏｒｗａｒｄ（図１４Ａ参照）並びに上下方向の飛行コース間の間隔を示す上下撮像間隔ｄｓｉｄｅ（図１４Ｂ参照）を算出する（Ｓ２）。
ＵＡＶ制御部１１０は、ステップＳ２の算出後、ジンバル２００及び回転翼機構２１０を制御しながら、初期飛行コースＣ１の飛行高度の位置まで上昇して移動する（Ｓ３）。なお、無人飛行体１００が既に初期飛行コースＣ１の飛行高度の位置まで上昇している場合には、ステップＳ３の処理は省略されてよい。
ＵＡＶ制御部１１０の飛行経路処理部１１１は、ステップＳ２において算出した水平撮像間隔ｄｆｏｒｗａｒｄ（図１４Ａ参照）の算出結果を用いて、初期飛行コースＣ１に対応付けて、その初期飛行コースＣ１における撮像位置（Waypoint）を追加して設定する（Ｓ４）。
ＵＡＶ制御部１１０は、ジンバル２００及び回転翼機構２１０を制御しながら、被写体ＢＬの周囲を囲むように無人飛行体１００に現在の飛行コースを円旋回して飛行させる。ＵＡＶ制御部１１０は、その飛行中にステップＳ４において追加設定した複数の撮像位置において、撮像装置２２０，２３０を、現在の飛行コース（例えば初期飛行コースＣ１、又は他の飛行コースＣ２〜Ｃ８のうちいずれか）の被写体ＢＬに向けて撮像（空撮）する（Ｓ５）。具体的には、ＵＡＶ制御部１１０は、それぞれの撮像位置（Waypoint）において、撮像装置２２０，２３０の撮像範囲を被写体ＢＬの一部を重複するようにして撮像する。これにより、無人飛行体１００は、隣接する撮像位置（Waypoint）において撮像した複数の撮像画像の中で重複する被写体ＢＬの領域の存在を基にして、その飛行高度の飛行コースにおける被写体ＢＬの形状を高精度に推定できる。なお、被写体ＢＬの撮像は、モバイルプラットフォームの一例としての送信機５０又は通信端末８０に含まれる取得指示部の一例としての送信機制御部６１又はプロセッサ８１からの撮像指示によって行われてよい。
また、ＵＡＶ制御部１１０は、レーザ測距計２９０を制御しながら、現在の飛行コース（例えば初期飛行コースＣ１、又は他の飛行コースＣ２〜Ｃ８のうちいずれか）の被写体ＢＬに向けてレーザ光を照射する（Ｓ５）。
ＵＡＶ制御部１１０の形状データ処理部１１２は、ステップＳ５において撮像された現在の飛行高度の飛行コースにおける被写体ＢＬの複数の撮像画像並びにレーザ測距計２９０からのレーザ光の受光結果に基づいて、例えばＳｆＭ等の公知技術を用いて現在の飛行高度の被写体ＢＬの形状（例えば図１７に示す形状Ｄｍ２，Ｄｍ３，Ｄｍ４，Ｄｍ５，Ｄｍ６，Ｄｍ７，Ｄｍ８）を推定する。ＵＡＶ制御部１１０の飛行経路処理部１１１は、複数の撮像画像並びにレーザ測距計２９０の測距結果に基づいて、現在の飛行高度の飛行コースにおける被写体ＢＬの形状の半径及び中心位置を推定する（Ｓ６）。
ＵＡＶ制御部１１０の飛行経路処理部１１１は、現在の飛行高度の飛行コースにおける被写体ＢＬの形状の半径及び中心位置の推定結果を用いて、次の飛行高度（例えば初期飛行コースＣ１の次の飛行コースＣ２）の飛行範囲（飛行コース）を設定する（Ｓ７）。これにより、無人飛行体１００は、飛行高度に応じて形状の半径や中心位置が一意に定まらない不規則な形状の被写体ＢＬ（例えば建物）の形状を無人飛行体１００の飛行高度毎に逐次的に推定できるので、被写体ＢＬ全体に対して高精度な３次元形状の推定を行える。なお、飛行範囲（飛行コース）の設定は無人飛行体１００に限らず、モバイルプラットフォームの一例としての送信機５０又は通信端末８０において行われてよい。
例えばステップＳ７では、飛行経路処理部１１１は、ステップＳ１において取得された入力パラメータを用いて初期飛行コースＣ１を設定した方法と同様に、ステップＳ６の推定結果を入力パラメータとして用いて次の飛行コースを設定する。
ステップＳ７では、具体的には、飛行経路処理部１１１は、現在の飛行高度の飛行コースにおける被写体ＢＬの形状の半径及び中心位置の推定結果を、次の飛行高度の飛行コースにおける被写体ＢＬの形状の半径及び中心位置と同一であるとみなして、次の飛行高度の飛行範囲（飛行コース）を設定する。次の飛行高度の飛行範囲の飛行半径は、例えばステップＳ６において推定された被写体の半径に、撮像装置２２０，２３０の撮像に適した設定解像度に対応する被写体ＢＬと無人飛行体１００との間の撮像距離が加算された値である。
ＵＡＶ制御部１１０は、ステップＳ７の後、例えば気圧高度計２７０又は超音波高度計２８０の出力を元にして現在の飛行高度を取得する。ＵＡＶ制御部１１０は、現在の飛行高度が所定の飛行高度の一例としての終了高度Ｈｅｎｄ以下となったかどうかを判断する（Ｓ８）。
現在の飛行高度が所定の終了高度Ｈｅｎｄ以下となったと判断された場合には（Ｓ８、ＹＥＳ）、ＵＡＶ制御部１１０は、飛行高度を徐々に下げながら被写体ＢＬの周囲を飛行することを終了する。この後、ＵＡＶ制御部１１０は、それぞれの飛行高度毎の飛行コースにおける空撮により得られた複数の撮像画像に基づいて、被写体ＢＬの３次元形状を推定する。これにより、無人飛行体１００は、飛行高度毎の飛行コースにおいて推定した被写体ＢＬの形状の半径及び中心を用いて被写体ＢＬの形状を推定できるので、不規則な形状を有する被写体ＢＬの３次元形状を高精度に推定できる。なお、被写体ＢＬの３次元形状の推定は無人飛行体１００に限らず、モバイルプラットフォームの一例としての送信機５０又は通信端末８０において行われてよい。
一方、現在の飛行高度が所定の終了高度Ｈｅｎｄ以下となっていないと判断された場合には（Ｓ８、ＮＯ）、ＵＡＶ制御部１１０は、ジンバル２００及び回転翼機構２１０を制御しながら、現在の飛行高度からステップＳ２において算出した上下撮像間隔ｄｓｉｄｅを減算した値に対応する次の飛行高度の飛行コースに降下する。更に降下後、ＵＡＶ制御部１１０は、降下後の飛行高度の飛行コースにおいて、ステップＳ４〜ステップＳ８の処理を行う。現在の飛行高度が所定の終了高度Ｈｅｎｄ以下と判断されるまでステップＳ４〜ステップＳ８の処理が無人飛行体１００の飛行コース毎に繰り返される。これにより、無人飛行体１００は、複数の飛行高度毎の飛行コースにおける被写体ＢＬの３次元形状を推定できるので、被写体ＢＬ全体としての３次元形状を高精度に推定できる。なお、飛行範囲（飛行コース）の設定は無人飛行体１００に限らず、モバイルプラットフォームの一例としての送信機５０又は通信端末８０において行われてよい。
これにより、無人飛行体１００は、現在の飛行高度の飛行コースにおける被写体ＢＬの形状の半径及び中心位置を次の飛行高度の飛行コースにおける被写体ＢＬの形状の半径及び中心位置として利用して飛行範囲を簡易に設定できるので、被写体ＢＬの３次元形状の推定を行うための飛行及び空撮の制御を早期に行える。なお、飛行範囲（飛行コース）の設定は無人飛行体１００に限らず、モバイルプラットフォームの一例としての送信機５０又は通信端末８０において行われてよい。
図１８のステップＳ７は、ステップＳ７の変形例１として例えば図１９Ａに示すステップＳ９及びステップＳ７の処理に置き換えてよく、又は、ステップＳ７の変形例２として図１９Ｂに示すステップＳ１０及びステップＳ７の処理に置き換えてよい。
図１９Ａは、図１８のステップＳ７の変形例１の動作手順の一例を示すフローチャートである。つまり、ＵＡＶ制御部１１０の形状データ処理部１１２は、図１８のステップＳ６の後、ステップＳ５において撮像された現在の飛行高度の飛行コースにおける被写体ＢＬの複数の撮像画像並びにレーザ測距計２９０からのレーザ光の受光結果に基づいて、例えばＳｆＭ等の公知技術を用いて次の飛行高度の被写体ＢＬの形状（例えば図１７に示す形状Ｄｍ２，Ｄｍ３，Ｄｍ４，Ｄｍ５，Ｄｍ６，Ｄｍ７，Ｄｍ８）を推定してよい（Ｓ９）。つまり、ステップＳ９は、無人飛行体１００の現在の飛行高度の飛行コースにおける撮像画像に、次の飛行高度の飛行コースにおける被写体ＢＬの形状が映ることを前提とした処理である。ＵＡＶ制御部１１０は、この前提を満たすと判断した場合には、上述したステップＳ９の処理を行ってよい。
ＵＡＶ制御部１１０の飛行経路処理部１１１は、ステップＳ９の推定結果を用いて、無人飛行体１００が飛行中の現在の飛行高度の次となる飛行高度（例えば初期飛行コースＣ１の次の飛行コースＣ２）の飛行範囲（飛行コース）を設定する（Ｓ７）。これにより、無人飛行体１００は、現在の飛行高度の飛行コースにおける被写体ＢＬの複数の撮像画像並びにレーザ測距計２９０からのレーザ光の受光結果から、次の飛行高度の被写体ＢＬの形状を推定できるので、被写体ＢＬの３次元形状の推定処理を短縮化できる。なお、飛行範囲（飛行コース）の設定は無人飛行体１００に限らず、モバイルプラットフォームの一例としての送信機５０又は通信端末８０において行われてよい。
図１９Ｂは、図１８のステップＳ７の変形例２の動作手順の一例を示すフローチャートである。つまり、ＵＡＶ制御部１１０の形状データ処理部１１２は、図１８のステップＳ６の後、ステップＳ５において撮像された現在の飛行高度の飛行コースにおける被写体ＢＬの複数の撮像画像並びにレーザ測距計２９０からのレーザ光の受光結果に基づいて、例えばＳｆＭ等の公知技術を用いて次の飛行高度の被写体ＢＬの形状（例えば図１７に示す形状Ｄｍ２，Ｄｍ３，Ｄｍ４，Ｄｍ５，Ｄｍ６，Ｄｍ７，Ｄｍ８）を予測して推定してよい（Ｓ１０）。形状の予測は、例えば現在の飛行高度の飛行コースにおける被写体ＢＬの形状を微分処理などによって行えばよい。つまり、ステップＳ９は、無人飛行体１００の現在の飛行高度の飛行コースにおける撮像画像に、次の飛行高度の飛行コースにおける被写体ＢＬの形状が映らず、現在の飛行高度の被写体ＢＬの形状と次の飛行高度の被写体ＢＬの形状とがほぼ同様であることを前提とした処理である。ＵＡＶ制御部１１０は、この前提を満たすと判断した場合には、上述したステップＳ１０の処理を行ってよい。
ＵＡＶ制御部１１０の飛行経路処理部１１１は、ステップＳ９の推定結果を用いて、無人飛行体１００が飛行中の現在の飛行高度の次となる飛行高度（例えば初期飛行コースＣ１の次の飛行コースＣ２）の飛行範囲（飛行コース）を設定する（Ｓ７）。これにより、無人飛行体１００は、現在の飛行高度の飛行コースにおける被写体ＢＬの複数の撮像画像並びにレーザ測距計２９０からのレーザ光の受光結果から、現在の飛行高度の被写体ＢＬの形状の推定結果を用いて次の飛行高度の被写体ＢＬの形状を予測して推定できるので、被写体ＢＬの３次元形状の推定処理を短縮化できる。なお、飛行範囲（飛行コース）の設定は無人飛行体１００に限らず、モバイルプラットフォームの一例としての送信機５０又は通信端末８０において行われてよい。
このように、実施の形態１では、無人飛行体１００は、被写体ＢＬの高さに応じて、被写体ＢＬの周囲を飛行する飛行範囲を飛行高度毎に設定し、設定された飛行高度毎の飛行範囲の飛行を制御し、設定された飛行高度毎の飛行範囲の飛行中に、被写体ＢＬを撮像する。無人飛行体１００は、撮像された飛行高度毎の被写体ＢＬの複数の撮像画像に基づいて、被写体の３次元形状を推定する。これにより、無人飛行体１００は、飛行高度毎に被写体ＢＬの形状を推定できるので、被写体ＢＬの形状の高度における変化の有無に拘わらず、高精度に被写体ＢＬの形状を推定でき、飛行時における飛行体と被写体との衝突を回避できる。
（実施の形態２）
実施の形態１では、無人飛行体１００は、入力パラメータ（後述参照）に基づいて、被写体の周囲を円旋回して飛行する初期の飛行範囲（図１７に示す初期飛行コースＣ１参照）を設定した。この場合、ある程度の正確な初期飛行半径が入力されることが好ましいため、ユーザが事前に被写体ＢＬの半径の概要値を知っておく必要があり多少の負担になることが考えられる。
そこで、実施の形態２では、無人飛行体１００は、ユーザが事前に被写体ＢＬの半径の概要値を事前に知らなくても初期飛行コースＣ１の調整を可能とするために、入力パラメータの一部として取得した高度Ｈｓｔａｒｔを基に、その高度の被写体ＢＬの周囲を少なくとも２回円旋回して飛行する。
図２０は、実施の形態２の被写体ＢＬの３次元形状の推定の動作概要の説明図である。具体的には、無人飛行体１００は、入力パラメータに含まれる被写体ＢＬの半径Ｒｏｂｊ０及び初期飛行半径Ｒｆｌｉｇｈｔ０−ｔｅｍｐを用いて、１回目の飛行時の初期飛行コースＣ１−０を設定する。無人飛行体１００は、その設定した初期飛行コースＣ１−０の飛行中に得た被写体ＢＬの複数の撮像画像やレーザ測距計２９０の測距結果を基に、初期飛行コースＣ１−０における被写体ＢＬの形状の半径及び中心位置を推定し、この推定結果を用いて初期飛行コースＣ１−０を調整する。
無人飛行体１００は、２回目の飛行において調整された初期飛行コースＣ１を飛行しながら、同様に被写体ＢＬを撮像し、複数の撮像画像やレーザ測距計２９０の測距結果を基に、調整された初期飛行コースＣ１における被写体ＢＬの形状の半径及び中心位置を推定する。例えば、無人飛行体１００は、１回目の飛行によって初期飛行半径Ｒｆｌｉｇｈｔ０−ｔｅｍｐを正確に調整可能であり、初期飛行半径Ｒｆｌｉｇｈｔ０−ｔｅｍｐから初期飛行半径Ｒｆｌｉｇｈｔ０に調整し、この調整結果を用いて次の飛行コースＣ２を設定する。
次に、実施の形態２の被写体ＢＬの３次元形状の推定の動作内容について、図２０及び図２１を参照して説明する。図２１は、実施の形態２の３次元形状推定方法の動作手順の一例を示すフローチャートである。以下、無人飛行体１００が被写体ＢＬの３次元形状を推定するとして説明する。なお、図２１の説明において、図１８の説明と同一の内容は同一のステップ番号を付与して説明を簡略化又は省略し、異なる内容について説明する。
図２１において、ＵＡＶ制御部１１０の飛行経路処理部１１１は、入力パラメータを取得する（Ｓ１Ａ）。ステップＳ１Ａにおいて取得される入力パラメータは、実施の形態１と同様に、無人飛行体１００の初期飛行コースＣ１−０の高度（言い換えると、被写体ＢＬの高さを示す高度Ｈｓｔａｒｔ）の情報と、初期飛行コースＣ１−０の中心位置Ｐ０（言い換えると、被写体ＢＬの頂上付近の中心位置）の情報（例えば緯度及び経度）とを有する。また、入力パラメータは、初期飛行コースＣ１−０における初期飛行半径Ｒｆｌｉｇｈｔ０−ｔｅｍｐの情報を更に含む。
ステップＳ１Ａの後、無人飛行体１００の１回目の初期飛行コースＣ１−０に関して、ステップＳ２〜ステップＳ６の処理が行われる。このステップＳ６の後、ＵＡＶ制御部１１０は、現在の飛行コースの飛行高度がステップＳ１Ａにおいて取得された入力パラメータに含まれる初期飛行コースＣ１−０の高度（言い換えると、被写体ＢＬの高さを示す高度Ｈｓｔａｒｔ）と同一であるか否かを判断する（Ｓ１１）。
ＵＡＶ制御部１１０の飛行経路処理部１１１は、現在の飛行コースの飛行高度がステップＳ１Ａにおいて取得された入力パラメータに含まれる初期飛行コースＣ１−０の高度と同一であると判断された場合（Ｓ１１、ＹＥＳ）、ステップＳ６の推定結果を用いて、初期飛行範囲（例えば初期飛行半径）を調整して設定する（Ｓ１２）。
ステップＳ１２の後、無人飛行体１００の処理はステップＳ４に戻る。なお、ステップＳ１２の後、無人飛行体１００の処理はステップＳ５に戻ってもよい。つまり、２回目の初期飛行コースの飛行における撮像位置（Waypoint）は、１回目の飛行コースの飛行における撮像位置（Waypoint）と同一であってよい。これにより、無人飛行体１００は、同一の飛行高度の初期飛行コースＣ１における撮像位置の設定処理を省略でき、負荷軽減を図ることができる。
一方、現在の飛行コースの飛行高度がステップＳ１Ａにおいて取得された入力パラメータに含まれる初期飛行コースＣ１−０の高度と同一でないと判断された場合（Ｓ１１、ＮＯ）、実施の形態１と同様に、ステップＳ７以降の処理が行われる。
このように、実施の形態２では、無人飛行体１００は、取得された入力パラメータに基づいて設定した１回目の飛行対象となる初期飛行範囲（初期飛行コースＣ１−０）を飛行し、この初期飛行コースＣ１−０の飛行中に得た被写体ＢＬの複数の撮像画像やレーザ測距計２９０の測距結果に基づいて、初期飛行コースＣ１−０における被写体ＢＬの半径及び中心位置を推定する。無人飛行体１００は、推定された初期飛行コースＣ１−０における被写体ＢＬの半径及び中心位置を用いて、初期飛行範囲を調整する。これにより、例えばユーザによって適正な初期飛行半径が入力されていない場合でも、無人飛行体１００は、１回目の初期飛行コースＣ１−０の飛行によってその初期飛行半径の適性を簡易に判断でき、適正な初期飛行半径を取得できて被写体ＢＬの３次元形状の推定に適した初期飛行コースＣ１を設定できる。なお、初期飛行範囲（初期飛行コースＣ１−０）の飛行及び調整の指示は無人飛行体１００に限らず、モバイルプラットフォームの一例としての送信機５０又は通信端末８０において行われてよい。
また、無人飛行体１００は、１回目の飛行によって調整された初期飛行コースＣ１を飛行し、その飛行中に得た被写体ＢＬの複数の撮像画像やレーザ測距計２９０の測距結果に基づいて、初期飛行範囲（つまり、初期飛行コースＣ１）における被写体ＢＬの半径及び中心位置を推定し、この推定結果を用いて、初期飛行範囲（つまり、初期飛行コースＣ１）の飛行高度の次の飛行高度の飛行範囲を設定する。これにより、無人飛行体１００は、ユーザが事前に被写体ＢＬの半径の概要値を事前に知らなくても、初期飛行コースＣ１の調整を可能とする。なお、初期飛行範囲（初期飛行コースＣ１−０）の飛行に基づく次の飛行コースの設定は無人飛行体１００に限らず、モバイルプラットフォームの一例としての送信機５０又は通信端末８０において行われてよい。
以上、本開示について実施の形態を用いて説明したが、本開示に係る発明の技術的範囲は上述した実施の形態に記載の範囲には限定されない。上述した実施の形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０ ３次元形状推定システム
５０ 送信機
６１ 送信機制御部
６１Ａ、８１Ａ、１１１ 飛行経路処理部
６１Ｂ、８１Ｂ、１１２ 形状データ処理部
６３、８５ 無線通信部
６４、８７、１６０ メモリ
８０ 通信端末
８１ プロセッサ
８９、２４０ ＧＰＳ受信機
１００ 無人飛行体
１０２ ＵＡＶ本体
１１０ ＵＡＶ制御部
１５０ 通信インタフェース
１７０ バッテリ
２００ ジンバル
２１０ 回転翼機構
２２０、２３０ 撮像装置
２５０ 慣性計測装置
２６０ 磁気コンパス
２７０ 気圧高度計
２８０ 超音波高度計
２９０ レーザ測距計
ＴＰＤ１、ＴＰＤ２ タッチパネルディスプレイ
ＯＰ１、ＯＰｎ 操作部

Claims (45)

  1. 設定された飛行高度毎の飛行範囲の飛行中に、飛行体により被写体の情報を取得するステップと、
    取得された前記被写体の情報に基づいて、前記被写体の３次元形状を推定するステップと、
    前記被写体の高さに応じて、前記被写体の周囲を飛行する前記飛行体の飛行範囲を前記飛行高度毎に設定するステップと、
    を有し、
    前記飛行範囲を設定するステップは、
    前記飛行体の現在の飛行高度の飛行中に取得された前記被写体の情報に基づいて、前記飛行体の次の飛行高度の飛行範囲を設定するステップを含む、
    ３次元形状推定方法。
  2. 前記次の飛行高度の飛行範囲を設定するステップは、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記現在の飛行高度における前記被写体の半径及び中心を推定するステップと、
    推定された前記現在の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定するステップと、を含む、
    請求項１に記載の３次元形状推定方法。
  3. 前記次の飛行高度の飛行範囲を設定するステップは、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記次の飛行高度における前記被写体の半径及び中心を推定するステップと、
    推定された前記次の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定するステップと、を含む、
    請求項１に記載の３次元形状推定方法。
  4. 前記次の飛行高度の飛行範囲を設定するステップは、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記現在の飛行高度における前記被写体の半径及び中心を推定するステップと、
    推定された前記現在の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度における前記被写体の半径及び中心を予測するステップと、
    予測された前記次の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定するステップと、を含む、
    請求項１に記載の３次元形状推定方法。
  5. 前記飛行高度毎の飛行範囲の飛行を制御するステップ、を更に有する、
    請求項１〜４のうちいずれか一項に記載の３次元形状推定方法。
  6. 前記飛行範囲を設定するステップは、
    設定された前記飛行高度毎の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記飛行高度毎の飛行範囲における前記被写体の半径及び中心を推定するステップを含み、
    前記被写体の３次元形状を推定するステップは、
    推定された前記飛行高度毎の飛行範囲における前記被写体の半径及び中心を用いて、前記被写体の３次元形状を推定するステップを含む、
    請求項５に記載の３次元形状推定方法。
  7. 前記飛行範囲を設定するステップは、
    前記被写体の高さ、前記被写体の中心、前記被写体の半径、前記飛行体に含まれる撮像部の設定解像度をそれぞれ取得するステップと、
    取得された前記被写体の高さ、中心及び半径と前記設定解像度とを用いて、前記被写体の頂上付近を飛行高度とする前記飛行体の初期飛行範囲を設定するステップと、を含む、
    請求項５に記載の３次元形状推定方法。
  8. 前記飛行体の飛行範囲を設定するステップは、
    前記被写体の高さ、前記被写体の中心、前記飛行体の飛行半径をそれぞれ取得するステップと、
    取得された前記被写体の高さ及び中心と前記飛行半径とを用いて、前記被写体の頂上付近を飛行高度とする前記飛行体の初期飛行範囲を設定するステップと、を含む、
    請求項５に記載の３次元形状推定方法。
  9. 前記飛行範囲を設定するステップは、
    前記飛行高度毎の飛行範囲に複数の撮像位置を設定するステップを含み、
    前記被写体の情報を取得するステップは、
    設定された前記複数の撮像位置のうち隣接するそれぞれの撮像位置において、前記飛行体により前記被写体の一部を重複して撮像するステップを含む、
    請求項５に記載の３次元形状推定方法。
  10. 前記飛行体の次の飛行高度が所定の飛行高度以下となるか否かを判断するステップを更に有し、
    前記被写体の情報を取得するステップは、
    前記飛行体の次の飛行高度が前記所定の飛行高度以下となると判断されるまで、設定された前記飛行高度毎の前記飛行体の飛行範囲における前記被写体の情報の取得を繰り返すステップを含む、
    請求項５に記載の３次元形状推定方法。
  11. 前記被写体の情報を取得するステップは、
    設定された前記飛行高度毎の飛行範囲の飛行中に、前記飛行体により前記被写体を撮像するステップを含み、
    前記３次元形状を推定するステップは、
    撮像された前記飛行高度毎の前記被写体の複数の撮像画像に基づいて、前記被写体の３次元形状を推定するステップを含む、
    請求項５に記載の３次元形状推定方法。
  12. 前記被写体の情報を取得するステップは、
    設定された前記飛行高度毎の飛行範囲の飛行中に、前記飛行体が有する光照射計を用いた測距結果と前記被写体の位置情報とを取得するステップを含む、
    請求項５に記載の３次元形状推定方法。
  13. 前記飛行範囲を設定するステップは、
    設定された前記初期飛行範囲を前記飛行体に飛行させるステップと、
    前記初期飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記初期飛行範囲における前記被写体の半径及び中心を推定するステップと、
    推定された前記初期飛行範囲における前記被写体の半径及び中心を用いて、前記初期飛行範囲を調整するステップと、を含む、
    請求項８に記載の３次元形状推定方法。
  14. 前記飛行を制御するステップは、
    調整された前記初期飛行範囲を前記飛行体に飛行させるステップを含み、
    前記飛行範囲を設定するステップは、
    調整された前記初期飛行範囲の飛行中に撮像された前記被写体の複数の撮像画像に基づいて、前記初期飛行範囲における前記被写体の半径及び中心を推定するステップと、
    推定された前記初期飛行範囲における前記被写体の半径及び中心を用いて、前記初期飛行範囲の飛行高度の次の飛行高度の飛行範囲を設定するステップと、を含む、
    請求項１３に記載の３次元形状推定方法。
  15. 設定された飛行高度毎の飛行範囲の飛行中に、被写体の情報を取得する取得部と、
    取得された前記被写体の情報に基づいて、前記被写体の３次元形状を推定する形状推定部と、
    前記被写体の高さに応じて、前記被写体の周囲を飛行する飛行体の飛行範囲を前記飛行高度毎に設定する設定部と、
    を備え、
    前記設定部は、前記飛行体の現在の飛行高度の飛行中に取得された前記被写体の情報に基づいて、前記飛行体の次の飛行高度の飛行範囲を設定する、
    飛行体。
  16. 前記設定部は、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記現在の飛行高度における前記被写体の半径及び中心を推定し、
    推定された前記現在の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定する、
    請求項１５に記載の飛行体。
  17. 前記設定部は、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記次の飛行高度における前記被写体の半径及び中心を推定し、
    推定された前記次の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定する、
    請求項１５に記載の飛行体。
  18. 前記設定部は、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記現在の飛行高度における前記被写体の半径及び中心を推定し、
    推定された前記現在の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度における前記被写体の半径及び中心を予測し、
    予測された前記次の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定する、
    請求項１５に記載の飛行体。
  19. 前記飛行高度毎の飛行範囲の飛行を制御する飛行制御部、を更に備える、
    請求項１５〜１８のうちいずれか一項に記載の飛行体。
  20. 前記設定部は、
    前記飛行高度毎の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記飛行高度毎の飛行範囲における前記被写体の半径及び中心を推定し、
    前記形状推定部は、
    推定された前記飛行高度毎の飛行範囲における前記被写体の半径及び中心を用いて、前記被写体の３次元形状を推定する、
    請求項１９に記載の飛行体。
  21. 前記設定部は、
    前記被写体の高さ、前記被写体の中心、前記被写体の半径、前記飛行体に含まれる撮像部の設定解像度をそれぞれ取得し、
    取得された前記被写体の高さ、中心及び半径と前記設定解像度とを用いて、前記被写体の頂上付近を飛行高度とする前記飛行体の初期飛行範囲を設定する、
    請求項１９に記載の飛行体。
  22. 前記設定部は、
    前記被写体の高さ、前記被写体の中心、前記飛行体の飛行半径をそれぞれ取得し、
    取得された前記被写体の高さ及び中心と前記飛行半径とを用いて、前記被写体の頂上付近を飛行高度とする前記飛行体の初期飛行範囲を設定する、
    請求項１９に記載の飛行体。
  23. 前記設定部は、
    前記飛行高度毎の飛行範囲に複数の撮像位置を設定し、
    前記取得部は、
    設定された前記複数の撮像位置のうち隣接するそれぞれの撮像位置において、前記被写体の一部を重複して撮像する、
    請求項１９に記載の飛行体。
  24. 前記飛行体の次の飛行高度が所定の飛行高度以下となるか否かを判断する判断部を更に備え、
    前記取得部は、
    前記飛行体の次の飛行高度が前記所定の飛行高度以下となると判断されるまで、前記飛行制御部に基づく前記飛行高度毎の前記飛行体の飛行範囲における前記被写体の情報の取得を繰り返す、
    請求項１９に記載の飛行体。
  25. 前記取得部は、
    設定された前記飛行高度毎の飛行範囲の飛行中に、前記被写体を撮像する撮像部を含み、
    前記形状推定部は、
    撮像された前記飛行高度毎の前記被写体の複数の撮像画像に基づいて、前記被写体の３次元形状を推定する、
    請求項１９に記載の飛行体。
  26. 前記取得部は、
    設定された前記飛行高度毎の飛行範囲の飛行中に、前記飛行体が有する光照射計を用いた測距結果と前記被写体の位置情報とを取得する、
    請求項１９に記載の飛行体。
  27. 前記飛行制御部は、
    設定された前記初期飛行範囲を前記飛行体に飛行させ、
    前記設定部は、
    前記飛行制御部に基づく前記初期飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記初期飛行範囲における前記被写体の半径及び中心を推定し、
    推定された前記初期飛行範囲における前記被写体の半径及び中心を用いて、前記初期飛行範囲を調整する、
    請求項２２に記載の飛行体。
  28. 前記飛行制御部は、
    調整された前記初期飛行範囲を前記飛行体に飛行させ、
    前記設定部は、
    調整された前記初期飛行範囲の飛行中に撮像された前記被写体の複数の撮像画像に基づいて、前記初期飛行範囲における前記被写体の半径及び中心を推定し、
    推定された前記初期飛行範囲における前記被写体の半径及び中心を用いて、前記初期飛行範囲の飛行高度の次の飛行高度の飛行範囲を設定する、
    請求項２７に記載の飛行体。
  29. 被写体の周囲を飛行する飛行体と通信可能に接続されたモバイルプラットフォームであって、
    設定された飛行高度毎の飛行範囲の飛行中に、前記飛行体に前記被写体の情報の取得を指示する取得指示部と、
    取得された前記被写体の情報に基づいて、前記被写体の３次元形状を推定する形状推定部と、
    前記被写体の高さに応じて、前記飛行体の飛行範囲を前記飛行高度毎に設定する設定部と、
    を有し、
    前記設定部は、前記飛行体の現在の飛行高度の飛行中に取得された前記被写体の情報に基づいて、前記飛行体の次の飛行高度の飛行範囲を設定する、
    モバイルプラットフォーム。
  30. 前記設定部は、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記現在の飛行高度における前記被写体の半径及び中心を推定し、
    推定された前記現在の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定する、
    請求項２９に記載のモバイルプラットフォーム。
  31. 前記設定部は、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記次の飛行高度における前記被写体の半径及び中心を推定し、
    推定された前記次の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定する、
    請求項２９に記載のモバイルプラットフォーム。
  32. 前記設定部は、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記現在の飛行高度における前記被写体の半径及び中心を推定し、
    推定された前記現在の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度における前記被写体の半径及び中心を予測し、
    予測された前記次の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定する、
    請求項２９に記載のモバイルプラットフォーム。
  33. 前記飛行高度毎の飛行範囲の飛行を制御する飛行制御部、を更に備える、
    請求項２９〜３２のうちいずれか一項に記載のモバイルプラットフォーム。
  34. 前記設定部は、
    前記飛行高度毎の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記飛行高度毎の飛行範囲における前記被写体の半径及び中心を推定し、
    前記形状推定部は、
    推定された前記飛行高度毎の飛行範囲における前記被写体の半径及び中心を用いて、前記被写体の３次元形状を推定する、
    請求項３３に記載のモバイルプラットフォーム。
  35. 前記設定部は、
    前記被写体の高さ、前記被写体の中心、前記被写体の半径、前記飛行体に含まれる撮像部の設定解像度をそれぞれ取得し、
    取得された前記被写体の高さ、中心及び半径と前記設定解像度とを用いて、前記被写体の頂上付近を飛行高度とする前記飛行体の初期飛行範囲を設定する、
    請求項３３に記載のモバイルプラットフォーム。
  36. 前記設定部は、
    前記被写体の高さ、前記被写体の中心、前記飛行体の飛行半径をそれぞれ取得し、
    取得された前記被写体の高さ及び中心と前記飛行半径とを用いて、前記被写体の頂上付近を飛行高度とする前記飛行体の初期飛行範囲を設定する、
    請求項３３に記載のモバイルプラットフォーム。
  37. 前記設定部は、
    前記飛行高度毎の飛行範囲に複数の撮像位置を設定し、
    前記取得指示部は、
    設定された前記複数の撮像位置のうち隣接するそれぞれの撮像位置において、前記飛行体に前記被写体の一部を重複して撮像させる、
    請求項３３に記載のモバイルプラットフォーム。
  38. 前記飛行体の次の飛行高度が所定の飛行高度以下となるか否かを判断する判断部を更に備え、
    前記取得指示部は、
    前記飛行体の次の飛行高度が前記所定の飛行高度以下となると判断されるまで、前記飛行制御部に基づく前記飛行高度毎の前記飛行体の飛行範囲における前記被写体の情報の取得を繰り返させる、
    請求項３３に記載のモバイルプラットフォーム。
  39. 前記取得指示部は、
    設定された前記飛行高度毎の飛行範囲の飛行中に、前記被写体を撮像するための指示を前記飛行体に送信し、
    前記形状推定部は、
    前記飛行体により撮像された前記飛行高度毎の前記被写体の複数の撮像画像に基づいて、前記被写体の３次元形状を推定する、
    請求項３３に記載のモバイルプラットフォーム。
  40. 前記取得指示部は、
    設定された前記飛行高度毎の飛行範囲の飛行中に、前記飛行体が有する光照射計を用いた測距結果と前記被写体の位置情報との取得の指示を前記飛行体に送信する、
    請求項３３に記載のモバイルプラットフォーム。
  41. 前記飛行制御部は、
    設定された前記初期飛行範囲を前記飛行体に飛行させ、
    前記設定部は、
    前記飛行制御部に基づく前記初期飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記初期飛行範囲における前記被写体の半径及び中心を推定し、
    推定された前記初期飛行範囲における前記被写体の半径及び中心を用いて、前記初期飛行範囲を調整する、
    請求項３６に記載のモバイルプラットフォーム。
  42. 前記飛行制御部は、
    調整された前記初期飛行範囲を前記飛行体に飛行させ、
    前記設定部は、
    調整された前記初期飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記初期飛行範囲における前記被写体の半径及び中心を推定し、
    推定された前記初期飛行範囲における前記被写体の半径及び中心を用いて、前記初期飛行範囲の飛行高度の次の飛行高度の飛行範囲を設定する、
    請求項４１に記載のモバイルプラットフォーム。
  43. 前記モバイルプラットフォームは、
    前記飛行体との間の通信を用いて前記飛行体を遠隔制御する操作端末、又は前記操作端末と接続され、前記操作端末を介して前記飛行体を遠隔制御する通信端末のいずれかである、
    請求項２９〜４２のうちいずれか一項に記載のモバイルプラットフォーム。
  44. コンピュータである飛行体に、３次元形状推定方法の各ステップを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記３次元形状推定方法は、
    設定された飛行高度毎の飛行範囲の飛行中に、前記飛行体により被写体の情報を取得するステップと、
    取得された前記被写体の情報に基づいて、前記被写体の３次元形状を推定するステップと、
    前記被写体の高さに応じて、前記被写体の周囲を飛行する前記飛行体の飛行範囲を前記飛行高度毎に設定するステップと、
    を有し、
    前記飛行範囲を設定するステップは、
    前記飛行体の現在の飛行高度の飛行中に取得された前記被写体の情報に基づいて、前記飛行体の次の飛行高度の飛行範囲を設定するステップを含む、
    記録媒体。
  45. コンピュータである飛行体に、３次元形状推定方法の各ステップを実行させるためのプログラムであって、
    前記３次元形状推定方法は、
    設定された飛行高度毎の飛行範囲の飛行中に、前記飛行体により被写体の情報を取得するステップと、
    取得された前記被写体の情報に基づいて、前記被写体の３次元形状を推定するステップと、
    前記被写体の高さに応じて、前記被写体の周囲を飛行する前記飛行体の飛行範囲を前記飛行高度毎に設定するステップと、
    を有し、
    前記飛行範囲を設定するステップは、
    前記飛行体の現在の飛行高度の飛行中に取得された前記被写体の情報に基づいて、前記飛行体の次の飛行高度の飛行範囲を設定するステップを含む、
    プログラム。
JP2019502400A 2017-03-02 2017-03-02 ３次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体 Active JP6878567B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/008385 WO2018158927A1 (ja) 2017-03-02 2017-03-02 ３次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018158927A1 JPWO2018158927A1 (ja) 2019-12-26
JP6878567B2 true JP6878567B2 (ja) 2021-05-26

Family

ID=63369875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502400A Active JP6878567B2 (ja) 2017-03-02 2017-03-02 ３次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体

Country Status (4)

Country Link
US (1) US20190385322A1 (ja)
JP (1) JP6878567B2 (ja)
CN (1) CN110366670B (ja)
WO (1) WO2018158927A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11000078B2 (en) * 2015-12-28 2021-05-11 Xin Jin Personal airbag device for preventing bodily injury
US20190324447A1 (en) * 2018-04-24 2019-10-24 Kevin Michael Ryan Intuitive Controller Device for UAV
JP7017998B2 (ja) * 2018-09-13 2022-02-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体
DE102018123411A1 (de) * 2018-09-24 2020-03-26 Autel Robotics Europe Gmbh Zielbeobachtungsverfahren, zugehörige Vorrichtung und System
CN109240314B (zh) * 2018-11-09 2020-01-24 百度在线网络技术（北京）有限公司 用于采集数据的方法和装置
CN111656132B (zh) * 2018-11-21 2022-06-21 广州极飞科技股份有限公司 一种测绘采样点的规划方法、装置、控制终端及存储介质
JP2020095519A (ja) * 2018-12-13 2020-06-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 形状推定装置、形状推定方法、プログラム、及び記録媒体
JP6611147B1 (ja) * 2019-05-16 2019-11-27 株式会社センシンロボティクス 撮像システム及び撮像方法
JP6611149B1 (ja) * 2019-05-16 2019-11-27 株式会社センシンロボティクス 撮像システム及び撮像方法
JP6611148B1 (ja) * 2019-05-16 2019-11-27 株式会社センシンロボティクス 撮像システム及び撮像方法
JP6611152B1 (ja) * 2019-08-22 2019-11-27 株式会社センシンロボティクス 撮像システム及び撮像方法
JP7384042B2 (ja) * 2020-01-09 2023-11-21 三菱電機株式会社 飛行ルート学習装置、飛行ルート決定装置及び飛行装置
WO2022015900A1 (en) * 2020-07-14 2022-01-20 Mccain Steven Quinn Remote pointing device
US20220390940A1 (en) * 2021-06-02 2022-12-08 Skydio, Inc. Interfaces And Control Of Aerial Vehicle For Automated Multidimensional Volume Scanning

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4586158B2 (ja) * 2005-04-06 2010-11-24 独立行政法人産業技術総合研究所 空間移送システム
JP4624287B2 (ja) * 2006-03-17 2011-02-02 株式会社パスコ 建物形状変化検出方法及び建物形状変化検出システム
CN100580385C (zh) * 2008-01-18 2010-01-13 天津大学 建筑物理数据快速三维采样方法
US20110006151A1 (en) * 2008-06-20 2011-01-13 Beard Randal W Aerial recovery of small and micro air vehicles
ES2589581T3 (es) * 2012-02-17 2016-11-15 The Boeing Company Vehículo aéreo no tripulado que recupera energía de corrientes ascendentes de aire
JP5947634B2 (ja) * 2012-06-25 2016-07-06 株式会社トプコン 航空写真撮像方法及び航空写真撮像システム
EP2829842B1 (en) * 2013-07-22 2022-12-21 Hexagon Technology Center GmbH Method, system and computer programme product for determination of an absolute volume of a stock pile using a structure from motion algorithm
JP2015058758A (ja) * 2013-09-17 2015-03-30 一般財団法人中部電気保安協会 構造物点検システム
JP6326237B2 (ja) * 2014-01-31 2018-05-16 株式会社トプコン 測定システム
JP6648971B2 (ja) * 2014-03-27 2020-02-19 株式会社フジタ 構造物の点検装置
JP6486024B2 (ja) * 2014-07-02 2019-03-20 三菱重工業株式会社 構造物の屋内監視システム及び方法
JP6438234B2 (ja) * 2014-08-25 2018-12-12 三菱重工業株式会社 データ処理方法、及び、データ処理装置
ES2876449T3 (es) * 2014-09-05 2021-11-12 Sz Dji Technology Co Ltd Cartografía de entorno de múltiples sensores
CN105556408B (zh) * 2014-09-15 2018-02-13 深圳市大疆创新科技有限公司 一种飞行器的飞行控制方法及相关装置
JP5775632B2 (ja) * 2014-09-16 2015-09-09 株式会社トプコン 飛行体の飛行制御システム
CN105519246B (zh) * 2014-11-28 2018-02-02 深圳市大疆创新科技有限公司 紧固组件、固持机构、使用该固持机构的支架以及遥控器
EP3062066A1 (en) * 2015-02-26 2016-08-31 Hexagon Technology Center GmbH Determination of object data by template-based UAV control
EP3271788A4 (en) * 2015-03-18 2018-04-04 Izak Van Cruyningen Flight planning for unmanned aerial tower inspection with long baseline positioning
US10192354B2 (en) * 2015-04-14 2019-01-29 ETAK Systems, LLC Systems and methods for obtaining accurate 3D modeling data using UAVS for cell sites
CN105388905B (zh) * 2015-10-30 2019-04-26 深圳一电航空技术有限公司 无人机飞行控制方法及装置
CN105329456B (zh) * 2015-12-07 2018-04-27 武汉金运激光股份有限公司 无人机人体三维建模方法
CN105825518B (zh) * 2016-03-31 2019-03-01 西安电子科技大学 基于移动平台拍摄的序列图像快速三维重建方法
CN106054920A (zh) * 2016-06-07 2016-10-26 南方科技大学 一种无人机飞行路径规划方法和装置
CN105979147A (zh) * 2016-06-22 2016-09-28 上海顺砾智能科技有限公司 一种无人机智能拍摄方法
CN205940552U (zh) * 2016-07-28 2017-02-08 四川省川核测绘地理信息有限公司 一种多旋翼无人机倾斜摄影系统
CN106295141B (zh) * 2016-08-01 2018-12-14 清华大学深圳研究生院 用于三维模型重建的多条无人机路径确定方法及装置

Also Published As

Publication number Publication date
CN110366670A (zh) 2019-10-22
US20190385322A1 (en) 2019-12-19
JPWO2018158927A1 (ja) 2019-12-26
WO2018158927A1 (ja) 2018-09-07
CN110366670B (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
JP6878567B2 (ja) ３次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体
JP6803919B2 (ja) 飛行経路生成方法、飛行経路生成システム、飛行体、プログラム、及び記録媒体
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
US20190318636A1 (en) Flight route display method, mobile platform, flight system, recording medium and program
JP6862477B2 (ja) 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
JP6289750B1 (ja) 移動体、移動体制御方法、移動体制御システム、及び移動体制御プログラム
JP6788094B2 (ja) 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体
US20210185235A1 (en) Information processing device, imaging control method, program and recording medium
JP6329219B2 (ja) 操作端末、及び移動体
JP6921026B2 (ja) 送信機、飛行体、飛行制御指示方法、飛行制御方法、プログラム、及び記憶媒体
JP2019082837A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP6974290B2 (ja) 位置推定装置、位置推定方法、プログラム、及び記録媒体
JP6997170B2 (ja) 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210428

R150 Certificate of patent or registration of utility model

Ref document number: 6878567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150