JP7456908B2 - 屋根点検用の無人航空機の制御装置 - Google Patents

Description

本発明は、屋根点検に適した無人航空機の制御装置に関する。

近年、無人航空機を用いて、無人航空機に搭載されたカメラ（撮像装置）で、高所の位置等を点検する方法が知られている。また、無人航空機の操縦を補助する機能が種々検討されている。たとえば、特許文献１には、俯瞰画像を撮影可能な撮像装置を備えた無人航空機を制御する制御装置が開示されている。この制御装置は、屋根の基準点に対する無人航空機の相対位置を算出し、俯瞰画像における基準点の位置座標を算出し、基準点の位置座標と無人航空機の相対位置に基づいて、俯瞰画像における無人航空機の位置座標を算出し、俯瞰画像において、無人航空機の位置座標に、無人航空機の位置を示すアイコンを表示している。

特開２０１９－１７８９９８号公報

ところで、特許文献１に示す制御システムでは、予め設定された屋根の基準点の位置座標と、無人航空機の位置座標とから、相対位置を算出し、無人航空機の位置を、撮像した俯瞰画像に落とし込むことができる。これにより、俯瞰画像における無人航空機の位置座標を確認することができる。

しかしながら、屋根の点検を行う際には、無人航空機を屋根の特定の位置に飛行させることがあるが、その際には、無人航空機の操作者が、屋根全体を撮影した俯瞰画像において、無人航空機のアイコンを確認しながら、操作しなければならず、より正確な位置（位置座標）に無人航空機を移動させることは難しい。

本発明は、このような点を鑑みてなされたものであり、その目的とするところは、撮像した屋根の俯瞰画像から、所望の位置により精度良く無人航空機を飛行させ、屋根を点検することができる無人航空機の制御装置を提供することにある。

前記課題を鑑みて、本発明に係る無人航空機の制御装置は、建物の屋根を撮影する撮像装置と、水平方向の座標を検出する座標検出センサと、方位を検出する方位検出センサと、高度を検出する高度検出センサと、が搭載された屋根点検用の無人航空機を、入力装置で入力された入力データに基づいて制御する制御装置であって、前記制御装置は、前記無人航空機の飛行制御と、前記撮像装置の撮像タイミングの撮像制御と、を行うものであり、前記入力データとして入力された前記建物の基準座標、および前記屋根の屋根高さを、建物情報として記録する建物情報記録部と、前記建物の基準座標および前記屋根高さに基づいて、前記無人航空機を、前記屋根の上空における前記基準座標および撮像高度まで飛行させる第１飛行制御部と、前記無人航空機が前記基準座標および前記撮像高度に到達したタイミングで、前記撮像装置に前記屋根を撮像させる第１撮像制御部と、撮像した前記屋根全体を含む俯瞰画像を取得する全体画像取得部と、前記撮像高度と前記屋根高さとの差分および前記撮像装置の画角に基づいて、前記俯瞰画像の画素の縦横の長さに対応した前記屋根の尺度を算出する尺度算出部と、前記尺度と前記基準座標とから、前記俯瞰画像の画素ごとの位置座標を算出する座標算出部と、を少なくとも備えることを特徴とする。

本発明によれば、無人航空機に搭載された座標検出センサ、方位検出センサ、および高度検出センサで検出された位置座標、方位、および高度を、無人航空機の位置座標、方位、および高度とし、制御装置により、屋根の上空に無人航空機を飛行させることができる。制御装置は、飛行制御により飛行する無人航空機から、所望の撮像タイミングで屋根の撮像することができる。

具体的には、第１飛行制御部により、基準座標において、屋根全体が画像に収まる撮像高度まで、無人航空機を飛行させることができる。さらに、第１撮像制御部により、基準座標および撮像高度に到達したタイミングで、撮像装置で屋根全体を撮像させることができる。これにより、全体画像取得部で、検査対象となる屋根全体の俯瞰画像を取得することができる。

次に、尺度算出部では、撮像高度と屋根高さとの差分、および撮像装置の画角から、俯瞰画像の画素の縦横の長さに対応した尺度を算出する。画素の縦横の長さに対応した屋根の尺度を算出することにより、俯瞰画像の縦横の実際の寸法を取得することができる。次に、座標算出部により、尺度と基準座標とから、俯瞰画像の画素ごとに位置座標（緯度および経度）を算出することができる。また、本実施形態では、実際の撮像した屋根の俯瞰画像に基づいて、無人航空機を飛行させることができる。

このようにして、俯瞰画像の画素ごとに、屋根の位置座標を算出し、画素に対応した屋根の位置座標を割り当てることができる。これにより、屋根の位置座標に基づいて、俯瞰画像の所望の位置に（具体的には屋根の所望の位置）に、精度良く無人航空機を飛行させ、屋根を撮像し、その画像を取得することができる。ここでいう、「屋根高さ」とは、建物高さ、屋根の軒先高さなど、屋根に関する高さであり、たとえば、尺度算出部の尺度の算出には、屋根高さを、屋根の軒先高さとすることが好ましい。これにより、屋根の軒先に沿った屋根の尺度を正確に算出することができる。

ここで、撮像高度は、撮像装置により屋根全体が映り込む高度であれば特に限定されるものではないが、より好ましい態様としては、前記建物情報記録部は、平面視における前記屋根の寸法を前記建物情報として記録し、前記制御装置は、前記屋根の寸法、前記屋根高さ、および前記撮像装置の画角に基づいて、前記撮像高度を算出する撮像高度算出部をさらに備える。

この態様によれば、建物情報記録部で建物情報として記録された屋根寸法、前記屋根高さ、および撮像装置の画角に基づいて、屋根の全体が入り込む撮像高度を算出することができる。また、屋根高さを建物高さをとして撮像高度を算出した場合には、屋根高さを軒先高さをとして撮像高度を算出した場合に比べて、より高い撮像高度が算出されるため、安全な撮像高度から、建物の屋根全体を撮像することができる。

俯瞰画像の各画素に対応付けた位置座標を目標座標として、無人航空機を飛行させ、屋根の撮影することができるのであれば、飛行制御の態様は特に限定されるものではないが、好ましい態様としては、前記制御装置は、前記入力装置を介して選択された前記俯瞰画像の複数の画素を、前記入力データとして前記無人航空機の飛行ルートを設定するルート設定画素として、記録するルート設定画素記録部と、前記ルート設定画素の位置座標に基づいて、前記無人航空機の方位および高度を含む飛行ルートを設定する飛行ルート設定部と、前記飛行ルート上に、前記屋根の部分を撮像する撮像座標を設定する撮像座標設定部と、前記飛行ルートに沿って、前記無人航空機を飛行させる第２飛行制御部と、前記無人航空機が前記撮像座標に到達したタイミングで、前記撮像装置に前記屋根の部分を撮像させる第２撮像制御部と、撮像した前記屋根の部分の画像を取得する部分画像取得部と、をさらに備える。

この態様によれば、ルート設定画素記録部により、俯瞰画像の画素のうち、操作者により選択された画素を、ルート設定画素として記録し、飛行ルート設定部により、無人航空機の方位および高度を含む飛行ルートを設定することができる。さらに、俯瞰画像の各画素に割り付けられた位置座標を用いて、撮像座標設定部により、設定された飛行ルート上に、屋根の部分を撮像する撮像座標を設定する。このようにして、第２飛行制御部により、設定された飛行ルートに沿って、無人航空機を飛行させ、部分画像取得部により、無人航空機が撮像座標に到達したタイミングで、撮像装置に屋根の部分を撮像させ、屋根の部分の点検用画像を取得することができる。このようにして、実際の撮像した屋根の俯瞰画像に基づいて、無人航空機の飛行ルートを設定することができるので、建物の屋根の状況をリアルタイムに把握した上で、屋根の点検用画像を容易に取得することができる。

本発明によれば、撮像した屋根の俯瞰画像から、所望の位置により精度良く無人航空機を飛行させ、屋根を点検することができる。

本発明の第１実施形態に係る無人航空機の制御装置を備えた無人航空機制御システムを示す模式図である。 図１に示す無人航空機の構成を示すブロック図である。 図１に示す操作端末の構成を示すブロック図である。 図３に示す操作端末に搭載された制御装置を示す制御ブロック図である。 図１に示す屋根の平面図である。 図１に示す建物と無人航空機との関係を示した建物の側面図である。 図３に示す無人航空機に搭載された撮像装置で撮像した屋根の俯瞰画像である。 図３に示す制御装置の制御フロー図である。 第２実施形態に係る無人航空機の制御装置の制御ブロック図である。 図７に示す俯瞰画像に無人航空機の飛行ルートを示した図である。 図１０に係る飛行ルートの変形例である。 図７に示す俯瞰画像に飛行ルート上の撮像座標を示した図である。 図９に示す制御装置の制御フロー図である。

以下、本発明の実施形態に係る無人航空機の制御装置について、図面を参照しながら説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係る無人航空機３０を制御する制御装置３９、５９を備えた無人航空機制御システム１を示す模式図である。図２は、図１に示す無人航空機３０の構成を示すブロック図である。図３は、図１に示す操作端末５０の構成を示すブロック図である。図４は、図３に示す操作端末５０に搭載された制御装置５９を示す制御ブロック図である。

なお、本実施形態では、後述するように、無人航空機３０に搭載された制御装置３９と、操作端末５０に搭載された制御装置５９との２つの制御装置が存在する。無人航空機３０に搭載された制御装置３９は、無人航空機３０の飛行の安定性など飛行そのもの（具体的には駆動装置３６等のアクチェータ）を制御するものである。一方、操作端末５０の制御装置５９は、無人航空機３０の飛行の到達地点の設定、飛行ルートの設定、および撮像装置３５の撮像座標の設定などを行った上で、この設定内容に沿って無人航空機３０の飛行を制御するものである。したがって、制御装置５９は、飛行および撮像タイミングに関する制御指令を無人航空機３０に送信するものであり、本発明の制御装置は、以下に示す操作端末５０に搭載された制御装置５９が対応する。本実施形態では、制御装置３９、５９の２つの制御装置を用いているが、無人航空機３０または操作端末５０に、１つの制御装置として、集約されていてもよい。

図１に示すように、本実施形態に係る無人航空機制御システム１は、無人航空機（ＵＡＶ）１０と、無人航空機３０を制御する操作端末５０と、によって構成されている。無人航空機制御システム１は、無人航空機３０を直接操縦するコントーラをさらに備えてもよい。本実施形態では、無人航空機制御システム１は、建物１０の屋根１１に損傷等の異常が生じているか否かを点検する際に用いられる。

無人航空機３０は、所謂ドローンであり、操作端末５０から送信される後述するデータ等に基づいて、目標の屋根１１の上方まで自律飛行し屋根１１を撮像する。無人航空機３０は、撮像した画像を操作端末５０に送信する。

操作端末５０は、たとえば、所定のプログラム（アプリケーションソフトウェア）をインストールしたスマートフォン、タブレット端末、パーソナルコンピュータ等であり、本実施形態ではスマートフォンである。操作端末５０は、無人航空機３０の撮像装置３５が撮像した映像（動画）および画像（静止画）を取得するとともに、後述する表示装置５２に画像を表示する。

以下、無人航空機３０および操作端末５０をより具体的に説明する。

［無人航空機３０の構成］
無人航空機３０は、図２に示すように、通信装置３１と、座標検出センサ（ＧＰＳ）３２と、方位検出センサ（ジャイロセンサ）３３と、高度検出センサ３４と、撮像装置３５と、駆動装置３６と、制御装置３９と、を備えている。

通信装置３１は、操作端末５０との間でデータの無線送受信を行う。通信装置３１が操作端末５０から受信する主要なデータとしては、無人航空機３０の飛行ルートのデータ、撮像タイミング等、飛行制御および撮像制御を行うためのデータである。通信装置３１が操作端末５０に送信する主要なデータとしては、後述する座標検出センサ３２からの位置座標データ、方位検出センサ３３からの方位データ、高度検出センサ３４からの高度データ、撮像装置３５からの画像データ等を挙げることができる。

座標検出センサ３２は、ＧＰＳ信号を受信するとともに、受信したＧＰＳ信号に基づいて座標検出センサ３２の位置（経度、緯度）、すなわち無人航空機３０自身の位置を検出する。方位検出センサ３３は、無人航空機３０が向いている方位（無人航空機３０の前方の方位）を検出する。高度検出センサ３４は、たとえば気圧を計測する気圧センサからなり、無人航空機３０の地面からの高さを検出する。なお、高度検出センサ３４を設けず、座標検出センサ３２が受信したＧＰＳ信号に基づいて無人航空機３０の地面に対する高さを検出してもよい。

撮像装置３５は、カラーのデジタルの映像および画像を取得できるカメラであり、本実施形態では、屋根１１を対象物として撮像し、映像および画像を取得する。撮像装置３５は、撮像装置３５に含まれるレンズの光軸を水平方向に動かすパン機能、上下方向に動かすチルト機能を有してもよい。

駆動装置３６は、詳細は図示しないが、複数の回転翼と、回転翼に付与する駆動力を発生するモータと、モータに電力を供給する蓄電池と、を含んでいる。複数の回転翼の回転速度を個別に制御することによって、無人航空機３０の飛行高さ、飛行経路、飛行速度、水平度、向き（方位）等を変更することができる。

制御装置３９は、演算装置（ＣＰＵ）３９ａおよび記憶装置（たとえばＲＡＭ、ＲＯＭ等）３９ｂを含んでいる。演算装置３９ａは、記憶装置３９ｂに記憶されている動作プログラムを実行する。

制御装置３９は、操作端末５０から通信装置３１を介して受信した高度データ、撮像座標データ、旋回角度データ等を記憶する。制御装置３９は、操作端末５０からの指令に基づいて、アクチュエータである駆動装置３６を制御するものである。具体的には、制御装置３９は、撮像座標データおよび飛行高さデータに基づいて駆動装置３６を制御して、無人航空機３０を自律飛行させる。制御装置３９は、撮像位置データ（位置座標と高度を含むデータ）に基づいて撮像装置３５を制御して、撮像位置で屋根１１を撮像する。この他にも、制御装置３９は、旋回角度データに基づいて駆動装置３６を制御して、無人航空機３０を水平方向に所定角度旋回させる。制御装置３９は、撮像装置３５が取得した画像データを記憶するとともに、操作端末５０に送信する。制御装置３９は、方位検出センサ３３の検出結果（検出方位）を無人航空機３０の方位データとして記憶するとともに、操作端末５０に送信する。

制御装置３９は、操作端末５０から、操作者が直接入力する各種制御信号に基づいて、無人航空機３０を所定方向に移動させたり、所定角度旋回させたり、撮像装置３５のパン角やチルト角を変更したり、撮像装置３５により画像を取得してもよい。

［操作端末５０の構成］
図３に示すように、操作端末５０は、通信装置５１、表示装置５２、入力装置５３、および制御装置５９を備えている。表示装置５２と入力装置５３とでタッチパネルディスプレイを構成していてもよい。無人航空機３０を、直接操縦する際には、表示装置５２に無人航空機３０の操縦ボタンまたは操縦レバーを表示し、入力装置５３でこれを操作する（タッチパネルディスプレイの場合には、画面を触れることで操作する）ようにしてもよい。

通信装置５１は、無人航空機３０の通信装置３１との間でデータの送受信を行うものであり、通信されるデータは上述したとおりである。表示装置５２は、地図データを表示したり、無人航空機３０の撮像装置３５が撮像した映像および画像を表示したりする。なお、地図データは、インターネットを介して取得したものであってもよいし、後述する記憶装置５９ｂに予め記憶されているものであってもよい。入力装置５３は、操作者により入力されるものであり、建物１０の基準となる基準座標（Ｘｓ，Ｙｓ）および建物高さＨなどの建物情報などが入力される。

制御装置５９は、入力装置５３の入力により無人航空機３０の飛行制御や撮像制御を行うものであり、本発明でいう制御装置に相当する。制御装置５９は、演算装置（ＣＰＵ）５９ａおよび記憶装置（たとえばＲＡＭ、ＲＯＭ等）５９ｂを含んでいる。演算装置５９ａは、記憶装置５９ｂに記憶されている動作プログラムを実行する。制御装置５９がプログラムを実行することによって、後述する各処理を実現することができる。このようなプログラムは、たとえばインターネットを介してダウンロードすることによって取得され、記憶装置５９ｂにアプリケーションとして記憶される。制御装置５９は、通信装置５１が受信した画像データ等を記憶する。

次に、図４を参照して、本実施形態の操作端末５０の制御装置５９について詳細に説明する。制御装置５９は、無人航空機３０の飛行制御と、撮像装置３５の撮像タイミングの撮像制御と、を行うものである。本実施形態では、制御装置５９は、ソフトウェアとして、カメラ情報記録部５０１、建物情報記録部５０２、撮像高度算出部５０３、第１飛行制御部５０４、第１撮像制御部５０５、全体画像取得部５０６、尺度算出部５０７、および座標算出部５０８を備えている。

カメラ情報記録部５０１は、入力装置５３を介して入力された撮像装置３５に固有の装置情報を記録している。本実施形態では、カメラ情報記録部５０１には、撮像装置３５のイメージセンサの縦および横の寸法、撮像装置３５の焦点距離、撮像装置３５の画角など、撮像装置３５の固有の装置情報が記録されている。

建物情報記録部５０２は、入力装置５３を介して、入力データとして入力された建物１０の基準となる基準座標（Ｘｓ，Ｙｓ）および建物高さＨ１を、建物情報として記録している。本実施形態では、基準座標（Ｘｓ，Ｙｓ）は、屋根１１の基準となる中央点Ｃの位置座標であり、具体的には、緯度および経度で表される位置座標である。本実施形態では、建物１０の高さＨは、本発明でいう「屋根高さ」の一例であり、地表から屋根１１の頂部（最上部）１４の高さである。

位置座標を、緯度および経度で特定することにより、無人航空機３０に搭載した座標検出センサ３２で検出される位置座標（緯度および経度）が、基準座標（Ｘｓ，Ｙｓ）に近づくように、無人航空機３０の飛行を、制御装置３９で制御することができる。

ここで、屋根１１の全体を撮像する際には、建物１０の高さＨよりも高い撮像高度Ｈｃまで、無人航空機３０を飛行する。この撮像高度Ｈｃは、撮像装置３５により屋根１１の全体が映り込む高さであり、建物１０の高さＨに対して、一定の高さを加算した高さとして設定されていてもよい。撮像高度Ｈｃは、その高さで撮像した際に、撮像した屋根１１の画像において、屋根１１の点検地点を、画素として選択することができる程度の高さであれば、特に限定されるものではない。

本実施形態では、撮像高度算出部５０３は、屋根１１の寸法Ａ、Ｂ、建物１０の高さＨ、撮像装置３５の画角θに基づいて、撮像高度Ｈｃを算出する。この場合には、建物情報記録部５０２は、平面視における屋根１１の寸法Ａ、Ｂを建物情報としてさらに記録する。

より具体的には、本実施形態では、屋根１１の寸法Ａ、Ｂは、直交する２つの方向における、屋根１１の最大寸法であり、屋根１１の軒先１３に沿った方向の寸法であることが好ましい。本実施形態では、屋根１１の寸法Ａを屋根１１の縦寸法とし、屋根１１の寸法Ｂを屋根１１の横寸法とする。また、屋根高さを、屋根１１の軒先１３の高さＨｒとしてもよいが、本実施形態では、建物１０の高さＨ、すなわち、地表から建物１０の屋根の頂部１４までの高さとする。

たとえば、図６に示すように、撮像高度Ｈｃと建物１０の高さＨとの差分ΔＨと、撮像装置３５の縦方向（横方向）の画角θａ（θｂ）とから、縦方向は、２ΔＨ／Ａ＝ｔａｎ（θａ／２）の関係が成り立ち、２ΔＨ／Ｂ＝ｔａｎ（θｂ／２）が成り立つ。これらの値から、それぞれに対してのΔＨを算出し、ΔＨの大きい方の値に建物１０の高さＨを加えて、撮像高度Ｈｃとする。

この他にも、たとえば以下の式（１）および式（２）から、撮像高度Ｈｃを算出してもよい。ここで、撮像装置３５のイメージセンサ３５ｂの縦長さをｌａ、横長さをｌｂとし、撮像装置３５の焦点距離（イメージセンサ３５ｂからレンズ３５ａまでの距離）をＦとする。
Ａ＝（Ｈｃ－Ｈ）×ｌａ／Ｆ…（１）
Ｂ＝（Ｈｃ－Ｈ）×ｌｂ／Ｆ…（２）

式（１）および式（２）において、ｌａ／Ｆ、１ｂ／Ｆが、撮像装置３５の縦方向、横方向の画角θａ、θｂに相当する値であり、本発明でいう「撮像装置の画角」に対応する値である。ここで、Ａ、Ｂ、Ｈは、建物１０の固有の値であり、Ｆ、ｌａ、ｌｂは、撮像装置３５の装置固有の値であることから、これらの値を代入することにより、撮像高度Ｈｃを算出することができる。本実施形態では、式（１）および式（２）から算出された撮像高度Ｈｃのうち、大きい方の高度（値）を採用する。

本実施形態では、撮像高度算出部５０３が、屋根１１の寸法Ａ、Ｂから、撮像高度Ｈｃを算出したが、たとえば、屋根の面積をＳとし、撮像装置３５のイメージセンサ３５ｂの面積をｓとし、以下の式（３）から、撮像高度Ｈｃを算出してもよい。
Ｓ＝（Ｈｃ－Ｈ）×ｓ／Ｆ…（３）

平面視において、屋根１１の形状およびその縦横比の範囲が特定されている場合には、式（３）を用いることにより、撮像高度Ｈｃを算出することができる。なお、ｓ／Ｆが、撮像装置３５の画角θに相当する値である。

以上のようにして、撮像高度算出部５０３では、屋根１１の寸法Ａ、Ｂ、建物１０の高さＨ、および撮像装置３５の画角θに基づいて、撮像高度Ｈｃを算出することができる。なお、本実施形態では、撮像高度Ｈｃを上の式から算出したが、この算出した値に、さらに所定の高さを加えた値（たとえば５ｍ）を撮像高度としてもよい。

第１飛行制御部５０４は、建物１０の基準座標（Ｘｓ，Ｙｓ）および建物高さＨに基づいて、無人航空機３０を、屋根１１の上空における基準座標（Ｘｓ，Ｙｓ）および撮像高度Ｈｃまで飛行させる。具体的には、撮像高度Ｈｃは、撮像高度算出部５０３により、屋根高さに相当する建物高さＨに基づいて算出された値であるが、たとえば、建物高さＨから所定の高さを加算した高さを撮像高度Ｈｃとしてもよい。第１飛行制御部５０４は、通信装置５１を介して、基準座標（Ｘｓ，Ｙｓ）と、算出した撮像高度Ｈｃのデータとを、無人航空機３０に送信する。

これらデータを飛行の目標地点（飛行指令）として、無人航空機３０の制御装置３９が受信する。これにより、無人航空機３０の制御装置３９は、駆動装置３６を駆動する。この結果、無人航空機３０を、屋根１１の上空における基準座標（Ｘｓ，Ｙｓ）および撮像高度Ｈｃまで飛行させることができる。

第１撮像制御部５０５は、無人航空機３０が、建物１０の基準座標（Ｘｓ，Ｙｓ）および撮像高度Ｈｃに到達したタイミングで、撮像装置３５に屋根１１の全体を撮像させる。具体的には、第１撮像制御部５０５は、建物１０の基準座標（Ｘｓ，Ｙｓ）および撮像高度Ｈｃに到達したことを、無人航空機３０の座標検出センサ３２および高度検出センサ３４が検出した位置座標および高度に基づいて判定する。無人航空機３０が到達したと第１撮像制御部５０５が判定した場合には、第１撮像制御部５０５は、通信装置５１、３１を介して、撮像装置３５に撮像指令を送信する。

全体画像取得部５０６は、撮像した屋根１１の全体を含む俯瞰画像Ｇを取得する。具体的には、全体画像取得部５０６は、第１撮像制御部５０５が撮像指令を送信したことを受け、俯瞰画像Ｇは、無人航空機３０から通信装置３１を介して送信され、これを操作端末５０の通信装置５１で受信し、全体画像取得部５０６は、俯瞰画像Ｇのデータを記録する（取得する）。

尺度算出部５０７は、撮像高度Ｈｃと、屋根高さ（本実施形態では、屋根１１の軒先高さＨｒ）との差分ΔＨｒおよび撮像装置３５の画角θから、俯瞰画像Ｇ１の１つの画素の縦横の長さに対応した尺度（スケール）を算出する。

撮像高度Ｈｃと屋根１１の軒先高さＨｒとの差分をΔＨｒと、撮像装置３５の縦方向（横方向）の画角θａ（θｂ）と、俯瞰画像Ｇにおける縦方向および横方向の実寸法Ａｒ、Ｂｒとから、縦方向では２ΔＨｒ／Ａｒ＝ｔａｎ（θａ／２）の関係が成り立ち、横方向では２ΔＨｒ／Ｂｒ＝ｔａｎ（θｂ／２）が成り立つ。得られた俯瞰画像Ｇにおける縦方向および横方向の実寸法Ａｒ、Ｂｒを、俯瞰画像Ｇの縦方向に配列される画素数Ｎａおよび横方向に配列される画素数Ｎｂで除算することにより、俯瞰画像Ｇの画素の縦横の長さに対応した、屋根１１の尺度（スケール）を算出することができる。

この他にも、たとえば以下の式（４）および式（５）から、俯瞰画像Ｇにおける縦方向および横方向の実寸法Ａｒ、Ｂｒを算出してもよい。
Ａｒ＝（Ｈｃ－Ｈｒ）×ｌａ／Ｆ…（４）
Ｂｒ＝（Ｈｃ－Ｈｒ）×ｌｂ／Ｆ…（５）

算出した実寸法Ａｒ、Ｂｒに対して、俯瞰画像Ｇの縦方向に配列される画素数Ｎａおよび横方向に配列される画素数Ｎｂで除算することにより、俯瞰画像Ｇの画素の縦横の長さに対応した、屋根１１の尺度を算出してもよい。式（１）および式（２）同様に、ｌａ／Ｆ、１ａ／Ｆが、撮像装置３５の縦方向、横方向の画角θａ、θｂに依存する値であり、本発明でいう「撮像装置の画角」に対応する値である。

座標算出部５０８は、尺度と基準座標（Ｘｓ，Ｙｓ）とから、俯瞰画像Ｇの画素ごとの位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、…（ｘｎ，ｙｎ）を算出する。ここで、地球の半径をｒとし、図７に示すように、求める位置座標を（ｘｎ，ｙｎ）とし、基準座標（Ｘｓ，Ｙｓ）と位置座標（ｘｎ，ｙｎ）との２点間の距離をＤとし、基準座標（Ｘｓ，Ｙｓ）を通過する経線Ｌｓと、基準座標（Ｘｓ，Ｙｓ）、位置座標（ｘｎ，ｙｎ）の２点を結ぶ線分Ｌｎとの成す角度をΦとし、Δｘをｘｎ－Ｘｓとしたときに、以下の式（６）、式（７）が成り立つ。
Ｄ＝ｒｃｏｓ^{－ １}（ｓｉｎＹｓ・ｓｉｎｙｎ＋ｃｏｓＹｓ・ｃｏｓｙｎ・ｃｏｓΔｘ）…（６）
Φ＝９０－ａｔａｎ２（ｓｉｎΔｘ，ｃｏｓＹｓ・ｔａｎｙｎ－ｓｉｎＹｓ・ｃｏｓΔｘ）…（７）

ここで、距離Ｄおよび角度Φは、尺度算出部５０７で算出した俯瞰画像Ｇの画素の縦横の長さに対応した屋根１１の尺度と、基準座標（Ｘｓ，Ｙｓ）から位置座標（ｘｎ，ｙｎ）までの縦横の画素数をそれぞれ乗算することにより算出することができる。なお、距離Ｄは、各画素の中心位置を基準として算出してもよい。建物情報記録部５０２には、基準座標（Ｘｓ，Ｙｓ）の緯度と経度が記録されており、地球の半径ｒは定数である。したがって、ｘｎ、ｙｎを変数とした式（６）と式（７）の２元一次の連立方程式を作成し、これを解くことにより位置座標（ｘｎ，ｙｎ）を算出することができる。このような作業を、全ての画素に対して行い、各画素に対応した実際の位置座標を算出することができる。

図８は、本実施形態の図３に示す制御装置５９の制御フロー図であり、以下に、図８のフロー図を参照しながら、各ステップを説明するとともに、その作用効果も合わせて詳述する。

まず、ステップＳ８１に示すように、入力装置５３を介して、建物情報として、建物１０の基準座標（Ｘｓ，Ｙｓ）と、建物１０の高さＨと、建物１０の屋根１１の軒先１３の高さ（軒先高さ）Ｈｒ、屋根１１の寸法Ａ、Ｂを入力する。これにより、建物情報記録部５０２では、これらの建物情報が記録される。

次に、ステップＳ８２に進み、撮像高度算出部５０３で、無人航空機３０の撮像高度Ｈｃを算出する。本実施形態では、建物情報記録部５０２で建物情報として記録された屋根寸法Ａ、Ｂ、建物高さ（屋根１１の高さ）Ｈ、および、撮像装置３５の画角θに基づいて、屋根１１の全体が入り込む撮像高度Ｈｃを算出することができる。また、建物１０の高さＨを基準として、撮像高度Ｈｃを算出するため、屋根１１の軒先高さＨｒを基準した場合に比べて、より高い撮像高度Ｈｃを算出することができるので、より安全な位置から、建物１０の屋根全体を撮像することができる。

次に、ステップＳ８３に進み、建物１０の周り等に障害物があるかを判定する。ここで、障害物がある場合には、ステップＳ８４に進み、撮像高度Ｈｃを手動で調整する。ステップＳ８５では、無人航空機３０の飛行を開始する（離陸する）。無人航空機３０の目標地点として、基準座標（Ｘｓ，Ｙｓ）と、撮像高度Ｈｃとに向かって、無人航空機３０を飛行させる。なお、ステップＳ８３およびステップＳ８４の一連の作業を、ステップＳ８５の離陸直後に行ってもよい。

次に、ステップＳ８６に進み、無人航空機３０が、目標地点に到達したかどうかを判定する。具体的には、無人航空機３０に搭載された座標検出センサ３２および高度検出センサ３４で検出された位置座標および高度が、基準座標（Ｘｓ，Ｙｓ）、撮像高度Ｈとなるまで、ステップＳ８６を繰り返し、制御装置５９で無人航空機３０の飛行制御を行う。このようにして、第１飛行制御部５０４により、屋根１１の上空における基準座標（Ｘｓ，Ｙｓ）において、撮像装置３５により屋根１１の全体が収まる撮像高度Ｈｃまで無人航空機３０を飛行させることができる。

なお、この際に、第１飛行制御部５０４が、屋根１１の長辺方向に対して、無人航空機３０の機首方向を垂直となるように、無人航空機３０の方位を設定してもよい。屋根１１の長辺方向を、建物情報記録部５０２において、建物情報として記録してもよい。これにより、スレートや瓦の配列方向を、俯瞰画像Ｇの縦方向または横方向に沿わせることができる。

次に、ステップＳ８７では、基準座標（Ｘｓ，Ｙｓ）および撮像高度Ｈｃに到達したので、第１撮像制御部５０５により、撮像装置３５に屋根１１の全体を撮像させる。全体画像取得部５０６により、検査対象となる屋根１１の全体を含む俯瞰画像Ｇを取得することができる。

次に、ステップＳ８８では、尺度算出部５０７では、撮像高度Ｈｃと建物高さＨとの差分ΔＨ、および撮像装置３５の画角θから、俯瞰画像Ｇの画素の縦横の長さに対応した尺度を算出する。これにより、画素の縦横の長さに対応した尺度を算出することにより、俯瞰画像Ｇの縦横の実際の寸法を取得することができる。

次に、ステップＳ８９では、座標算出部５０８では、尺度と基準座標とから、俯瞰画像Ｇの画素ごとの位置座標（緯度および経度）を算出することができる。このようにして、俯瞰画像Ｇの画素ごとに、位置座標を算出することができるので、算出した位置座標に基づいて、俯瞰画像Ｇの所望の位置に（具体的には屋根１１の所望の位置）に、無人航空機３０を飛行させ、屋根１１を撮像し、撮像した画像で屋根１１を点検することができる。このような結果、撮像した俯瞰画像Ｇから、所望の位置座標により精度良く無人航空機３０を飛行させることができる。

［第２実施形態］
以下に、図９～図１３を参照しながら、第２実施形態に係る無人航空機３０を制御する制御装置３９、５９を備えた無人航空機制御システム１を示す。第１実施形態に係る無人航空機制御システム１と異なる点は、制御装置５９であり、以下にその異なる点のみを詳細に説明する。

図９に示すように、本実施形態に係る制御装置５９は、ルート設定画素記録部５０９、飛行ルート設定部５１０、撮像座標設定部５１１、第２飛行制御部５１２、第２撮像制御部５１３、および部分画像取得部５１４をさらに備えている。

ルート設定画素記録部５０９は、入力装置５３を介して選択された俯瞰画像Ｇの複数の画素ｇ１、ｇ２、…を、入力データとして、無人航空機３０の飛行ルートＲを設定するためのルート設定画素ｇ１、ｇ２、…を記録する。たとえば、図１０に示すように、操作者は、俯瞰画像Ｇに対して、屋根１１の四隅の近傍の画素ｇ１～ｇ４を選択し、ルート設定画素記録部５０９には、この画素ｇ１～ｇ４のデータが記録される。

飛行ルート設定部５１０は、選択したルート設定画素ｇ１、ｇ２、…の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、…に基づいて、無人航空機３０の方位および高度を含む飛行ルートＲを設定する。具体的には、飛行ルートＲは、図１０に示すように、無人航空機３０が、ルート設定画素ｇ１、ｇ２…を順次通過するように屋根１１の周りを周回するように設定されていてもよく、図１１に示すように、ルート設定画素ｇ１～ｇ４を囲むエリア内をジグザグに無人航空機３０が飛行するように設定されてもよい。

ここで、飛行ルート設定部５１０は、入力装置５３からの入力により、図１０に示す周回飛行パターン、図１１に示すジグザグ飛行パターン等の予め設定された飛行パターンを選択し、飛行ルート設定部５１０は、選択された飛行パターンに基づいて、具体的な飛行ルートＲを設定してもよい。

飛行ルート設定部５１０が設定する飛行ルートＲには、設定画素ｇ１、ｇ２、…の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、…に基づいて算出された緯度および経度の情報が含まれている。飛行ルート設定部５１０は、座標算出部５０８で算出した位置座標のうち、飛行ルートＲ上の画素から位置座標を無人航空機３０が通過するように、飛行ルートＲを設定してもよい。

飛行ルート設定部５１０が設定する高度（飛行高度）は、建物１０の高さＨまたは屋根１１の軒先高さＨｒから所定の高さだけ加算した高度であり、撮像高度Ｈｃよりも低い高度である。飛行ルート設定部５１０が設定する高度が、屋根１１の部分を拡大して撮像できる高度であれば、特に限定されるものではない。

飛行ルート設定部５１０が設定する方位は、図１０に示す周回飛行パターン、図１１に示すジグザグ飛行パターン等の予め設定された飛行パターンに基づいて設定されている。たとえば、図１０および図１１では、俯瞰画像Ｇの上に、無人航空機３０のアイコンを表示しており、このアイコンの矢印方向が、無人航空機３０の方位である。図１０に示す周回飛行パターンの場合には、無人航空機３０の方位が、屋根１１の軒先１３と直交する方向に設定されていてもよい。図１１に示すジグザグ飛行パターンの場合には、無人航空機３０の方位が、一定の方向となるように設定されていてもよい。

撮像座標設定部５１１は、飛行ルートＲ上に、屋根１１の部分を撮像する撮像座標（ｓ１，ｔ１）、（ｓ２，ｔ２）、…を設定する。ここで、撮像座標設定部５１１は、飛行ルートＲ上において、撮像座標（ｓ１，ｔ１）、（ｓ２，ｔ２）、…を所定の間隔に設定してもよく、たとえば、撮像装置３５の撮像範囲が連続するように撮像座標（ｓ１，ｔ１）、（ｓ２，ｔ２）、…を設定してよい。さらに、入力装置５３を介して、操作者が俯瞰写真の画素を選択し、選択した画素を撮像画像として設定してもよい。

第２飛行制御部５１２は、飛行ルートＲに沿って、無人航空機３０を飛行させる。具体的には、飛行ルートＲのデータを、飛行指令として、無人航空機３０の制御装置３９が受信する。これにより、無人航空機３０の制御装置３９は、駆動装置３６を駆動させる。この結果、無人航空機３０を、飛行ルートＲに沿って飛行することができる。

第２撮像制御部５１３は、無人航空機３０が撮像座標（ｓ１，ｔ１）、（ｓ２，ｔ２）、…に到達したタイミングで、撮像装置３５に屋根１１の部分を撮像させる。

具体的には、第２撮像制御部５１３は、建物１０の撮像座標（ｓ１，ｔ１）、（ｓ２，ｔ２）、…および高度（撮像高度）に到達したことを、無人航空機３０の座標検出センサ３２および高度検出センサ３４が検出した位置座標および高度に基づいて判定する。無人航空機３０が到達したと第２撮像制御部５１３が判定した場合には、第２撮像制御部５１３は、通信装置５１、３１を介して、撮像装置３５に撮像指令を送信する。

部分画像取得部５１４は、撮像した屋根１１の部分の点検用画像を取得する。具体的には、部分画像取得部５１４は、第２撮像制御部５１３が撮像指令を送信したことを受け、屋根１１の部分の画像は、無人航空機３０から通信装置３１を介して送信され、これを操作端末５０の通信装置５１で受信し、部分画像取得部５１４は、屋根１１の部分の画像のデータを記録する（取得する）。

図１３は、第２実施形態の図９に示す制御装置５９の制御フロー図であり、図８のステップＳ８９に続く制御フロー図である。図８に示す制御フロー図の説明は省略し、以下に、図１３のフロー図を参照しながら、各ステップを説明するとともに、その作用効果も合わせて詳述する。

ステップＳ９１では、入力装置５３を介して、表示装置５２で表示された俯瞰画像Ｇの画素を複数選択する。この際、選択された画素は、飛行ルートＲを想定したルート設定画素ｇ１，ｇ２，…である。ステップＳ９２では、ルート設定画素記録部５０９により、ルート設定画素ｇ１，ｇ２，…を記録する。

次に、飛行ルート設定部５１０により、無人航空機３０の方位および高度を含む飛行ルートＲを設定する。飛行ルートＲの設定は、ルート設定画素ｇ１，ｇ２，…に基づいて、自動的に行われる。ここで、無人航空機３０の飛行パターンが複数存在する場合には、入力装置５３を介して、１つの飛行パターンを選択する。この飛行パターンの選択は、図８に示すステップＳ８５の飛行開始よりも前に行ってもよい。

次に、ステップＳ９４では、撮像座標設定部５１１により、設定された飛行ルートＲ上に、屋根１１の部分を撮像する撮像座標（ｓ１，ｔ１）、（ｓ２，ｔ２）、…を設定する。この設定は、撮像座標設定部５１１により、自動的に行われるが、操作者（点検者）が確認したい地点の画素を入力装置５３で選択し、撮像座標設定部５１１が、選択された画素に対応した位置座標を、撮像座標として設定してもよい。

次に、ステップＳ９５に進み、第２飛行制御部５１２により、設定された飛行ルートＲに沿った無人航空機３０の飛行を開始する。図８に示すＳ８９以降に、無人航空機３０が着陸している場合には、その位置から無人航空機３０が離陸して、無人航空機３０は、飛行ルートＲの上に向かう。無人航空機３０が、基準座標で飛行している場合には、その位置から、無人航空機３０は飛行ルートＲ上に向かう。

次に、ステップＳ９６では、第２撮像制御部５１３により、無人航空機３０が撮像座標（ｓ１，ｔ１）に到達したタイミングで、撮像装置３５に屋根１１の部分を撮像させ、部分画像取得部５１４で、屋根１１の部分の点検用画像を取得する。

次に、ステップＳ９７で、無人航空機３０が飛行ルートＲの終点に到着したどうかを判定する。ここで、飛行ルートＲの終点に到着していない場合には、無人航空機３０は、飛行ルートＲの飛行途中であることから、飛行ルートＲに沿った飛行を継続する。そして、ステップＳ９６において、第２撮像制御部５１３により、無人航空機３０が次の撮像座標（ｓ２，ｔ２）に到達したタイミングで、撮像装置３５に屋根１１の部分を撮像させ、部分画像取得部５１４で、屋根１１の部分のさらなる点検用画像を取得することができる。このように、ステップＳ９６、Ｓ９７を繰り返すことにより、各撮像地点において、複数の屋根１１の部分の画像を取得することができる。

最後に、ステップＳ９７で、無人航空機３０が飛行ルートＲの終点に到着した場合には、所定の地点にまで、無人航空機３０を自律飛行させ、ステップＳ９８で着陸させる。

以上、本発明のいくつかの実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲および明細書に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。

本実施形態では、本発明の無人航空機の制御装置に相当する制御を、操作端末の制御装置で行ったが、たとえば、これらの制御を、無人航空機に搭載された制御装置で行ってもよい。

１０：建物、１１：屋根、１３：軒先、３０：無人航空機、３２：座標検出センサ（ＧＰＳ）、３３：方位検出センサ（ジャイロセンサ）、３４：高度検出センサ、３５：撮像装置、３６：駆動装置、３９：制御装置、５０：操作端末、５２：表示装置、５３：入力装置、５９：制御装置、５０２：建物情報記録部、５０３：撮像高度算出部、５０４：第１飛行制御部、５０５：第１撮像制御部、５０６：全体画像取得部、５０７：尺度算出部、５０８：座標算出部、５０９：ルート設定画素記録部、５１０：飛行ルート設定部、５１１：撮像座標設定部、５１２：第２飛行制御部、５１３：第２撮像制御部、５１４：部分画像取得部

Claims (3)

1. 建物の屋根を撮影する撮像装置と、水平方向の座標を検出する座標検出センサと、方位を検出する方位検出センサと、高度を検出する高度検出センサと、が搭載された屋根点検用の無人航空機を、入力装置で入力された入力データに基づいて制御する制御装置であって、
   前記制御装置は、前記無人航空機の飛行制御と、前記撮像装置の撮像タイミングの撮像制御と、を行うものであり、
   前記入力データとして入力された前記建物の基準座標、および前記屋根の屋根高さを、建物情報として記録する建物情報記録部と、
   前記建物の基準座標および前記屋根高さに基づいて、前記無人航空機を、前記屋根の上空における前記基準座標および撮像高度まで飛行させる第１飛行制御部と、
   前記無人航空機が前記基準座標および前記撮像高度に到達したタイミングで、前記撮像装置に前記屋根を撮像させる第１撮像制御部と、
   撮像した前記屋根全体を含む俯瞰画像を取得する全体画像取得部と、
   前記撮像高度と前記屋根高さとの差分および前記撮像装置の画角に基づいて、前記俯瞰画像の画素の縦横の長さに対応した前記屋根の尺度を算出する尺度算出部と、
   前記尺度と前記基準座標とから、前記俯瞰画像の画素ごとの位置座標を算出する座標算出部と、
   を少なくとも備えることを特徴とする屋根点検用の無人航空機の制御装置。
2. 前記建物情報記録部は、平面視における前記屋根の寸法を前記建物情報として記録し、
   前記制御装置は、前記屋根の寸法、前記屋根高さ、および前記撮像装置の画角に基づいて、前記撮像高度を算出する撮像高度算出部をさらに備えることを特徴とする請求項１に記載の屋根点検用の無人航空機の制御装置。
3. 前記制御装置は、前記入力装置を介して選択された前記俯瞰画像の複数の画素を、前記入力データとして前記無人航空機の飛行ルートを設定するルート設定画素として、記録するルート設定画素記録部と、
   前記ルート設定画素の位置座標に基づいて、前記無人航空機の方位および高度を含む飛行ルートを設定する飛行ルート設定部と、
   前記飛行ルート上に、前記屋根の部分を撮像する撮像座標を設定する撮像座標設定部と、
   前記飛行ルートに沿って、前記無人航空機を飛行させる第２飛行制御部と、
   前記無人航空機が前記撮像座標に到達したタイミングで、前記撮像装置に前記屋根の部分を撮像させる第２撮像制御部と、
   撮像した前記屋根の部分の画像を取得する部分画像取得部と、
   をさらに備えることを特徴とする請求項１または２に記載の屋根点検用の無人航空機の制御装置。

Images