JP2017201757A - 画像取得システム、画像取得方法、画像処理方法 - Google Patents

Abstract

【課題】複数の無人航空機にて取得した画像の合成を精度よく行う方法及びそれを用いた装置を提供する。【解決手段】第１のカメラを有する第１の無人航空機と、第２のカメラを有する第２の無人航空機と、第３のカメラを有する指令装置と、前記第１のカメラで撮像対象を撮像することにより得られた第１の画像と前記第２のカメラで前記撮像対象を撮像することにより得られた第２の画像とを合成する合成処理を行う画像処理装置と、を有する画像取得システムであって、前記指令装置が、前記撮像対象を撮像する前記第１の無人航空機及び前記第２の無人航空機を前記第３のカメラにより撮像することにより、第３の画像を取得し、前記画像処理装置が、前記第３の画像に基づいて前記第１の無人航空機と前記第２の無人航空機それぞれの姿勢を検出し、前記第１の画像と前記第２の画像の前記合成処理を行う際に前記姿勢の差を補正する処理を行う。【選択図】図３

Description

本発明は無人航空機（ＵＡＶ（Ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ））を用いた画像取得方法に関する。

ビル壁面、橋脚等の建造物の維持管理のために、赤外線カメラを用いた検査手法が広く用いられている。この検査手法は、コンクリート内部の空洞や表面の傷（異常部位）等と正常部位との温度差を赤外線カメラにより可視化することにより、従来の打音検査等に比べて広範囲を迅速に検査可能であることが特徴である。

他方、ＵＡＶはセンサーやバッテリーの技術進歩に伴って、近年著しい発展を遂げており、様々な分野と融合した製品、システムが開発されている。上述した建造物の維持管理分野も例外ではない。

特許第５６９７５９２号公報 特開２０１５−１１９３７２号公報

特許文献１では、赤外線画像を取得可能なカメラをＵＡＶに搭載し、ＵＡＶを構造物の検査に用いるシステムが提案されている。上述した赤外線カメラを用いた検査においては、赤外線画像と可視光画像を比較し、異常部位の判別を行う。この判別は、赤外線画像と可視光画像を重ねあわせる（合成する）ことで容易となる。この際、２種の画像を同時に取得することによって、より精度の高い合成画像を短時間で生成することが可能となる。上述した同時取得には、１台のＵＡＶに２種のカメラを搭載することが望ましいが、ＵＡＶの搭載量や駆動電源の制約により、現状では実現が難しい。容易に実現が可能な構成として２つのＵＡＶにそれぞれ異なるカメラを搭載し、同時に撮像を行うことで、上述の２種の画像の同時取得が可能となる。しかしながら、この構成の場合２つのカメラの位置関係と向きが固定されず、気流等の外部環境によって常に変動する状態となる。このため、画像の合成精度を向上させる工夫が必要となる。

特許文献２では、複数のカメラで構造物の画像を取得し、画像中の特徴点あるいは基準となるマーカを基に画像の位置合わせを行っている。このような特徴点を用いた画像の位置合わせは一般的に行われており、カメラが固定されている状況においては精度よく位置合わせが可能となる。しかし、この手法では上述したカメラの位置変動がある場合、精度の低下、又は画像処理時間の長時間化が問題となる。さらにマーカを用いるならば、撮像対象へのマーカの設置作業を必要とするため、作業時間、コストの面で不利となる。

その他の方法として、画像を取得した際の互いのカメラの位置関係と向きを基に画像を補正する方法が挙げられる。カメラの位置関係と向きを得る方法としてはＵＡＶに搭載したセンサー類を用いることが考えられるが、センサーの応答速度及び精度が問題となる。一般的なＵＡＶにおいて屋外では特に位置はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、高度は気圧センサーを用いることが多い。しかし、ＧＰＳの精度はおよそ１ｍオーダー、気圧センサーも０．１ｍオーダーと画像の補正に用いるには精度が不足する。

本発明は、上記の課題に対し、複数の無人航空機にて取得した画像の合成を精度よく行う方法及びそれを用いた装置を提供することを目的とする。

本発明の第１態様は、第１のカメラを有する第１の無人航空機と、第２のカメラを有する第２の無人航空機と、第３のカメラを有する指令装置と、前記第１のカメラで撮像対象を撮像することにより得られた第１の画像と前記第２のカメラで前記撮像対象を撮像することにより得られた第２の画像とを合成する合成処理を行う画像処理装置と、を有する画像取得システムであって、前記指令装置が、前記撮像対象を撮像する前記第１の無人航空機及び前記第２の無人航空機を前記第３のカメラにより撮像することにより、第３の画像を取得し、前記画像処理装置が、前記第３の画像に基づいて前記第１の無人航空機と前記第２の無人航空機それぞれの姿勢を検出し、前記第１の画像と前記第２の画像の前記合成処理を行う際に前記姿勢の差を補正する処理を行うことを特徴とする画像取得システムを提供する。

本発明の第２態様は、第１のカメラを有する第１の無人航空機と、第２のカメラを有する第２の無人航空機と、第３のカメラと、画像処理装置と、を用いて画像を取得する画像取得方法であって、前記第１の無人航空機が前記第１のカメラにより撮像対象を撮像することにより、第１の画像を取得するステップと、前記第２の無人航空機が前記第２のカメラにより前記撮像対象を撮像することにより、第２の画像を取得するステップと、前記第３のカメラが、前記撮像対象を撮像する前記第１の無人航空機及び前記第２の無人航空機を撮像することにより、第３の画像を取得するステップと、前記画像処理装置が、前記第３の画像に基づいて前記第１の無人航空機と前記第２の無人航空機それぞれの姿勢を検出し、前記第１の画像と前記第２の画像の合成処理を行う際に前記姿勢の差を補正する処理を行うステップと、を有することを特徴とする画像取得方法を提供する。

本発明の第３態様は、第１の無人航空機が第１のカメラにより撮像対象を撮像することにより得られた第１の画像のデータを取得するステップと、第２の無人航空機が第２のカメラにより前記撮像対象を撮像することにより得られた第２の画像のデータを取得するステップと、前記撮像対象を撮像する前記第１の無人航空機及び前記第２の無人航空機を第３のカメラにより撮像することにより得られた第３の画像のデータを取得するステップと、前記第３の画像に基づいて前記第１の無人航空機と前記第２の無人航空機それぞれの姿勢を検出し、前記第１の画像と前記第２の画像の合成処理を行う際に前記姿勢の差を補正する処理を行うステップと、を有することを特徴とする画像処理方法を提供する。

本発明の第４態様は、上記画像処理方法の各ステップをプロセッサに実行させることを特徴とするプログラムを提供する。

本発明によれば、複数の無人航空機にて取得した画像の合成を精度よく行う方法及びそれを用いた装置を提供できる。

第一の実施形態に係るＵＡＶ画像取得システムの全体図 第一の実施形態に係るＵＡＶ画像取得システムのブロック図 第一の実施形態に係る画像取得工程のシーケンスチャート 第二の実施形態に係るＵＡＶ画像取得システムの全体図 第二の実施形態に係る画像取得工程のシーケンスチャート

以下、図面を参照しながら本発明の実施の形態を説明する。各実施形態では、複数の無人航空機（ＵＡＶ）によりそれぞれ撮像対象を撮像し、各ＵＡＶで得られた画像から合成画像を生成するＵＡＶ画像取得システムを例示する。

［第一の実施形態］
＜全体構成＞
図１は本発明の第一の実施形態に係るＵＡＶ画像取得システムの概略装置構成を説明する模式図である。詳細な画像取得、処理シーケンスについては後述する。

ＵＡＶ画像取得システムは、赤外線カメラ搭載ＵＡＶ１０１（以降、ＵＡＶ１０１）と可視光カメラ搭載ＵＡＶ１０２（以降、ＵＡＶ１０２）、指令装置１０３、画像処理装置１０４、コンピュータ１０５、表示装置１０６によって構成される。画像処理装置１０４は専用処理ボードとしてコンピュータ１０５に組み込まれている。例として、コンピュータ１０５はＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、表示装置１０６は液晶ディスプレイを用いる。また、画像処理装置１０４は、画像処理専用のプロセッサ（ＦＰＧＡ、ＡＳＩＣなど）、メモリ、及び各種のＩ／Ｏを有する画像処理ボードにより構成され、後述する画像処理装置１０４の機能は当該プロセッサが必要なプログラムを実行することで実現される。

本実施形態では図１に示すシステム構成をとっているが、本発明の構成はこれに限られない。例えば、指令装置１０３に画像処理装置１０４を組み込んでもよいし、コンピュータ１０５と表示装置１０６を一体としたノートＰＣ、スマートフォン、タブレット端末などを用いてもよい。又は、指令装置１０３、画像処理装置１０４、コンピュータ１０５、表示装置１０６のすべての機能を一つの装置で構成してもよい。あるいは、一部の機能をネットワーク上のサーバ（クラウドサーバなど）で実行してもよい。

ＵＡＶ１０１は赤外領域の画像データを取得し、ＵＡＶ１０２は可視光領域の画像データを取得する。画像データの取得タイミング（シャッターを切るタイミング）は後述するトリガ信号により制御される。ＵＡＶによって取得した画像データを「原画像データ」と呼称する。また、ＵＡＶ１０１によって取得した原画像データを「赤外線原画像データ」、ＵＡＶ１０２によって取得した原画像データを「可視光原画像データ」と呼称する。赤外線原画像データと可視光原画像データは後述する画像処理装置１０４にて合成処理が施され、画像として表示装置１０６に表示される。

なお、ＵＡＶ１０１とＵＡＶ１０２は搭載するカメラが異なる点を除いて、機体は同一のものを使用することができる。ただしＵＡＶの同定のために、それぞれ異なる塗装、マーキングを施すことが好ましい（搭載カメラの形状が大きく異なる場合はその限りでない）。使用するＵＡＶは一般に使用されているものと同様に、ＧＰＳによる自動航行、又は無線遠隔操縦が可能となっている。さらに、後述するトリガ信号を受信して撮像を行う機能、取得した画像を無線にて画像処理装置へ送信する機能を有している。

＜指令装置＞
図２を参照して、指令装置１０３の構成を説明する。図２は指令装置と画像処理装置の概略構成を示す模式図である。

指令装置１０３は、ＵＡＶ１０１、ＵＡＶ１０２に対し、撮像開始のトリガ信号を発信する。また指令装置１０３は、ＵＡＶ１０１、ＵＡＶ１０２の姿勢を算出するための画像データ（姿勢画像データ）の取得、ＵＡＶ１０１、ＵＡＶ１０２で取得した原画像データの受信と画像処理装置１０４への転送を行う。
指令装置１０３は、指令制御系２０１、撮像ユニット２０２、測距ユニット２０３、雲台ユニット２０４、データ送受信ユニット２０５を有する。

指令制御系２０１は、後述する撮像ユニット２０２、測距ユニット２０３、雲台ユニット２０４、データ送受信ユニット２０５への命令、及び画像処理制御系２０６とのデータのやり取りを行う。

撮像ユニット２０２は、撮像モジュールと撮像処理制御系とを有する。撮像モジュールは、光学系（レンズ、絞り等）、その光学系の焦点合わせを行うためのレンズ駆動機構、及び撮像センサーを有する。撮像処理制御系は、撮像モジュールの各部を制御する回路である。撮像処理制御系は、指令制御系２０１の命令に基づいて撮像モジュールを制御してＵＡＶ１０１、１０２を撮像し、ＵＡＶ１０１、１０２が写った画像データ（姿勢画像データ）を指令制御系２０１を通して画像処理制御系２０６へと送る。姿勢画像データは、２機のＵＡＶ１０１、１０２それぞれの姿勢（位置及び向き）を検出する目的で利用される画像データである。したがって、機体の同定と姿勢（位置及び向き）の検出が可能な程度に２機のＵＡＶ１０１、１０２が明りょうに写っている画像データであれば、姿勢画像データとして用いることができる。

測距ユニット２０３は、対象との距離を測定する測距センサーと、測距センサーを制御する測距処理制御系とを有する。測距センサーの方式は問わないが、本実施形態では、レーザー光のＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）により距離を測定するレーザー測距センサーを用いる。測距処理制御系は、指令制御系２０１の命令に基づいて測距センサーを駆動して指令装置１０３と各ＵＡＶとの間の距離を測定し、取得した距離データを指令制御系２０１を通して画像処理制御系２０６へと送る。

雲台ユニット２０４は、撮像ユニット２０２及び測距ユニット２０３が設置された雲台の駆動機構と、その駆動制御系を有する。駆動制御系は、指令制御系２０１の命令に基づいて駆動機構を駆動して雲台の方位角及び仰角を制御し、撮像ユニット２０２及び測距ユニット２０３を適切な方向へ向ける。

データ送受信ユニット２０５は、指令制御系２０１の命令に基づいてＵＡＶ１０１及びＵＡＶ１０２とのデータの送受信を行う。ＵＡＶの撮像対象の位置データ、後述する撮像開始トリガ信号等、ＵＡＶ１０１及び１０２が撮像するために必要な情報の送信も、データ送受信ユニット２０５より行われる。また、各ＵＡＶ１０１、１０２より受信した原画像データは指令制御系２０１を通して画像処理制御系２０６へと送られる。

＜画像処理装置＞
画像処理装置１０４は、指令装置１０３で取得したＵＡＶの姿勢画像データと距離データから、原画像データを適切に合成するための補正パラメータを算出する。さらに、画像処理装置１０４は、補正パラメータを用いて原画像データの合成処理を行い、合成処理を行った画像データを表示装置１０６に表示するための表示データを生成する。また、画像処理装置１０４は、各ＵＡＶの撮像対象の位置データ等、指令装置１０３を通してＵＡＶに送信する情報を、コンピュータ１０５を通してユーザーより取得する。

図２に示すように、画像処理装置１０４は、画像処理制御系２０６、ＵＡＶ検出部２０７、姿勢算出部２０８、補正パラメータ算出部２０９、合成処理部２１１、現像処理部２１２、表示データ生成部２１３、ユーザー情報取得部２１５を有する。なお、ＵＡＶ検出部２０７から補正パラメータ算出部２０９までをまとめて補正パラメータ算出ユニット２１０、合成処理部２１１から表示データ生成部２１３までをまとめて合成画像生成ユニット２１４とする。

画像処理制御系２０６は、補正パラメータ算出ユニット２１０、合成画像生成ユニット２１４、及びユーザー情報取得部２１５の制御、並びに、指令装置１０３（指令制御系２０１）とのデータのやり取りを行う。

補正パラメータ算出ユニット２１０は、指令装置１０３で取得した姿勢画像データ及び距離データを用いて、各ＵＡＶ１０１、１０２の姿勢検出を行い、後述する合成処理に用いる補正パラメータの算出を行う。補正パラメータ算出ユニット２１０は、ＵＡＶ検出部２０７、姿勢算出部２０８、及び補正パラメータ算出部２０９を有する。ＵＡＶ検出部２０７は、姿勢画像データ中のＵＡＶの特徴（塗装色、マーカ、カメラ形状）を検出し、ＵＡＶの同定を行う。本実施形態においては、ＵＡＶ検出部２０７は、姿勢画像データ中のＵＡＶがＵＡＶ１０１であるかＵＡＶ１０２であるかを、その特徴から判断する。姿勢算出部２０８は、ＵＡＶ検出部２０７で同定したＵＡＶ１０１、１０２それぞれの姿勢を検出し、姿勢情報を出力する。姿勢は、検出対象（ＵＡＶ）の特徴点を用いる公知な方法（例：Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅｓ表現を用いる方法）によって算出可能である。補正パラメータ算出部２０９は、姿勢情報及び距離データより、ＵＡＶに搭載されたカメラの撮像対象に対する角度、距離を推定し、合成画像を生成するための補正パラメータを算出する。

合成画像生成ユニット２１４は、各ＵＡＶ１０１、１０２が取得した原画像データと指令装置１０３が取得した姿勢画像データ及び距離データを用いて、表示装置１０６に表示する画像データを生成する。合成画像生成ユニット２１４は、合成処理部２１１、現像処理部２１２、及び表示データ生成部２１３を有する。合成処理部２１１は、補正パラメータ算出部２０９で算出した補正パラメータに基づいて、ＵＡＶ１０１及び１０２で取得した原画像データに補正処理を行った後、画像合成処理を施し合成画像データを生成する。補正処理は、２つの原画像データの位置、向き、大きさ等を合わせるための処理であり、例えば、アフィン変換等の変形処理や回転処理、トリミング処理などが含まれる。現像処理部２１２は、合成画像データの各画素値をＸＹＺ色度座標値に変換する。この変換された画像データを、ＸＹＺ画像データと称する。また、必要に応じてノイズ除去等のデジタルフィルター処理、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ
Ｇｒｏｕｐ）等の圧縮処理を行う。表示データ生成部２１３は現像処理部２１２で生成されたＸＹＺ画像データを、ルックアップテーブルを用いて、表示装置１０６で表示可能なＲＧＢ表色系の画像データに変換する。

ユーザー情報取得部２１５は、コンピュータ１０５内の記憶装置からユーザー情報を取得する。ユーザー情報は、例えば、ＵＡＶの機体設定情報（撮像対象、撮像対象への飛行ルート・スケジュール、帰還場所等）、ＵＡＶに搭載したカメラの情報（画角、焦点距離等）等を含む。機体設定情報及びカメラ情報は事前にＵＩ等を介してユーザーによって入力され、コンピュータ１０５内の記憶装置に保持されている。ユーザー情報取得部２１５により取得された機体設定情報は、画像処理制御系２０６、指令制御系２０１、データ送受信ユニット２０５を通じて各ＵＡＶ１０１、１０２へと送られる。なお、これ以後特に言及の無い限り、指令装置１０３とＵＡＶ１０１、１０２との間の通信はデータ送受信ユニット２０５を介して行うものとする。

＜ＵＡＶの制御及び撮像処理＞
本実施形態のＵＡＶ１０１及びＵＡＶ１０２、指令装置１０３、画像処置装置１０４での合成画像データ取得についての詳細な工程を図３のシーケンスチャートを用いて説明する。

ステップＳ３０１では、ユーザー情報取得部２１５が上述したユーザー情報（機体設定
情報、カメラ情報等）を取得する。取得したユーザー情報は画像処理制御系２０６を通して指令装置１０３へ送られる。

ステップＳ３０２では、ステップＳ３０１で取得した機体設定情報等を基に、指令装置１０３が（データ送受信ユニット２０５を介して）ＵＡＶ１０１、ＵＡＶ１０２の初期化を行う。具体的には、撮像対象、撮像位置（撮像対象を撮像するときのＵＡＶの位置）、飛行ルート、飛行スケジュール、期間場所等の情報が各ＵＡＶ１０１、１０２に送信し設定される。

ステップＳ３０３では、ステップＳ３０２での設定に基づき、ＵＡＶ１０１及びＵＡＶ１０２を撮像位置へと移動させる。撮像位置までの移動はＧＰＳ等を利用した自動航行にて行うことが好ましい。移動後、搭載したカメラの画角に撮像対象が収まるよう、各ＵＡＶ１０１、１０２が自機の位置と向きを微調整する。画角に撮像対象を収めたら、各ＵＡＶ１０１、１０２は移動完了の通知を指令装置１０３へ送る。

ステップＳ３０４では、指令装置１０３が後段のＵＡＶの撮像（姿勢画像データ取得）と測距（距離データ取得）の準備を行う。具体的には、撮像位置（空中）にいるＵＡＶ１０１及び１０２が２機とも撮像ユニット２０２の画角に収まるように、指令制御系２０１が雲台ユニット２０４を制御し、指令装置１０３（撮像ユニット２０２及び測距ユニット２０３）の向きを変更する。

ＵＡＶが画角に収まるかどうかの判断は、いかなる方法で行ってもよい。例えば、ステップＳ３０２で各ＵＡＶ１０１、１０２に設定した撮像位置と指令装置１０３の設置位置と撮像ユニット２０２の画角とから理論的に（幾何学的に）計算してもよい。あるいは、各ＵＡＶ１０１、１０２の存在位置を各ＵＡＶのＧＰＳ情報から計算し、各ＵＡＶ１０１、１０２の存在位置と指令装置１０３の設置位置と撮像ユニット２０２の画角とから幾何学的に計算してもよい。あるいは、撮像ユニット２０２で取得される画像に対し物体認識を行い、２機のＵＡＶ１０１及び１０２が画像中に含まれているか否かを判断してもよい。

ＵＡＶ撮像準備（ステップＳ３０４）と、ＵＡＶ１０１及び１０２の移動（ステップＳ３０３）が完了したら、次のステップＳ３０５へと進む。ステップＳ３０５では、指令装置１０３が、撮像を命令するトリガ信号を各ＵＡＶ１０１、１０２に発信する。このトリガ信号に基づいて、各ＵＡＶ１０１、１０２によるステップＳ３０６の処理と、指令装置１０３によるステップＳ３０７の処理とが、同期して（ほぼ同時に）実行される。

ステップＳ３０６では、ＵＡＶ１０１とＵＡＶ１０２がそれぞれ撮像対象の撮像（原画像データの取得）を行う。撮像はトリガ信号を受信したと同時にカメラのシャッターを切ることによって行われる。取得した原画像データのヘッダ等に画像取得時刻（タイムスタンプ）を記録する。本実施形態のシーケンスでは撮像を１回としているが、複数回行う場合はＵＡＶごとに一意な通し番号（ユニークシリアルナンバー）を原画像データのヘッダ等に記録する。画像取得時刻や通し番号を記録するのは、異なるＵＡＶで同時に取得された原画像データのペアリングを行うためである。撮像後、各ＵＡＶ１０１、１０２は、取得した原画像データを指令装置１０３へ送信する。これにより、一つの撮像対象について、赤外線原画像データと可視光原画像データが取得される。

ステップＳ３０７では、ステップＳ３０５でのトリガ信号発信と同時に、指令装置１０３がＵＡＶの撮像（姿勢画像データの取得）と測距（距離データの取得）を行う。姿勢画像データの取得は撮像ユニット２０２、距離データの取得は測距ユニット２０３によって行われる。これにより、ＵＡＶ１０１が撮像対象を撮像した時（ステップＳ３０６）の、
ＵＡＶ１０１の位置（空中での３次元位置）と、ＵＡＶ１０１の撮像対象に対する姿勢（向き）とが記録される。同様に、ＵＡＶ１０２が撮像対象を撮像した時（ステップＳ３０６）の、ＵＡＶ１０２の位置（空中での３次元位置）と、ＵＡＶ１０２の撮像対象に対する姿勢（向き）とが記録される。原画像データと、姿勢画像データ及び距離データの対応をとるために、姿勢画像データ及び距離データにもタイムスタンプやユニークシリアルナンバーを記録するとよい。

ステップＳ３０８では、ＵＡＶ１０１、１０２を所定の場所へ帰還させる。帰還のタイミングは、指令装置１０３の指示に基づいても良いし、各ＵＡＶ１０１、１０２に送信した機体設定情報に基づいて各ＵＡＶ１０１、１０２に判断させても良い。移動は、ステップＳ３０３同様、ＧＰＳ等を利用した自動航行にて行うことが好ましい。

ステップＳ３０９では、指令制御系２０１が、各ＵＡＶ１０１、１０２から取得した原画像データと、姿勢画像データ、距離データを、画像処理装置１０４へ転送する。

ステップＳ３１０では、補正パラメータ算出ユニット２１０が、各ＵＡＶ１０１、１０２から取得した原画像データの画像合成に用いる補正パラメータの算出を行う。具体的には、ＵＡＶ検出部２０７が姿勢画像データからＵＡＶ１０１及びＵＡＶ１０２をそれぞれ同定し、姿勢算出部２０８がＵＡＶ１０１及びＵＡＶ１０２それぞれの特徴点を検出し姿勢を推定する。そして、補正パラメータ算出部２０９が、ＵＡＶ１０１の姿勢情報及び距離データに基づいて、ＵＡＶ１０１に搭載されたカメラの撮像対象に対する視線ベクトル（撮像対象に対するカメラの位置及び距離、カメラの光軸の向きなど）を推定する。また、補正パラメータ算出部２０９は、ＵＡＶ１０２の姿勢情報及び距離データに基づいて、ＵＡＶ１０２に搭載されたカメラの撮像対象に対する視線ベクトルを推定する。ＵＡＶ１０１とＵＡＶ１０２の間の視線ベクトルの差、もしくはそれに相当する情報が、補正パラメータである。補正パラメータは、複数のＵＡＶ（カメラ）の姿勢の差（カメラ座標系の差）を補正するための情報、あるいは、異なる姿勢のＵＡＶ（カメラ）で得られた複数の画像の間の位置・向き・大きさ等を合わせる補正を行うための情報といえる。

ステップＳ３１１では、ＵＡＶ１０１で取得した原画像データとＵＡＶ１０２で取得した原画像データの合成処理を行い、合成した画像データの表示データを生成し、表示装置１０６へ出力する。具体的には、合成処理部２１１が、原画像データのタイムスタンプを確認し、ＵＡＶ１０１及び１０２で同時（信号、回路の遅延等を考慮した上で実質的に同時）に取得した原画像データを選択する。撮像対象の撮像を複数回行った場合は、ユニークシリアルナンバーも合わせて参照する。その後、合成処理部２１１は、補正パラメータに基づいて２つの原画像データの視線ベクトルを一致させるように、一方又は両方の原画像データに変形、トリミング等の画像補正を施す。そして、合成処理部２１１は、補正後の２つの原画像データを重ね合せることで合成画像を生成する。重ね合せは、例えばアルファブレンド等公知な方法で行うとよい。合成処理後は、現像処理部２１２、表示データ生成部２１３にて表示装置１０６で表示可能な画像形態に合成画像を変換し、出力する。

＜第一の実施形態の利点＞
以上のように、本実施形態では、複数のＵＡＶに異なるカメラを搭載し、トリガ信号によって同時に画像の取得を行う。さらに、撮像時のＵＡＶの姿勢及び距離を外部より観察することで、マーカ等を用いずに、異なるカメラで取得した画像の合成画像を効率的かつ高精度に取得することが可能となる。

［第二の実施形態］
＜全体構成＞
図４は本発明の第二の実施形態に係るＵＡＶ画像取得システムの概略構成を説明する模
式図である。本実施形態と第一の実施形態の最大の違いは、第一の実施形態における指令装置１０３の機能をＵＡＶに搭載し画像取得を実行する点である。加えて、第一の実施形態では静止画像の撮像により原画像データを取得したのに対し、本実施形態では、ＵＡＶにより動画を撮像し、動画像データからフレームを抽出することにより原画像データの取得を行う点で異なる。

本実施形態におけるＵＡＶ画像取得システムは、赤外線カメラ搭載ＵＡＶ４０１（以降、ＵＡＶ４０１）と可視光カメラ搭載ＵＡＶ４０２（以降、ＵＡＶ４０２）、指令ＵＡＶ４０３の少なくとも３機のＵＡＶを有する。またＵＡＶ画像取得システムは、画像処理装置４０４、コンピュータ４０５、表示装置４０６、データ送受信ユニット４０７を有する。

ＵＡＶ４０１はＵＡＶ１０１と、ＵＡＶ４０２はＵＡＶ１０２と同様の機能、構成のため説明は割愛する。画像処理装置４０４は画像処理装置１０４、コンピュータ４０５はコンピュータ１０５、表示装置４０６は表示装置１０６と同様の構成であるので説明を割愛する。

指令ＵＡＶ４０３は、第一の実施形態における指令装置１０３と同様の機能を持つＵＡＶであり、ＵＡＶ４０１、ＵＡＶ４０２の姿勢画像データを取得するためのカメラと、距離データを取得する測距装置を搭載している。さらに、指令ＵＡＶ４０３は、画像処理装置４０４とデータ通信を行うための、データ送受信ユニット２０５に相当する機能を有している（不図示）。

データ送受信ユニット４０７は画像処理装置４０４に接続されており、ＵＡＶ４０１、ＵＡＶ４０２及びＵＡＶ４０３とのデータ送受信を行う。データ送受信ユニット４０７は、データ送受信ユニット２０５とほぼ同様であり、ＵＡＶが撮像を行うために必要な情報（撮像対象の位置データ等）の送信や、ＵＡＶより受信した原画像データを画像処理装置４０４へと送る機能を有する。

＜ＵＡＶの制御及び撮像処理＞
本実施形態のＵＡＶ４０１及びＵＡＶ４０２、指令ＵＡＶ４０３、画像処置装置４０４での合成画像データ取得についての詳細な工程を図５のシーケンスチャートを用いて説明する。

ステップＳ５０１の処理は、第一の実施形態のステップＳ３０１と同様であるので説明を省略する。ただし、本実施形態では、機体設定情報とカメラ情報に加えて、ＵＡＶ４０１及びＵＡＶ４０２の三次元ＣＡＤデータ（ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｓｉｇｎデータ）をユーザー又はコンピュータ４０５内の記憶装置より取得する。

ステップＳ５０２では、ステップＳ５０１で取得した機体設定情報等を基に、画像処理装置４０４がデータ送受信ユニット４０７を介してＵＡＶ４０１、ＵＡＶ４０２及び指令ＵＡＶ４０３の初期化を行う。具体的には、撮像対象、撮像位置（撮像対象や姿勢画像を撮像するときのＵＡＶの位置）、飛行ルート、飛行スケジュール、期間場所等の情報が各ＵＡＶ４０１、４０２、４０３に送信し設定される。

ステップＳ５０３では、ステップＳ５０２での設定に基づき、ＵＡＶ４０１、ＵＡＶ４０２及び指令ＵＡＶ４０３を撮像位置へと移動させる。撮像位置までの移動はＧＰＳ等を利用した自動航行にて行うことが好ましい。移動後、ＵＡＶ４０１とＵＡＶ４０２は搭載したカメラの画角に撮像対象が収まるよう、自機の位置と向きを微調整する。

ステップＳ５０４では、指令ＵＡＶ４０３が、後段の姿勢画像データの取得と距離データ取得の準備を行う。具体的には、撮像位置（空中）にいるＵＡＶ４０１及び４０２が２機とも指令ＵＡＶ４０３に搭載したカメラの画角に収まるように、指令ＵＡＶ４０３の位置と向きを微調整する。ＵＡＶが画角に収まるかどうかの判断は、第一の実施形態で述べた方法など、いかなる方法で行ってもよい。

ステップＳ５０５では、ＵＡＶ４０１、４０２がそれぞれ撮像対象の撮像の準備を行う。まず、ＵＡＶ４０１とＵＡＶ４０２は撮像位置でホバリングしながら、搭載したカメラの画角に撮像対象が収まるよう、位置を微調整する。その後、ＵＡＶ４０１とＵＡＶ４０２はそれぞれ、撮像準備完了の通知を指令ＵＡＶ４０３へ送信し、後段のトリガ信号を受信するまで、動画データの取得を行う。

ステップＳ５０６では、指令ＵＡＶ４０３が、ＵＡＶ４０１、４０２に撮像を命令するトリガ信号を発信する。このトリガ信号に基づいて、各ＵＡＶ４０１、４０２によるステップＳ５０７の処理と、指令ＵＡＶ４０３によるステップＳ５０８の処理とが、同期して（ほぼ同時に）実行される。

ステップＳ５０７では、ＵＡＶ４０１とＵＡＶ４０２がそれぞれ原画像データの取得を行う。原画像データの取得は、ステップＳ５０５以降取り込み続けている動画データから、トリガ信号を受信した時点のフレーム画像を抽出することで行う。

ステップＳ５０８では、ステップＳ５０６でのトリガ信号発信と同時に、指令ＵＡＶ４０３がＵＡＶ４０１及びＵＡＶ４０２の撮像（姿勢画像データの取得）と測距（距離データの取得）を行う。これにより、ＵＡＶ４０１が撮像対象を撮像した時（ステップＳ５０７）の、ＵＡＶ４０１の位置（空中での３次元位置）と、ＵＡＶ４０１の撮像対象に対する姿勢（向き）とが記録される。同様に、ＵＡＶ４０２が撮像対象を撮像した時（ステップＳ５０７）の、ＵＡＶ４０２の位置（空中での３次元位置）と、ＵＡＶ４０２の撮像対象に対する姿勢（向き）とが記録される。原画像データと、姿勢画像データ及び距離データの対応をとるために、姿勢画像データ及び距離データにもタイムスタンプやユニークシリアルナンバーを記録するとよい。

ステップＳ５０９では、各ＵＡＶがステップＳ５０２で設定した機体設定情報を確認し、撮像スケジュール（すべての撮像対象の撮像）が完了している場合、所定の場所へ帰還する。帰還後、ＵＡＶ４０１、ＵＡＶ４０２は原画像データを、指令ＵＡＶ４０３は姿勢画像データと距離データを画像処理装置４０４へ送信する。

ステップＳ５１０では、第一の実施形態におけるステップＳ３１０と同様に、画像処理装置４０４が、原画像データの画像合成に用いる補正パラメータの算出を行う。本実施形態では、画像処理装置４０４は、ステップＳ５０１で取得した三次元ＣＡＤデータ（三次元形状情報）に基づいて、各ＵＡＶ４０１、４０２の同定及び姿勢情報の算出を行う。例えば、三次元ＣＡＤデータからＵＡＶの様々な姿勢の形状を求め、それらと姿勢画像データに写るＵＡＶの形状とを比較することで、ＵＡＶの同定及び姿勢の検出を行うことができる。

ステップＳ５１１の処理は、第一の実施形態のステップＳ３１１と同様であるので説明を省略する。

＜第二の実施形態の利点＞
以上のように本実施形態では、ＵＡＶによる撮像を制御する機能をもＵＡＶに搭載することで、限定された条件下（例えば、人の立ち入りが困難な場所）でも効率よくかつ高精
度な合成画像の取得が可能となる。

［その他の実施形態］
第一及び第二の実施形態では、画像処理装置１０４、４０４を専用ボードとしてコンピュータ１０５、４０５に組み込む構成としたが、同様の機能をコンピュータ１０５、４０５上で実行するソフトウェアで実現してもよい。
第一及び第二の実施形態では、ＵＡＶが自動航行により移動したが、使用者が遠隔操縦によってＵＡＶを移動させても良い。

第一及び第二の実施形態では、距離データの取得にレーザー光線を用いた測距を行っているが、このほかに超音波を利用する方法、測距儀を利用する方法等、公知の測距方法によって距離データを取得しても良い。また、姿勢画像データ内に写っている構造物等とＵＡＶの大きさから相対的な距離を画像処理によって算出し、これを基に距離データを算出しても良い。この場合は、撮像カメラで測距できるため、測距センサなどの専用装置は不要となる。

第一及び第二の実施形態では、原画像データ、姿勢画像データ及び距離データを無線にて画像処理装置へ送信したが、ＵＡＶ内に搭載した記憶装置（例えばＳＤメモリーカード）に一旦記憶させ、帰還後にユーザーが取り出して読みだしても良い。
第一及び第二の実施形態では、撮像終了後すぐにＵＡＶを帰還させているが、次の撮像対象位置に移動して上述した撮像シーケンスを行っても良い。
第二の実施形態において、指令ＵＡＶ４０３の機能をすべてのＵＡＶ４０１〜４０３に搭載し、指令ＵＡＶ４０３の機能を果たすＵＡＶを状況に応じて変更できる構成としても良い。この場合、例えば撮像対象への到着が最後となった機体を指令ＵＡＶとすることで、撮像時間の短縮が図れる。

第一及び第二の実施形態では、２機のＵＡＶで赤外線画像と可視光画像を撮像し、それらを重ね合せる処理を説明したが、ＵＡＶの台数、取得する画像の種類、合成処理の内容は問わない。例えば、３機以上のＵＡＶにより撮像対象の撮像（原画像データの取得）を行っても良い。また、複数のＵＡＶが同種の画像を取得してもよいし、赤外線画像や可視光画像以外の種類の画像を取得してもよい。また、合成処理は、画像の重ね合せの他に、例えば、画像のつなぎ合わせ（スティッチング）、画像の差分などでもよい。異なるＵＡＶで撮像された複数の画像を位置合わせするための補正が必要であれば、本発明を好ましく適用できる。
前記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。

１０１：赤外線カメラ搭載ＵＡＶ
１０２：可視光カメラ搭載ＵＡＶ
１０３：指令装置
１０４：画像処理装置

Claims (13)

1. 第１のカメラを有する第１の無人航空機と、
   第２のカメラを有する第２の無人航空機と、
   第３のカメラを有する指令装置と、
   前記第１のカメラで撮像対象を撮像することにより得られた第１の画像と前記第２のカメラで前記撮像対象を撮像することにより得られた第２の画像とを合成する合成処理を行う画像処理装置と、
   を有する画像取得システムであって、
   前記指令装置が、前記撮像対象を撮像する前記第１の無人航空機及び前記第２の無人航空機を前記第３のカメラにより撮像することにより、第３の画像を取得し、
   前記画像処理装置が、前記第３の画像に基づいて前記第１の無人航空機と前記第２の無人航空機それぞれの姿勢を検出し、前記第１の画像と前記第２の画像の前記合成処理を行う際に前記姿勢の差を補正する処理を行う
   ことを特徴とする画像取得システム。
2. 前記第１の無人航空機が前記第１の画像を取得する処理と、前記第２の無人航空機が前記第２の画像を取得する処理と、前記指令装置が前記第３の画像を取得する処理とが、同時に実行される
   ことを特徴とする請求項１に記載の画像取得システム。
3. 前記第１の無人航空機が前記第１の画像を取得する処理と、前記第２の無人航空機が前記第２の画像を取得する処理と、前記指令装置が前記第３の画像を取得する処理とが、前記指令装置によって発せられるトリガ信号に基づき実行される
   ことを特徴とする１又は２に記載の画像取得システム。
4. 前記第１の画像の取得は、前記第１の無人航空機が前記トリガ信号に基づき前記第１のカメラのシャッターを切ることにより行われ、
   前記第２の画像の取得は、前記第２の無人航空機が前記トリガ信号に基づき前記第２のカメラのシャッターを切ることにより行われる
   ことを特徴とする請求項３に記載の画像取得システム。
5. 前記第１の画像の取得は、前記第１のカメラから取り込まれる動画データから前記トリガ信号に基づく時刻のフレーム画像を抽出することにより行われ、
   前記第２の画像の取得は、前記第２のカメラから取り込まれる動画データから前記トリガ信号に基づく時刻のフレーム画像を抽出することにより行われる
   ことを特徴とする請求項３に記載の画像取得システム。
6. 前記姿勢の差を補正する処理は、前記第１の画像と前記第２の画像の位置及び向きを合わせる処理を含む
   ことを特徴とする請求項１〜５のうちいずれか１項に記載の画像取得システム。
7. 前記指令装置は、無人航空機である
   ことを特徴とする請求項１〜６のうちいずれか１項に記載の画像取得システム。
8. 前記第１の画像及び前記第２の画像に、画像取得時刻又は一意な通し番号を記録する
   ことを特徴とする請求項１〜７のうちいずれか１項に記載の画像取得システム。
9. 前記画像処理装置は、前記第３の画像から前記第１の無人航空機及び前記第２の無人航空機それぞれの特徴点を検出することにより、前記第１の無人航空機及び前記第２の無人
   航空機それぞれの姿勢を推定する
   ことを特徴とする請求項１〜８のうちいずれか１項に記載の画像取得システム。
10. 前記画像処理装置は、前記第３の画像と、前記第１の無人航空機及び前記第２の無人航空機それぞれの三次元形状情報とに基づいて、前記第１の無人航空機及び前記第２の無人航空機それぞれの姿勢を推定する
    ことを特徴とする請求項１〜８のうちいずれか１項に記載の画像取得システム。
11. 第１のカメラを有する第１の無人航空機と、
    第２のカメラを有する第２の無人航空機と、
    第３のカメラと、
    画像処理装置と、
    を用いて画像を取得する画像取得方法であって、
    前記第１の無人航空機が前記第１のカメラにより撮像対象を撮像することにより、第１の画像を取得するステップと、
    前記第２の無人航空機が前記第２のカメラにより前記撮像対象を撮像することにより、第２の画像を取得するステップと、
    前記第３のカメラが、前記撮像対象を撮像する前記第１の無人航空機及び前記第２の無人航空機を撮像することにより、第３の画像を取得するステップと、
    前記画像処理装置が、前記第３の画像に基づいて前記第１の無人航空機と前記第２の無人航空機それぞれの姿勢を検出し、前記第１の画像と前記第２の画像の合成処理を行う際に前記姿勢の差を補正する処理を行うステップと、
    を有することを特徴とする画像取得方法。
12. 第１の無人航空機が第１のカメラにより撮像対象を撮像することにより得られた第１の画像のデータを取得するステップと、
    第２の無人航空機が第２のカメラにより前記撮像対象を撮像することにより得られた第２の画像のデータを取得するステップと、
    前記撮像対象を撮像する前記第１の無人航空機及び前記第２の無人航空機を第３のカメラにより撮像することにより得られた第３の画像のデータを取得するステップと、
    前記第３の画像に基づいて前記第１の無人航空機と前記第２の無人航空機それぞれの姿勢を検出し、前記第１の画像と前記第２の画像の合成処理を行う際に前記姿勢の差を補正する処理を行うステップと、
    を有することを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法の各ステップをプロセッサに実行させることを特徴とするプログラム。
    

Images