JP7370045B2 - 寸法表示システムおよび寸法表示方法 - Google Patents

Description

本発明は、寸法表示システムおよび寸法表示方法に関する。

従来から、例えば、特許文献１に開示されるように、作業員等により点検が困難な場所において、飛行体により構造物の内部を飛行及び撮影することで、作業員等の代わりに点検することが行われている。

特開２０１６－１５６２８号公報

しかしながら、構造体によっては内部構造が複雑化しており、飛行体が通過可能な個所を確認しながら飛行する必要があるが、操縦者は現場で撮像装置から得られた映像のみを確認しながら飛行体が通過可能かどうかを判断しなければならず、十分な対応が難しい状況があった。そこで、事前に建物図面等により狭所や障害物を確認する対策があり得るが、飛行前の事前確認の負担が大きく、内部構造が建物図面等の状況と変化していることもあり得るため、この対策は十分とはいえなかった。また、構造体内部に限らず、屋外であっても、操縦者が現場で撮像装置から得られた映像のみを確認しながら飛行体が通過可能かどうかを判断しなければならない状況では、同様の課題が生じ得る。

本発明はこのような背景を鑑みてなされたものであり、飛行体が通過可能な個所を現場で特定可能な撮影画像の寸法表示システムおよび寸法表示方法を提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、寸法表示システムであって、前記寸法表示システムは、飛行体の撮像装置から取得した映像を演算処理する演算処理部と、前記映像に重畳して表示される寸法表示が示す、少なくとも前記飛行体の機体正面に位置する物体の位置における幅方向または高さ方向のいずれかの寸法値を記憶する寸法記憶部と、を備え、前記演算処理部は、少なくとも前記飛行体のセンサにより取得した、前記機体から前記物体までの正面距離及び前記撮像装置の画角、前記寸法値に基づき、前記寸法表示を表示する位置を算出する寸法表示位置算出部をさらに備え、前記演算処理部は、前記算出された位置を基に、前記撮像装置から取得した映像上に前記寸法表示を重畳させて、前記演算処理された映像を生成する、こととする。

本発明によれば、飛行体が通過可能な個所を現場で特定可能な撮影画像の寸法表示システムおよび寸法表示方法を提供することができる。

本実施形態に係るシステムの構成を示す図である。 図１のユーザ端末のハードウェア構成を示すブロック図である。 図１の飛行体のハードウェア構成を示すブロック図である。 図１の飛行体の寸法表示にかかるハードウェア構成を示すブロック図である。 本実施形態にかかる飛行体３周辺の俯瞰図の例である。 図５の状況における本実施形態に係るシステムの表示例を示す図である。 図５の状況における本実施形態に係るシステムの表示例を示す図である。 図５の状況における本実施形態に係るシステムの表示例を示す図である。 本実施形態にかかる飛行体３周辺の側面図の例である。 図９の状況における本実施形態に係るシステムの表示例を示す図である。 図９の状況における本実施形態に係るシステムの表示例を示す図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行体は、以下のような構成を備える。

［項目１］
寸法表示システムであって、
前記寸法表示システムは、
飛行体の撮像装置から取得した映像を演算処理する演算処理部と、
前記映像に重畳して前記ユーザ端末に表示される寸法表示が示す、少なくとも前記飛行体の機体正面に位置する物体の位置における幅方向または高さ方向のいずれかの寸法値を予め記憶する寸法記憶部と、を備え、
前記演算処理部は、少なくとも前記飛行体のセンサにより取得した、前記機体から前記物体までの正面距離及び前記撮像装置の画角、前記寸法値に基づき、前記寸法表示を表示する位置を算出する寸法表示位置算出部をさらに備え、
前記演算処理部は、前記算出された位置を基に、前記撮像装置から取得した映像上に前記寸法表示を重畳させて、前記演算処理された映像を生成する、
ことを特徴とする寸法表示システム。
［項目２］
項目１に記載の寸法表示システムであって、
前記演算処理部は、前記正面距離を前記撮像装置から取得した映像に重畳して表示する、
ことを特徴とする寸法表示システム。
［項目３］
項目１または２に記載の寸法表示システムであって、
前記演算処理部は、少なくとも前記飛行体の飛行体に関する情報またはまたは環境情報のいずれか１つを前記撮像装置から取得した映像に重畳して表示する、
ことを特徴とする寸法表示システム。
［項目４］
請求項１乃至３に記載の寸法表示システムを備える、
ことを特徴とする飛行体。
［項目５］
請求項１乃至３に記載の寸法表示システムを備える、
ことを特徴とするユーザ端末。
［項目６］
請求項１乃至３に記載の寸法表示システムを備える、
ことを特徴とするサーバ。
［項目７］
飛行体の撮像装置から取得した映像を演算処理するステップと、
前記演算処理された映像を表示するステップと、
前記映像に重畳して表示される寸法表示が示す、少なくとも前記飛行体の機体正面に位置する物体の位置における幅方向または高さ方向のいずれかの寸法値を予め記憶するステップと、
少なくとも前記飛行体のセンサにより取得した、前記機体から前記物体までの正面距離及び前記撮像装置の画角、前記寸法値に基づき、前記寸法表示を表示する位置を算出するステップと、
前記算出された位置を基に、前記撮像装置から取得した映像上に前記寸法表示を重畳させて、前記演算処理された映像を生成するステップと、
を備えることを特徴とする寸法表示方法。

＜実施の形態の詳細＞
以下、本発明の実施の形態による飛行体の撮影画像を表示する表示システム（以下「本システム」という）について説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

＜構成＞
図１に示されるように、本システムは、ユーザ端末１、２と、飛行体３とを有している。ユーザ端末１、２と、飛行体３とは、ネットワークＮＷを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、ユーザ端末や飛行体の数や種類は任意である。

＜ユーザ端末１、２＞
図２は、図１のユーザ端末１、２のハードウェア構成を示すブロック図である。図１に示されるユーザ端末１、２は、演算処理部１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

演算処理部１０は、ユーザ端末１、２全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば演算処理部１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、演算処理部１０のワークエリア等として使用され、また、ユーザ端末１、２の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。

送受信部１３は、ユーザ端末１、２をネットワークＮＷに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。

入出力部１４は、キーボード・マウス類等の入力機器、及び表示部１４１（例えば、ディスプレイ）等の出力機器である。なお、本実施形態における表示部は、ユーザ端末１、２が備えている表示部１４１に限らず、ユーザ端末１、２に直接または間接的に接続される外部の表示装置の表示部であってもよい。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

なお、図１では、ユーザ端末１、２として、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータや、スマートフォンやタブレットＰＣ等の携帯端末を図示しているが、これに限らず、例えばヘッドマウントディスプレイ（ＨＭＤ）のような、一人称視点で操作可能な装置であってもよく、この場合、本実施形態の表示システムの効果を一層奏する。

＜飛行体３＞
図３は、飛行体３のハードウェア構成を示すブロック図である。フライトコントローラ３１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上の演算処理部を有することができる。

フライトコントローラ３１は、メモリ３１１を有しており、当該メモリにアクセス可能である。メモリ３１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ３１は、慣性センサ（例えば、加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ＬｉＤＡＲ（Light Detection And Ranging））等のセンサ類３１２を含みうる。

メモリ３１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。撮像装置３２／センサ類３３から取得したデータは、メモリ３１１に直接に伝達されかつ記憶されてもよい。例えば、撮像装置等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。

フライトコントローラ３１は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ３４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して飛行体の推進機構（モータ３５等）を制御する。バッテリー３８から給電されるモータ３５によりプロペラ３６が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

フライトコントローラ３１は、１つ以上の外部のデバイス（例えば、送信機（プロポ）３９、端末、表示装置、または他の遠隔の制御器）からのデータを受け取るように構成された受信部３７と通信可能である。送信機３９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

受信部３７は、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

受信部３７は、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を受け取ることができる。

本実施の形態によるセンサ類３３は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ＬｉＤＡＲ（Light Detection And Ranging））、またはビジョン／イメージセンサ（例えば、撮像装置３２）を含み得るが、本実施形態では、特に飛行体３の機体から飛行体３の正面の物体までの正面距離を測定するセンサ（例えば、レーザセンサなど）を含んでいる。

図４は、本実施の形態の寸法表示にかかるハードウェア構成を示すブロック図である。寸法表示システム４は、例えば飛行体３において図３に示した構成とは別に備えられており、記憶部４０、演算処理部４２、送信部４４、バス４６を有しており、バス４６を介して撮像装置３２／センサ類３３と相互に電気的に接続されている。なお、寸法表示システム４は、飛行体３に備えられる形態に限らず、例えば、ユーザ端末１、２に別途設けられる、または、ユーザ端末１、２の演算処理部及び記憶部に相当する構成の一部または全部を利用して構成される形態や、ネットワークＮＷを介して接続されるサーバ（不図示）に備える形態であってもよく、その場合、飛行体３の撮像装置３２／センサ類３３からのデータを受信することで寸法表示のための処理を行う。また、記憶部４０と演算処理部４２がそれぞれ別の装置（例えば、飛行体３やユーザ端末１、２、サーバ）に備えられていてもよい。

記憶部４０は、正面距離記憶部４０１と、寸法記憶部４０２を備えている。正面距離記憶部４０１は、センサ類３３から取得した、飛行体の機体から飛行体の正面の物体までの正面距離を記憶する。寸法記憶部４０２は、撮像装置３２から取得した映像に重畳して表示される寸法表示が示す、少なくとも物体の位置における幅方向または高さ方向の寸法値を記憶する。なお、本実施の形態の具体例では、正面距離記憶部４０１に正面距離を記憶しているが、これに限らず、センサ類３３から演算処理部４２に正面距離を送信するように構成してもよい。

演算処理部４２は、寸法表示位置算出部４２１を備えている。寸法表示位置算出部４２１は、少なくとも正面距離及び撮像装置の画角、寸法値（いずれも後述する）に基づき、上述の正面の物体位置における幅方向または高さ方向の寸法値を示す寸法表示を表示する位置を算出する。この寸法表示位置算出部４２１による算出方法については、後述する。そして、演算処理部４２は、寸法表示位置算出部４２１により算出された位置を基に、撮像装置３２からの取得した映像上に寸法表示を重畳する。

送信部４４は、有線通信または無線通信などの任意の適当な通信手段を使用することができ、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。上述の寸法表示が重畳された映像は、送信部４４を介してユーザ端末１、２に送信される。

図５は、本実施形態にかかる飛行体３周辺の俯瞰図を例示する。なお、この俯瞰図は、本実施形態を説明するために本明細書において用いられるものであり、本実施形態にかかるシステム上で表示されなくてもよい。

図５では、例示的な実施形態として非ＧＰＳ下での屋内点検について説明するが、実施形態はこれに限らず、飛行状況は、例えばＧＰＳ下や屋外等であってもよく、飛行目的は、例えば測量や空撮等であってもよく、飛行体が一般的に用いられる如何なる状況や目的であっても適用され得る。この例では、通路に円柱状の障害物（例えば、配管等）が存在し、それらにより狭所が形成されている。より具体的な例として、点線矢印で示されるように、飛行体３が通路を飛行している際に障害物を発見し、一旦左側に水平飛行した後、前進飛行して狭所を通過することを想定している。

図６から図８は、本実施形態にかかる表示システムの入出力部１４の表示部１４１（例えば、ディスプレイ等）による表示例である。

図６では、通路上に円柱状の障害物が存在することが確認できる。ディスプレイ上には、正面の障害物の位置における幅方向の寸法（例えば、１．０ｍ）を示す、２本の縦の点線が表示されている。この２つの縦の点線間の幅が、正面の障害物の位置における幅方向の寸法を示している。

また、図６には、表示の一例として、画面中心の正面距離（例えば、２．８ｍ）を表示したり、バッテリー残量（例えば、７．０Ｖ）を表示したりしているが、この限りではなく、どちらかの表示または両方の表示が示されていなくてもよく、反対に、その他の飛行体３に関する情報（例えば、バッテリー消費量、飛行高度、飛行可能時間など）、環境情報（例えば、一酸化炭素濃度や酸素濃度など）がさらに表示されていてもよい。

図７では、図６の後に前方に飛行した際の表示例である。画面中心の正面距離が更新される（例えば、２．５ｍ）とともに、正面の障害物の位置における幅方向の寸法（例えば、１．０ｍ）が示されている。図６よりもさらに飛行体３が障害物に近づいたため、図６よりも２つの縦線間の幅が広くなっている。

図８では、図７の後に左に水平飛行した際の表示例である。左側の障害物と正面の障害物との間（狭所）が映されているものの、画面中心の正面距離が更新されないため（例えば、２．５ｍ）正面の障害物の位置における幅方向の寸法（例えば、１．０ｍ）が図７と同じ幅で示されている。このように、飛行体３により撮像された映像内に狭所が映し出されている際に、狭所の位置における幅方向の寸法表示も補助的に表示されていることにより、飛行体３が通過可能な個所を現場で特定を容易に行うことが可能である。

ここで、具体的な寸法表示位置算出部４２１の算出方法として、寸法値が１．０ｍを示す、２つの縦の点線の位置を演算処理部４２の寸法表示位置算出部４２１により算出する方法の一例を、以下で説明する。

まず、センサ類４３に含まれるレーザセンサ等の正面距離センサにより、飛行体３の正面距離ａを取得し、正面距離記憶部４０１に記憶する。

次に、寸法表示位置算出部４２１において、取得した正面距離ａと、撮像装置３２の画角θとに基づき、表示部１４１の表示画像幅の半分が対応する正面の物体位置における長さｂ＝ａ×ｔａｎθを求める。

そして、寸法表示位置算出部４２１において、求めた長さｂと、表示部１４１の画像幅の半分の画素数ｎとに基づき、単位画素数当たりの正面の物体位置における長さｂ’＝ｂ／ｎを求める。

最後に、寸法表示位置算出部４２１において、寸法値の半分の値（０．５ｍ）を求めた長さｂ’で除算して必要な画素数ｍを算出し、表示部１４１の中心線から画素数ｍ離れた位置に縦の点線を、飛行体３の撮像装置３２から取得した映像に重畳して表示する。

なお、この計算方法は一例にすぎず、上述の縦の点線位置が算出できるのであれば、これに限らないし、例えば、上記計算方法に関するテーブルを予め設け、ある範囲の正面距離に対応した画素数ｍを設定しておく（例えば、正面距離が２．１～２．５ｍの場合は、画素数ｍ、正面距離が２．６～３．０の場合は、画素数ｍ’など）ことで、計算速度を向上させるとともに、逐次更新による表示処理の負荷を減らすことも可能である。また、より正確な正面の物体位置における幅方向の寸法値を示すために、縦の点線位置を算出時に既知の補正方法を利用してもよい。また、本実施形態においては、幅方向の寸法値を表示したが、これに限らず、例えば、高さ方向の画素を基に寸法表示位置を算出して、高さ方向の寸法表示を重畳してもよい。

図９は、図５とは異なる状況における、本実施形態にかかる飛行体３周辺の側面図を例示する。なお、この側面図は、本実施形態を説明するために本明細書において用いられるものであり、本実施形態にかかるシステム上で表示されなくてもよい。

図９では、例示的な実施形態として非ＧＰＳ下での屋内点検について説明するが、実施形態はこれに限らず、飛行状況は、例えばＧＰＳ下や屋外等であってもよく、飛行目的は、例えば測量や空撮等であってもよく、飛行体が一般的に用いられる如何なる状況や目的であっても適用され得る。この例では、具体的な例として、点線矢印で示されるように、飛行体３が通路を飛行している際に行き止まりとなり、通路に沿って上昇した後、前進飛行して狭所を通過することを想定している。

図１０から図１１は、本実施形態にかかる表示システムの入出力部１４の表示部１４１（例えば、ディスプレイ等）による他の表示例である。

図１０では、通路を壁面に沿って上昇している状況である。ディスプレイ上には、正面の壁の位置における幅方向の寸法（例えば、１．０ｍ）を示す、２本の縦の点線が表示されている。例えば、正面の壁までの距離は、２．０ｍである。

図１１では、通路を壁面に沿って上昇している途中で狭所が現れた状況である。ディスプレイ上には、正面の壁の位置における幅方向の寸法（例えば、１．０ｍ）を示す、２本の縦の点線が表示されており、狭所の幅と寸法表示を目視で比較することにより、右に水平移動することで、狭所を通過することができると判断できる。このように、飛行体３により撮像された映像内に狭所が映し出されている際に、狭所の位置における幅方向の寸法表示も補助的に表示されていることにより、飛行体３が通過可能な個所を現場で特定を容易に行うことが可能である。

なお、本実施形態においては、飛行体３のセンサ類３３により正面距離取得することで、正面の物体の位置における幅方向または高さ方向の寸法を算出しているが、これに限らず、例えば、同種または異種の複数のセンサ（例えば、レーザセンサ、超音波センサ、画像センサなど）を備えたり、放射状に広がるｘｙ平面で位置を感知する測域センサを備えたりすることにより、飛行体３が撮像する映像内で機体に最も近い物体の位置における幅方向または高さ方向の寸法を算出、表示するように構成をなすことも可能である。

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

１ ユーザ端末
２ ユーザ端末
３ 飛行体
ＮＷ ネットワーク

Claims (8)

1. 寸法表示システムであって、
   前記寸法表示システムは、
   飛行体の撮像装置から取得した映像を演算処理する演算処理部と、
   前記映像に重畳して表示される寸法表示が示す、少なくとも物体の位置における幅方向または高さ方向のいずれかの寸法値を予め記憶する寸法記憶部と、を備え、
   前記演算処理部は、少なくとも前記飛行体のセンサにより取得した、前記飛行体から前記物体までの距離及び前記撮像装置の画角、前記寸法値に基づき、前記寸法表示を表示する位置を算出する寸法表示位置算出部を含み、
   前記演算処理部は、前記算出された位置を基に、前記撮像装置から取得した映像上に前記寸法表示を重畳させて、前記演算処理された映像を生成する、
   ことを特徴とする寸法表示システム。
2. 請求項１に記載の寸法表示システムであって、
   前記寸法表示は、複数本の線を含み、
   前記複数本の線の間隔が幅方向または高さ方向の特定の寸法を示す、
   ことを特徴とする寸法表示システム。
3. 請求項１または２に記載の寸法表示システムであって、
   前記演算処理部は、前記飛行体から前記物体までの距離を前記撮像装置から取得した映像に重畳して表示する、
   ことを特徴とする寸法表示システム。
4. 請求項１乃至３の何れかに記載の寸法表示システムであって、
   前記演算処理部は、少なくとも前記飛行体に関する情報または環境情報のいずれか１つを前記撮像装置から取得した映像に重畳して表示する、
   ことを特徴とする寸法表示システム。
5. 請求項１乃至４の何れかに記載の寸法表示システムを備える、
   ことを特徴とする飛行体。
6. 請求項１乃至４の何れかに記載の寸法表示システムを備える、
   ことを特徴とするユーザ端末。
7. 請求項１乃至４の何れかに記載の寸法表示システムを備える、
   ことを特徴とするサーバ。
8. 飛行体の撮像装置から取得した映像を演算処理するステップと、
   前記演算処理された映像を表示するステップと、
   前記映像に重畳して表示される寸法表示が示す、少なくとも物体の位置における幅方向または高さ方向のいずれかの寸法値を予め記憶するステップと、
   少なくとも前記飛行体のセンサにより取得した、前記飛行体から前記物体までの距離及び前記撮像装置の画角、前記寸法値に基づき、前記寸法表示を表示する位置を算出するステップと、
   前記算出された位置を基に、前記撮像装置から取得した映像上に前記寸法表示を重畳させて、前記演算処理された映像を生成するステップと、
   を備えることを特徴とする寸法表示方法。
   

Images