JP7385332B1 - 情報処理システム及びプログラム、情報処理方法、サーバ - Google Patents

Abstract

【課題】浮き等の温度異常のある対象物を可視光画像から判別し、これを赤外線画像に反映することで対象物の異常を検出することを可能とする情報処理システム及びプログラム等を提供する。【解決手段】本発明の一実施形態によれば、可視光画像から複数並ぶ対象物が存在する各対象物領域を推定する対象物領域推定部と、赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせる重ね合わせ部と、を備える、情報処理システム及びプログラム等が提供される。【選択図】図１

Description

本発明は、対象物の異常を検出する情報処理システム及びプログラム、情報処理方法、サーバに関する。

建築物や土木構造物の壁における浮きタイルを検出する画像処理装置が、特許文献１に開示されている。特許文献１に開示された画像処理装置によれば、熱画像に対してエッジ検出処理を行い、エッジ画像からタイル形状を検出してタイル画像を生成し、タイル画像から熱源タイルや熱影響タイルを設定して浮きタイル領域を特定する（要約参照）。

特開２０２２－２１９２６号公報

しかしながら、このように熱画像からタイルなどの対象物を検出して異常（浮き等）を検出する場合、特許文献１の図７（Ｂ）に示されるように全ての対象物（タイル）が正確に検出されない可能性があり、検出されなかった対象物に実際に異常がある場合には誤検出となり得る。

本発明はこのような背景を鑑みてなされたものであり、特に、浮き等の異常のあるタイル等の対象物を可視光画像から判別し、これを赤外線画像に反映することで対象物の異常を検出することが可能な情報処理システム及びプログラム、情報処理方法、サーバを提供することを一つの目的とする。

本発明の一態様によれば、可視光画像から複数並ぶ対象物が存在する各対象物領域を推定する対象物領域推定部と、赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせる重ね合わせ部と、を備えることを特徴とする情報処理システムが提供される。

本発明によれば、特に、浮き等の異常のあるタイル等の対象物を可視光画像から判別し、これを赤外線画像に反映することで対象物の異常を検出することが可能な情報処理システム及びプログラム、情報処理方法、サーバを提供することができる。

本発明の実施の形態の全体構成を示す図である。 本発明の実施の形態にかかる情報処理システムのシステム構成を示す図である。 図２のサーバのハードウェア構成を示すブロック図である。 図２の端末のハードウェア構成を示すブロック図である。 図２の飛行体のハードウェア構成を示すブロック図である。 図２のサーバ、端末の機能を示すブロック図である。 対象となる可視光画像の一例である。 対象となる赤外線画像の一例である。 画像変形処理を施した可視光画像の一例である。 対象物領域推定処理を施した可視光画像の一例である。 図１０に示した対象物領域を拡大して示す図である。 図１０に示した対象物領域情報を図８に示した赤外線画像に重ね合わせた画像の一例である。 本実施形態にかかる情報処理システムによる対象物の異常検出方法を実施する処理を示すフローチャートである。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム及びプログラム、情報処理方法、サーバは、以下のような構成を備える。
［項目１］
可視光画像から複数並ぶ対象物が存在する各対象物領域を推定する対象物領域推定部と、
赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせる重ね合わせ部と、を備える、
ことを特徴とする情報処理システム。
［項目２］
重ね合わせた前記対象物領域のそれぞれに対して前記赤外線画像に紐づく温度情報を対応付け、対応付けられた対象物領域の温度情報に基づき対象物の異常を検出する異常検出部をさらに備える、
ことを特徴とする項目１に記載の情報処理システム。
［項目３］
前記対象物は垂直方向または水平方向の少なくともいずれかに複数並ぶ対象物であって、
前記異常検出部は、垂直方向に並ぶ対象物領域間の温度勾配と、水平方向に並ぶ対象物領域間の温度勾配の少なくともいずれかに基づき対象物の異常を検出する、
ことを特徴とする項目２に記載の情報処理システム。
［項目４］
前記対象物は垂直方向及び水平方向に複数並ぶ対象物であって、
前記異常検出部は、垂直方向に並ぶ対象物領域間の温度勾配と、水平方向に並ぶ対象物領域間の温度勾配とに基づき対象物の異常を検出する、
ことを特徴とする項目２に記載の情報処理システム。
［項目５］
前記異常検出部は、前記対象物領域の温度情報と基準温度情報との比較に応じて対象物の異常を検出する、
ことを特徴とする項目２に記載の情報処理システム。
［項目６］
前記重ね合わせ部は、前記可視光画像または前記赤外線画像の少なくともいずれかの画像領域に対して画像変形処理をさらに実行する、
ことを特徴とする項目１ないし５のいずれかに記載の情報処理システム。
［項目７］
前記画像変形処理は、前記可視光画像または前記赤外線画像の少なくともいずれかの画像領域に対して所定の画像変形処理を行うための変換行列の生成処理を含む、
ことを特徴とする項目６に記載の情報処理システム。
［項目８］
処理部を有するコンピュータに情報処理を実行させるプログラムであって、
前記プログラムは、前記処理部に、
可視光画像から複数並ぶ対象物が存在する各対象物領域を推定することと、
赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせることと、
を実行させる、プログラム。
［項目９］
対象物領域推定部により、可視光画像から複数並ぶ対象物が存在する各対象物領域を推定するステップと、
重ね合わせ部により、赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせるステップと、
をコンピュータにおいて実行する、情報処理方法。
［項目１０］
可視光画像から複数並ぶ対象物が存在する各対象物領域を推定する対象物領域推定部と、
赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせる重ね合わせ部と、を備える、
ことを特徴とするサーバ。

＜実施の形態の詳細＞
以下、本発明の実施の形態による情報処理システムを説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

＜本実施形態の概要＞
図１に示されるように、本実施の形態における情報処理システムは、例えば建物や土木建造物などの構造物の壁面を撮像した画像を基に、そのような壁面に存在する対象物の異常を検出するものである。構造物の壁面は、一例として、ユーザ自身がカメラを操作して撮像してもよいし、あるいは、自律飛行もしくは遠隔操作により飛行する図１に示すような無人飛行体４に搭載したカメラを遠隔操作して撮像してもよい。

本実施形態における情報処理システムは、後述するように、異常の無い状態の対象物が存在する対象物領域を推定する処理を行うことにより、検査対象の画像中における異常の有無を単に検出するだけでなく、検査対象の画像中において対象物（例えば、壁面のタイルやパネルなどの区画された領域をなすもの）が存在する領域を特定し、さらには、どの対象物のどの部分に異常が存在するかについても検出することを可能にするものである。

＜システム構成＞
図２に示されるように、本実施の形態における情報処理システムは、サーバ１と、端末２と、無人飛行体４とを有している。サーバ１と、端末２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されていてもよい。なお、図示された構成は一例であり、これに限らず、例えば無人飛行体４がネットワークＮＷに接続されていなくてもよい。その場合、無人飛行体４の操作がユーザが操作する送信機（いわゆるプロポ）により行われたり、無人飛行体４のカメラにより取得した画像データが無人飛行体４に接続される補助記憶装置（例えばＳＤカードなどのメモリカードやＵＳＢメモリなど）に記憶され、ユーザにより事後的に補助記憶装置からサーバ１や端末２に読み出されて記憶されたりする構成であってもよく、操作目的または画像データの記憶目的のいずれか一方の目的のためだけに無人飛行体４がネットワークＮＷに接続されていてもよい。

＜サーバ１のハードウェア構成＞
図３は、本実施形態におけるサーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

プロセッサ１０は、サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。また、後述の記憶部１３０が記憶領域の一部に設けられていてもよい。

送受信部１３は、サーバ１が通信ネットワークを介して外部装置（不図示）や無人飛行体４等と通信を行うための通信インターフェースである。送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子等をさらに備えていてもよい。

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

＜端末２＞
図４に示される端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述したサーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。

＜無人飛行体４＞
図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。

また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。

メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくともサーバ１や端末２のいずれか１つに記録されてもよい。カメラ４２は無人飛行体４にジンバル４３を介して設置される。

フライトコントローラ４１は、無人飛行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する無人飛行体４の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して無人飛行体４の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで無人飛行体４の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。特に、本実施の形態において無人飛行体４等の移動体を用いる場合には、センサ類４２は、可視光カメラ及び赤外線カメラを含む。

＜サーバ１の機能＞
図６は、サーバ１及び端末２に実装される機能を例示したブロック図である。本実施の形態においては、サーバ１は、画像取得部１１５、処理部１２０、記憶部１３０を備えている。処理部１２０は、対象物領域推定部１２１、重ね合わせ部１２２、異常検出部１２３を含んでいる。また、記憶部１３０は、情報・画像記憶部１３１、対象物領域推定学習モデル１３２を含んでいる。なお、各種機能部は、サーバ１のプロセッサ１０における機能部として例示しているが、各種機能部の一部または全部は、サーバ１のプロセッサ１０または端末２のプロセッサ２０、無人飛行体４のコントローラ４１の能力等に合わせて、プロセッサ１０またはプロセッサ２０、コントローラ４１のうちのいずれの構成において実現されていてもよい。

通信部１１０は、ネットワークＮＷを介して端末２や、無人飛行体４と通信を行う。通信部１１０は、端末２や無人飛行体４等からの各種要求やデータ等を受け付ける受付部としても機能する。

画像取得部１１５は、例えば、通信インターフェースを介した無線通信あるいはＵＳＢ端子等を介した有線通信によって、無人飛行体４に搭載されたデジタルカメラやユーザが用いたデジタルカメラで撮像された画像をそれらのデジタルカメラから取得する。画像取得部１１５は、ＵＳＢメモリやＳＤメモリ等の記憶媒体を介して画像を取得するように構成されていてもよい。

処理部１２０は、画像取得部１１５が取得した画像について異常検出を行い、どの対象物のどの部分に異常箇所が存在するかを検出する一連の処理を実行する各機能部１２１～１２３を備えている。

対象物領域推定部１２１は、画像取得部１１５が取得した可視光画像に対して、複数並ぶ対象物（壁面のタイルやパネル等）が存在する領域である各対象物領域情報を推定する処理を実行する。本実施形態の対象物領域推定部１２１は、記憶部１３０の対象物領域推定学習モデル１３２を用いて対象物領域情報を推定する。対象物領域情報は、例えば、各対象物の位置情報または領域範囲情報であってもよい。対象物領域推定学習モデル１３２の詳細については後述する。

対象物領域推定部１２１による対象物領域推定処理により、画像中における対象物（壁面のタイルやパネル等）が存在する領域が検出され、さらには、その領域における個々の対象物の位置または形状、範囲に関する情報等が検出される。換言すれば、この対象物領域推定処理により個々の対象物の位置または形状、範囲等が個別に認識される。対象物がタイルである場合を例に挙げてこれを説明すると、対象物領域推定処理により、画像中におけるタイルが存在する領域が検出されると共に、その領域において目地で区切られた個々のタイルの位置または形状、範囲等も個別に検出される。

重ね合わせ部１２２は、画像取得部１１５が取得した赤外線画像の少なくとも一部（例えば可視光画像領域に対応する対応領域）に対して、対象物領域推定部１２１によって推定された対象物領域情報を重ね合わせる処理を実行する。例えば、赤外線画像領域が可視光画像領域よりも広い撮影範囲を含む場合には、赤外線画像領域のうち可視光画像領域に対応する範囲の対応領域で対象物領域情報の重ね合わせを実行し、赤外線画像領域が可視光画像領域よりも狭い撮影範囲を含む場合には、赤外線画像領域全体に対して対応し得る可視光画像領域で対象物領域情報の重ね合わせを実行する。

重ね合わせ部１２２は、重ね合わせ処理の前に、赤外線画像または可視光画像の少なくともいずれかの画像領域に対して（特に広い撮影範囲を含む画像であって、例えば可視光画像などに対して）画像変形処理をさらに実行してもよい。画像変形処理は、例えば、少なくとも赤外線画像または可視光画像の一方を他方の画像に対応するための変換行列を算出するようにしてもよく、より具体的には両画像における共通の特徴点が対応するようにアフィン変換を行い、一致度が一番高い変換行列を求めるようにしてもよい。その際に、画像変換処理として、拡大した際に不要になった部分は削除する処理を含めてもよい。さらに具体的には、例えば学習モデル（一般的な画像分類データベースから学習されたものであってもよいし、対象物が撮影された赤外線画像または可視光画像の少なくともいずれかを用いて学習されたものであってもよい）を用いて、可視光画像と赤外線画像における画像特徴量情報（例えば、画像内の何れの領域が何れのものであると推定されるかを示す情報）をそれぞれ生成し、互いの画像特徴量の組み合わせとして一致度が高いアフィン変換における変換行列を求めるようにしてもよい。その他、画像変形処理は、可視光カメラと赤外線カメラの撮影位置、撮影角度、画角などから撮影範囲が一致する変換行列を算出してもよい。

重ね合わせ部１２２による画像変形処理の例としては、例えば図７に例示される可視光画像を、図８に例示される赤外線画像に対して重ね合わせを実行するために、前処理として、上述の所定の画像変形処理を行う。その結果、図９に例示されるように拡大や引き延ばし、不要部分の削除などの画像変形処理（特に変換行列の算出）が行われる。

対象物領域情報の重ね合わせとは、例えば、赤外線画像領域に対して、対象物領域情報が示す対象物領域の位置情報または領域範囲情報などの関連付けを行うことであってもよい。また、対象物領域情報の重ね合わせとは、例えば、赤外線画像領域における、対象物領域が何れの位置であるかを判別可能なように対象物領域情報を可視化する処理（例えば赤外線画像に対して対象物領域情報に基づいた位置や範囲に着色をする処理や、赤外線画像に対して対象物領域情報が関連付けられた可視光画像を透過して重畳する処理など）を行うことであってもよい。

重ね合わせ部１２２による重ね合わせ処理の例を説明する。まず、事前に図７に例示される可視光画像に対して対象物領域推定処理が実行され、対象物領域（図７においては壁面のタイル領域）に関する対象物領域情報が推定される。そして、対象物領域情報に基づき可視光画像において対象物を可視化すると共に、当該可視光画像に対して、重ね合わせ部１２２により、上述の画像変形処理と同様の処理（特に変換行列の適用）を実行することで図１０に例示されるような可視光画像及び対象物領域情報を得る（図１１は、対象物領域情報を可視化した可視光画像の拡大例）。各対象物領域情報は、対象物識別情報（ＩＤ）、対象物領域位置情報、対象物領域範囲情報などを含んでいてもよい。さらに、重ね合わせ部１２２は、図１２に例示されるように、赤外線画像に対して対象物領域情報の重ね合わせを実行する。なお、上述の例においては、対象物領域推定処理の実行後に画像変形処理を行っているが、先に画像変形処理を行った後に対象物領域推定処理を実行して図１０に例示される可視光画像及び対象物領域情報を得るようにしてもよい。

上記のように、対象物領域推定部１２１による対象物領域推定処理により、画像中における対象物（壁面のタイルやパネル等）が存在する領域と個々の対象物の位置または形状、範囲等が検出されている。そのため、重ね合わせ部１２２によれば、赤外線画像において対象物が何れの位置（範囲）に存在しているのかを特定することができる。すなわち、このように赤外線画像領域に対して対象物領域情報を重ね合わせることで、少なくとも作業員が重ね合わせ画像を目視することでの点検が容易となり、さらには、後述の異常検出部１２３による対象物の異常検出が可能となる。

異常検出部１２３は、重ね合わせた対象物領域のそれぞれに対して前記赤外線画像に紐づく温度情報を対応付けて、各対象物領域の温度に基づいて対象物の異常を検出する。より具体的な例としては、異常検出部１２３は、対象物領域に対応する赤外線画像上の画素に紐づく温度情報を取得し、対象物領域内の温度情報の平均値などの集計値を該当する対象物領域の温度情報として情報・画像記憶部１３１に格納し、対象物領域の温度情報に基づいて異常検出を行う。

異常検出の一例として、異常検出部１２３は、対象物領域間の温度勾配から対応する対象物の異常を検出する。より具体的な例としては、対象物が垂直方向または水平方向の少なくともいずれかの方向に複数並ぶ対象物である場合には、異常検出部１２３は、垂直方向に並ぶ対象物領域間の温度勾配または水平方向に並ぶ対象物領域間の温度勾配の少なくともいずれかに基づき、対象物の異常を検出する（すなわち、異常が発生している対象物を特定する）。特に対象物がタイルである場合には、タイルに浮きが発生しているとその周辺のタイルと比較して温度が大きく異なることから、並んでいる対象物間の温度勾配を参照することにより、隣接する両対象物の温度と比較して高いまたは低いことを検出し（例えば、隣接する両対象物と比較して温度が高いまたは低いことや、少なくともいずれかの隣接する対象物と比較して温度差の絶対値が所定値以上であることなどを検出）、異常が発生している対象物を特定することが可能となる。また、タイルに限らず、発熱異常などの温度異常を生じる対象物は種々存在するため、このような対象物に対して特に有効である。また、対象物が垂直方向及び水平方向の両方向に複数並ぶ対象物（例えば平面をなすように並ぶ対象物であり、壁面のタイルやパネルなど）である場合には、異常検出部１２３は、垂直方向に並ぶ対象物領域間の温度勾配及び水平方向に並ぶ対象物領域間の温度勾配の両温度勾配に基づき、何れの方向においても隣接する両対象物の温度と比較して高いまたは低いことを検出し（例えば、隣接する全ての対象物と比較して温度が高いまたは低いことや、温度差の絶対値が所定値以上である隣接する対象物が所定値以上であることなどを検出）、異常が発生している対象物を特定すると、異常検出の確実性がより高まる。

異常検出の他の例として、異常検出部１２３は、対象物領域の各温度情報と所定の基準温度情報との比較結果に応じて対象物の異常を検出する。これにより、温度が基準温度よりも高くなっている、または、低くなっている対象物を異常が発生している対象物として特定することが可能となる。

異常検出部１２３は、異常が発生している対象物を検出した後、特定した対象物の対象物領域情報に異常に関する異常情報を紐づける処理を実行する。異常に関する異常情報は、例えば、対象物の温度情報が所定の異常温度条件を満たしているかを判定した結果として異常の有無を示す情報を含んでいてもよいし、対象物の温度情報の異常温度条件を複数設けて、いずれの条件に合致するかを示す情報（例えば、異常温度条件の異常度の高低に合わせてＡ～Ｆのランクを付すなどであってもよい）を含んでいてもよい。または、異常情報として、具体的な対象物の温度情報や周囲の対象物との差分温度情報（例えば、何れの方向に隣接する対象物とどれくらいの温度差があるかを示す情報であったり、周囲の対象物との温度差の平均値を示す情報であってもよい）を含んでいてもよい。

異常検出部１２３は、対象物領域情報に異常情報を紐付けて情報・画像記憶部１３１に格納する。情報・画像記憶部１３１に格納される異常情報などの各種データは、端末２からの要求に応じてその一部または全部が端末２へ送信されてもよい。そして、画像及びその画像に関連する各種データは、ユーザが端末２の入出力部２４（例えばディスプレイ）を介して所定のユーザインタフェースにおいて閲覧可能であってもよい。

次に、記憶部１３０の情報・画像記憶部１３１は、画像取得部１１５が取得した画像の他、処理部１２０の各機能部１２１～１２３による処理に生成された情報・データ等を、少なくとも一時的に記憶する。

対象物領域推定学習モデル１３２は、タイルやパネル等の種々の対象物に関する画像を教師データとして機械学習して生成された学習モデルである。対象物領域推定学習モデル１３２も、例えば任意の外部コンピュータ装置（不図示）を学習器として用いて作成して、記憶部１３０に記憶させることができる。

本実施形態では、対象物領域推定学習モデル１３２もＭａｓｋ Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で機械学習を実行して生成されている。そのため、本実施形態の対象物領域推定学習モデル１３２を用いることで、画像中の対象部が存在する領域のみならず、その領域における個々の対象部の位置または範囲、形状も推定することが可能である。

＜対象物の異常検出方法の一例＞
続いて、図１３を参照して、本実施形態にかかる情報処理システムによる対象物の異常検出方法について説明する。図１３は、本実施形態にかかる情報処理システムによる対象物の異常検出方法を実施する処理を示すフローチャートである。

最初に、サーバ１の画像取得部１１５は、無人飛行体４に搭載されたカメラやユーザが用いたカメラで撮像された可視光画像及び赤外線画像をそれらのカメラから取得する（Ｓ１０１）。

取得する画像は、例えば、建物や土木建造物等の壁面等における、異常を検出する対象物を撮像したものである。

次に、サーバ１の対象物領域推定部１２１は、可視光画像を対象物領域推定学習モデル１３３に入力して、対象物（図示の例では、壁面のタイル）が存在する対象物領域を推定して対象物領域情報を出力する処理を実行する（Ｓ１０２）。

次に、サーバ１の重ね合わせ部１２２は、画像取得部１１５が取得した赤外線画像の少なくとも一部（例えば可視光画像領域に対応する対応領域）に対して、対象物領域推定部１２１によって推定された対象物領域情報を重ね合わせる処理を実行する（Ｓ１０３）。

次に、サーバ１の異常検出部１２３は、重ね合わせた対象物領域に対して赤外線画像に基づく温度情報を対応付けて、各対象物領域の温度に基づいて対象物の異常を検出する（Ｓ１０４）。

このように、本実施形態のサーバ１によれば、浮き等の温度異常を検出したい対象物を可視光画像から判別し、これを赤外線画像に反映することで対象物の異常を検出することができる。

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

１ 情報処理システム
２ 端末
４ 無人飛行体

Claims (9)

1. 可視光画像のデータを対象物領域推定学習モデルに入力することにより、前記可視光画像から複数並ぶ対象物における各対象物が存在する領域の位置をそれぞれ推定する対象物領域推定部と、
   赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された複数の前記対象物が存在する領域を対応する前記位置に重ね合わせる重ね合わせ部と、
   前記赤外線画像に紐づく温度情報と前記位置に基づきそれぞれの前記対象物が存在する領域内の温度情報の集計値を各対象物が存在する領域の温度情報として記憶し、当該温度情報に基づく対象物が存在する領域間の温度勾配を用いて対象物の異常を検出する異常検出部と、を備える、
   ことを特徴とする情報処理システム。
2. 前記対象物は垂直方向または水平方向の少なくともいずれかに複数並ぶ対象物であって、
   前記異常検出部は、垂直方向に並ぶ対象物が存在する領域間の温度勾配と、水平方向に並ぶ対象物が存在する領域間の温度勾配の少なくともいずれかに基づき対象物の異常を検出する、
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記対象物は垂直方向及び水平方向に複数並ぶ対象物であって、
   前記異常検出部は、垂直方向に並ぶ対象物が存在する領域間の温度勾配と、水平方向に並ぶ対象物が存在する領域間の温度勾配とに基づき対象物の異常を検出する、
   ことを特徴とする請求項１に記載の情報処理システム。
4. 前記異常検出部は、前記対象物が存在する領域の温度情報と基準温度情報との比較に応じて対象物の異常を検出する、
   ことを特徴とする請求項１に記載の情報処理システム。
5. 前記重ね合わせ部は、前記可視光画像または前記赤外線画像の少なくともいずれかの画像領域に対して画像変形処理をさらに実行する、
   ことを特徴とする請求項１ないし４のいずれかに記載の情報処理システム。
6. 前記画像変形処理は、前記可視光画像または前記赤外線画像の少なくともいずれかの画像領域に対して所定の画像変形処理を行うための変換行列の生成処理を含む、
   ことを特徴とする請求項５に記載の情報処理システム。
7. 処理部を有するコンピュータに情報処理を実行させるプログラムであって、
   前記プログラムは、前記処理部に、
   可視光画像のデータを対象物領域推定学習モデルに入力することにより、前記可視光画像から複数並ぶ対象物における各対象物が存在する領域の位置をそれぞれ推定することと、
   赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された複数の前記対象物が存在する領域を対応する前記位置に重ね合わせることと、
   前記赤外線画像に紐づく温度情報と前記位置に基づきそれぞれの前記対象物が存在する領域内の温度情報の集計値を各対象物が存在する領域の温度情報として記憶し、当該温度情報に基づく対象物が存在する領域間の温度勾配を用いて対象物の異常を検出することと、
   を実行させる、プログラム。
8. 対象物領域推定部により、可視光画像のデータを対象物領域推定学習モデルに入力することにより、前記可視光画像から複数並ぶ対象物における各対象物が存在する領域の位置をそれぞれ推定するステップと、
   重ね合わせ部により、赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された複数の前記対象物が存在する領域を対応する前記位置に重ね合わせるステップと、
   異常検出部により、前記赤外線画像に紐づく温度情報と前記位置に基づきそれぞれの前記対象物が存在する領域内の温度情報の集計値を各対象物が存在する領域の温度情報として記憶し、当該温度情報に基づく対象物が存在する領域間の温度勾配を用いて対象物の異常を検出するステップと、
   をコンピュータにおいて実行する、情報処理方法。
9. 可視光画像のデータを対象物領域推定学習モデルに入力することにより、前記可視光画像から複数並ぶ対象物における各対象物が存在する領域の位置をそれぞれ推定する対象物領域推定部と、
   赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された複数の前記対象物が存在する領域を対応する前記位置に重ね合わせる重ね合わせ部と、
   前記赤外線画像に紐づく温度情報と前記位置に基づきそれぞれの前記対象物が存在する領域内の温度情報の集計値を各対象物が存在する領域の温度情報として記憶し、当該温度情報に基づく対象物が存在する領域間の温度勾配を用いて対象物の異常を検出する異常検出部と、を備える、
   ことを特徴とするサーバ。