JP2017130146A - 画像管理装置、画像管理方法及びプログラム - Google Patents

Abstract

【課題】構造的なまとまり毎に画像を取得することができる画像管理装置、画像管理方法及びプログラムを提供することを課題とする。【解決手段】画像管理装置は、三次元空間における座標が指定されると、前記指定される座標に応じて、構造物に係る三次元点群の中から、前記構造物における構造的なまとまりであるセグメントに対応する三次元点を抽出する抽出手段（３０６）と、前記抽出手段により抽出される、前記セグメントに対応する三次元点に関連付けられた画像を取得する取得手段（３０７）とを有する。【選択図】図３

Description

本発明は、画像管理装置、画像管理方法及びプログラムに関する。

橋梁等の点検対象構造物の撮影において、撮影した画像データとその撮影内容の関連付けは、野帳にメモを残すことで行われる。例えば、橋梁を対象にした点検において、主桁や床版等の点検対象部位を撮影した画像をまとめて閲覧したい場合、野帳に書き込まれたメモを参考に、大量の画像データの中から目的の画像を手動で探す必要がある。このような、画像を手動で探す煩雑さを低減する方法として、次に挙げる技術が開示されている。

特許文献１には、三次元空間に配置された画像に対して、ユーザが関心のある領域を指定することで、その領域に関連付けられた画像を表示する技術が開示されている。この技術では、画像と三次元点が相互に関連付けられており、ユーザが指定する矩形領域に囲われた三次元点について関連付けられた画像を取得し、表示する。

米国特許第８７４４２１４号明細書

しかし、特許文献１では、矩形で選択された範囲の三次元点に関連付けられた画像を取得するに留まり、点検対象構造物の三次元的な構造を考慮して、点検対象部位毎に画像を取得することはできない。

本発明の目的は、構造的なまとまり毎に画像を取得することができる画像管理装置、画像管理方法及びプログラムを提供することである。

本発明の画像管理装置は、三次元空間における座標が指定されると、前記指定される座標に応じて、構造物に係る三次元点群の中から、前記構造物における構造的なまとまりであるセグメントに対応する三次元点を抽出する抽出手段と、前記抽出手段により抽出される、前記セグメントに対応する三次元点に関連付けられた画像を取得する取得手段とを有することを特徴とする。

本発明によれば、構造的なまとまりであるセグメント毎に画像を取得することができる。

第１の実施形態による画像管理装置の画面を示す図である。 画像管理装置のハードウェア構成例を示すブロック図である。 第１の実施形態による画像管理装置の機能ブロックを示す図である。 三次元点群、画像、三次元点と画像の間の関連情報を示す図である。 第１の実施形態による画像取得時の動作を示すフローチャートである。 推定されたセグメントの例を示す図である。 第２の実施形態による画像管理装置の画面を示す図である。 第２の実施形態による画像管理装置の機能ブロックを示す図である。 第２の実施形態による画像取得時の動作を示すフローチャートである。 第３の実施形態による画像管理装置の機能ブロックを示す図である。 画像撮影時のカメラ位置を記録するテーブルを示す図である。 第３の実施形態による画像取得時の動作を示すフローチャートである。 画像を正対度に基づいてソートする動作を示すフローチャートである。 一時データを記録するテーブルを示す図である。 正対度を算出する動作を説明するための図である。

（第１の実施形態）
本発明の第１の実施形態では、点検対象構造物は、三次元点群として表現され、三次元点群に含まれる各三次元点には画像が関連付けられている。なお、点検対象構造物を例に説明するが、点検以外の目的にも本発明は適用可能である。立体形状の構造物であれば本発明を適用することができる。例えば、ＣＡＤや３Ｄプリンタに関する目的にも本発明は適用可能である。

以下では、ユーザによって入力された座標情報に基づいて、点検対象構造物に係る三次元点群の部分集合であるセグメントを推定し、推定されたセグメントに含まれる各三次元点に関連付けられた画像を取得する画像管理装置について説明する。

図１は、本発明の第１の実施形態による画像管理装置の画面例を示す図である。表示領域１０１は、三次元点群１０２（三次元モデル７０１（図７））を表示する領域であり、ユーザの操作に従って任意の視点から三次元点群１０２（三次元モデル７０１）を閲覧することができる。三次元点群１０２は、表示領域１０１に表示された三次元点群である。表示領域１０３は、三次元点群１０２の中でユーザによって選択された三次元点に関連付けられた画像１０４が一覧表示される領域である。ボタン１０５は、三次元点群１０２を読み込むためのボタンである。ボタン１０６は、ボタン１０５で読み込まれた三次元点群１０２に関連付けられた画像１０４を読み込むためのボタンである。

図２は、本実施形態による画像管理装置のハードウェア構成例を示す図である。ＣＰＵ２０１は、各種処理のための演算や論理判断等を行い、バス２０７に接続された各構成要素を制御する。画像管理装置には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリは、後述するフローチャートの処理ステップを含むＣＰＵ２０１による制御のためのプログラムを格納する。メモリは、ＲＯＭ２０２であってもよいし、外部記憶装置等からプログラムがロードされるＲＡＭ２０３であってもよい。ストレージ２０４は、三次元点群１０２（三次元モデル７０１）、三次元点群１０２に含まれる各三次元点に関連付けられた画像１０４を格納するためのデバイスである。表示デバイス２０５は、三次元点群１０２（三次元モデル７０１）を表示する領域１０１と、ユーザの入力に応じて取得された画像１０４を表示する領域１０３を有する。ポインティングデバイス２０６は、表示デバイス２０５に表示された三次元空間において、座標情報を入力するためのデバイスである。

図３は、本実施形態による画像管理装置の機能ブロックを示す図である。画像管理装置は、ＣＰＵ２０１がプログラムを実行することにより、図３の機能ブロックを実現する。三次元点群記憶部３０１は、点検対象構造物を表現する三次元点群１０２を記憶する。

なお、三次元点群１０２を示す情報は、三次元点群記憶部３０１によって予め記憶していてもよいし、外部から取得して三次元点群記憶部３０１に記憶させてもよい。

また、図示を省略する三次元点群算出手段によって、点検対象構造物を撮像した複数の画像から算出するようにしてもよい。三次元点群算出手段は、例えば、一般的な三次元点群算出処理であるStructure from Motion 技術を用いて三次元点群算出することができる。この技術は、例えば、マッチングされた特徴点組の位置関係からエピポーラ幾何的計算法により画像の撮影された相対的な位置と画像の姿勢（例えば重力方向）を推定する。そして、画像のＥｘｉｆ（Exchangeable image file format）情報から焦点距離などのパラメータを取得し、その焦点距離を示す情報に基づいて特徴点の組が表す三次元空間上の座標位置を算出する。更に、これらの算出値をバンドル調整法を用いた最適化のための計算を行うことで、特徴点の組が表す三次元空間上の座標位置を決定するという処理を行う。

また、例えば、傾きセンサやＧＰＳ受信機を備えたカメラを用いて各画像を撮影するようにしてもよい。そのようにすれば画像と、その画像が撮影された位置を示す情報と、撮影方向を示す情報とを関連付けることができる。それらの情報に基づいて、三次元点群を算出するようにしてもよい。

画像記憶部３０２は、三次元点群記憶部３０１に記憶されている三次元点群１０２の各三次元点に関連付けられた画像１０４を記憶する。関連情報記憶部３０３は、三次元点群記憶部３０１に記憶されている三次元点群１０２の各三次元点と、画像記憶部３０２に記憶されている画像１０４との間の関連情報を記憶する。三次元点群表示部３０４は、三次元点群表示手段であり、三次元点群記憶部３０１に記憶されている三次元点群１０２を表示デバイス２０５上に表示する。座標入力部３０５は、ユーザの操作に応じて、座標情報を入力する。セグメント選択部３０６は、座標入力部３０５において入力された座標情報に基づいて、三次元点群記憶部３０１に記憶されている三次元点群１０２の部分集合であるセグメントを選択する。セグメントは、点検対象構造物における構造的なまとまりである。画像取得部３０７は、取得手段であり、セグメント選択部３０６で選択されたセグメントに含まれる各三次元点に関連付けられた画像１０４を取得する。画像表示部３０８は、画像表示手段であり、画像取得部３０７により取得された画像１０４を表示デバイス２０５に表示する。

図４（ａ）は、三次元点群１０２を表すテーブルであり、三次元点群記憶部３０１に格納される。図４（ａ）の一行は、一つの三次元点に対応する。テーブルの各三次元点は、三次元点ＩＤ４０１及び三次元座標４０２を有する。

図４（ｂ）は、画像集合を表すテーブルであり、画像記憶部３０２に格納される。図４（ｂ）の一行は、一枚の画像に対応する。テーブルの各画像は、画像ＩＤ４０３及び画像名４０４を有する。画像名４０４は、ストレージ２０４に格納されている画像データを一意に指定可能な文字列である。

図４（ｃ）は、三次元点と画像の間の関連情報を保持するテーブルであり、関連情報記憶部３０３に格納される。図４（ｃ）の一行は、一つの三次元点とそれに関連付けられた一枚以上の画像の間の関連情報に対応する。テーブルの各関連情報は、関連情報ＩＤ４０５、三次元点ＩＤ４０６、及び関連画像ＩＤ４０７を有する。関連画像ＩＤ４０７は、三次元点ＩＤ４０６が表す三次元点に関連付けられた一枚以上の画像の画像ＩＤを示す。

図５は、第１の実施形態による画像管理装置の画像管理方法を示すフローチャートである。三次元点群表示部３０４は、図１のように、三次元点群記憶部３０１に記憶されている三次元点群１０２を表示領域１０１に表示する。ステップＳ５０１では、座標入力部３０５は、例えば図１の表示領域１０１に表示される三次元点群１０２の上で、ユーザの操作に応じて、二次元座標を入力する。次に、ステップＳ５０２では、座標入力部３０５は、入力された二次元座標と、図４（ａ）に含まれる三次元点を表示デバイス２０５に投影したときの二次元座標との間の距離を計算する。そして、座標入力部３０５は、図４（ａ）に含まれる三次元点の中から、ステップＳ５０１の入力座標に対する最近傍の三次元点を一つ探索する。すなわち、座標入力部３０５は、一つの三次元点を探索することにより、三次元空間における座標を指定する。ここで、座標入力部３０５は、ステップＳ５０１で入力された二次元座標に基づいて、視点位置から直線を引き、図４（ａ）の三次元点群に含まれる各三次元点について、直線との距離を計算することによって最近傍点を探索してもよい。また、座標入力部３０５は、ステップＳ５０１で三次元座標を直接入力し、ステップＳ５０２では、その三次元座標と図４（ａ）の三次元点群に含まれる各三次元点との距離を計算することで最近傍点を探索してもよい。

次に、ステップＳ５０３では、セグメント選択部３０６は、ステップＳ５０２で探索された三次元点に基づき、三次元点群記憶部３０１に記憶されている三次元点群の部分集合であるセグメントを選択する。ここで、セグメント選択部３０６は、セグメントの選択に先んじて、三次元点群に対してセグメンテーションを実行し、選択対象となるセグメントを取得しておく。また、セグメント選択部３０６は、三次元点群全体に対して予めセグメンテーションを実行しておいてもよいし、ステップＳ５０２で探索された三次元点に基づいて、セグメンテーションの範囲を限定してもよい。ここで、セグメンテーションの手法として、ステップＳ５０２で探索された三次元点をシード点として、法線や色の類似度によってシード点からセグメントを拡張していく領域成長法（Region Growing）を利用してもよい。また、ＲＡＮＳＡＣ等の既知のモデルフィッティング手法によってセグメントを推定してもよい。また、セグメント選択部３０６は、予め、点検対象部位毎に三次元点群を手動でセグメントに分割しておき、その中からステップＳ５０２で探索された三次元点を含むセグメントを選択してもよい。ここで、セグメントの分割方法には、各セグメントに属する三次元点を、それぞれリストとして保持する方法と、三次元点群を空間的に分割し、各分割された空間に内包される三次元点を同一セグメントとする方法がある。前者では、セグメントを表す三次元点のリストの中に、ステップＳ５０２で探索された三次元点が含まれているかでセグメントを選択する。後者では、ユーザが、分割された空間のいずれを選択したかを判断することでセグメントを選択する。後者の場合、ステップＳ５０２において、ユーザの入力座標に基づいて三次元点を探索する必要はない。なお、三次元点群表示部３０４は、ユーザが意図した点検対象部位に対する適切なセグメントが推定できたかを確認するために、図６のように、セグメント６０２に含まれる三次元点の色を変える等で、推定されたセグメント６０２を強調表示してもよい。ここで、三次元点６０１は、ステップＳ５０２で探索された三次元点であり、セグメント６０２は、三次元点６０１に基づいて推定されたセグメントである。セグメント選択部３０６は、抽出手段であり、選択されたセグメント６０２に対応する三次元点を抽出する。具体的には、セグメント選択部３０６は、選択されたセグメント６０２に含まれる三次元点を抽出する。

次に、ステップＳ５０４では、画像取得部３０７は、ステップＳ５０３で選択されたセグメント６０２に含まれる各三次元点について、図４（ｃ）の関連情報テーブルを参照し、画像記憶部３０２から各三次元点に関連付けられた画像を取得する。次に、ステップＳ５０５では、画像表示部３０８は、図１のように、ステップＳ５０４で取得された画像１０４を表示デバイス２０５に表示する。

以上説明したように、本実施形態によれば、ユーザが入力した座標情報に基づいて、三次元点群からセグメント６０２を選択し、選択されたセグメント６０２単位で三次元点に関連付けられた画像１０４を取得し、ユーザに提示する。これにより、点検対象部位毎に画像を検索し、閲覧することが可能となる。

（第２の実施形態）
第１の実施形態では、点検対象構造物を三次元点群で表現していた。しかし、三次元点群では、点検対象構造物の概形しか把握することができないため、三次元点群を基に生成したメッシュからなる三次元モデルをユーザに提示するのが好ましい。一方で、三次元モデルに対するユーザの座標入力に応じて画像を取得するためには、例えば、三次元モデルの各頂点に画像が関連付けられていなければならない。三次元モデルの生成は、第１の実施形態で扱った疎な三次元点群を入力として、Multi-view Stereo等の手法により密な三次元点群を推定し、マーチングキューブ法等の手法によりメッシュを生成することにより行うことができる。このようにして生成された精細な三次元モデルでは、頂点数が膨大になり、それに伴って関連情報が増加することによって、画像取得に係わる処理コストの上昇につながる。

そこで、本発明の第２の実施形態では、ユーザに提示する三次元モデルと、画像が関連付けられた三次元点からなる三次元点群をそれぞれ個別に用意することで、処理コストを下げる。以下、ユーザの座標入力に応じて画像を取得する動作について説明する。

図７は、本発明の第２の実施形態による画像管理装置の画面例を示す図である。図７の画面は、図１の画面に対して、三次元点群１０２の代わりに、三次元モデル７０１を設けたものである。図７の１０１、１０３から１０６までは、第１の実施形態による図１の１０１、１０３から１０６までと同一である。以下、本実施形態が第１の実施形態と異なる点を説明する。三次元モデル７０１は、三次元点群を基に生成したメッシュからなる三次元モデルであり、表示領域１０１に表示される。

図８は、本実施形態による画像管理装置の機能ブロックを示す図である。画像管理装置は、ＣＰＵ２０１がプログラムを実行することにより、図３の機能ブロックを実現する。図８の画像管理装置は、図３の画像管理装置と比較して、三次元モデル表示部８０２を、三次元点群表示部３０４の代わりに設けている。また、三次元モデル記憶部８０１が新たに追加されている。図８の３０１から３０３、３０５から３０８までは、第１の実施形態による図３の３０１から３０３、３０５から３０８までと同一である。三次元モデル記憶部８０１は、三次元点群記憶部３０１に記憶されている三次元点群を基に生成したメッシュからなる三次元モデルを記憶する。ここで、三次元モデルは、三次元点群記憶部３０１に記憶されている三次元点群に対して位置合わせが行われており、三次元空間内で三次元点群に重なる位置に存在している。三次元モデル表示部８０２は、三次元モデル表示手段であり、三次元モデル記憶部８０１に記憶されている三次元モデル７０１（図７）を表示デバイス２０５上に表示する。三次元モデル７０１は、三次元点群１０２に対して三次元的に位置合わせが行われた三次元モデルである。

図９は、第２の実施形態による画像管理装置の画像管理方法を示すフローチャートである。図９のフローチャートは、図５のフローチャートに対して、ステップＳ５０２の代わりに、ステップＳ９０１を設けたものである。図９のＳ５０１、Ｓ５０３からＳ５０５までは、第１の実施形態による図５のＳ５０１、Ｓ５０３からＳ５０５までと同一である。三次元モデル表示部８０２は、図７のように、三次元モデル記憶部８０１に記憶されている三次元モデル７０１を表示領域１０１に表示する。ステップＳ５０１では、座標入力部３０５は、例えば図７の表示領域１０１に表示された三次元モデル７０１の上で、ユーザの操作に応じて、二次元座標を入力する。画像管理装置は、ステップＳ５０１の後、ステップＳ９０１に処理を進める。ステップＳ９０１では、座標入力部３０５は、三次元点群記憶部３０１に記憶されている三次元点群であって、三次元モデル７０１と重なる位置に存在する三次元点群の中から、ステップＳ５０１で入力された座標情報に対して最近傍の三次元点を一つ探索する。最近傍の三次元点の探索については、図５のステップＳ５０２で説明した方法を用いることができる。その後、画像管理装置は、ステップＳ５０３〜Ｓ５０５の処理を行う。

なお、三次元モデル表示部８０２は、三次元モデル７０１の上に、三次元点群記憶部３０１に記憶されている三次元点群１０２（図１）を表示してもよい。その場合、ステップＳ５０１では、座標入力部３０５は、例えば図７の表示領域１０１に表示された三次元モデル７０１及び三次元点群１０２の上で、ユーザの操作に応じて、二次元座標を入力する。

以上説明したように、本実施形態によれば、三次元的な位置合わせが行われた三次元モデル及び三次元点群をそれぞれ用意し、三次元モデル７０１をユーザに提示する一方で、ユーザの座標入力に応じて画像１０４を取得する処理は三次元点群に対して実行される。これにより、ユーザは、点検対象構造物の詳細な外観を把握して三次元座標を入力することができ、また、画像の取得に係わる処理コストを抑えることが可能となる。

（第３の実施形態）
図１０は、本発明の第３の実施形態による画像管理装置の機能ブロックを示す図である。画像管理装置は、ＣＰＵ２０１がプログラムを実行することにより、図１０の機能ブロックを実現する。本実施形態では、第１の実施形態において取得された画像１０４について、点検対象構造物に対する画像の正対度に基づくソート動作について説明する。図１０の画像管理装置は、図３の画像管理装置に対して、画像ソート部１００１を追加したものである。図１０の３０１から３０８までは、第１の実施形態による図３の３０１から３０８までと同一である。以下、本実施形態が第１の実施形態と異なる点を説明する。画像ソート部１００１は、画像ソート手段であり、画像取得部３０７により取得された画像を所定の基準に基づいてソートする。画像表示部３０８は、画像ソート部１００１によってソートされた画像を表示デバイス２０５に表示する。

図１１は、画像記憶部３０２に記憶されている各画像の撮影時におけるカメラパラメータを表すテーブルであり、各画像と関連付けられて画像記憶部３０２に格納される。図１１の一行は、一枚の画像に対するカメラパラメータに対応する。そのテーブルは、カメラパラメータＩＤ１１０１、画像ＩＤ１１０２、及びカメラ位置１１０３の対応関係を有する。ここで、カメラ位置１１０３は、点検対象構造物について視点を変えながら撮影した複数の画像から三次元点とカメラ位置を推定する、Structure from Motion等の既知の手法によって求めることができる。

図１２は、第３の実施形態による画像管理装置の画像管理方法を示すフローチャートである。図１２のフローチャートは、図５のフローチャートに対して、ステップＳ１２０１を追加したものである。図１２のＳ５０１からＳ５０５までは、第１の実施形態による図５のＳ５０１からＳ５０５までと同一である。ステップＳ５０４の後、ステップＳ１２０１では、画像ソート部１００１は、ステップＳ５０４で取得した画像を、点検対象構造物に対する正対度（正対度合い）に従ってソートする。ここで、正対度は、点検対象構造物に属するある面の法線と撮影時のカメラの視線方向がなす角度のことである。正対度の算出に関しては、図１３のフローチャートを用いて後述する。ステップＳ５０５では、画像表示部３０８は、画像ソート部１００１によってソートされた画像を表示デバイス２０５に表示する。

図１３は、図１２のステップＳ１２０１の詳細を示すフローチャートである。このステップＳ１２０１では、画像ソート部１００１は、ステップＳ５０４で取得した各画像について正対度を算出し、正対度に基づいてソートを実行する。画像ソート部１００１は、図１４（ａ）及び（ｂ）に示すように、一時データを格納するために一時データテーブルを利用する。このテーブルは、例えばＲＡＭ２０３上に格納される。ステップＳ１３０１では、画像ソート部１００１は、図１４（ａ）に示すように、一時データテーブルを初期化する。図１４（ａ）は、ステップＳ１３０１による初期化処理後の一時データテーブルを表す。図１４（ａ）の一行は、一枚の画像に対する一時データに対応する。一時データテーブルの各行は、画像ＩＤ１４０１、処理ステータス１４０２、及び正対度１４０３の対応関係を有する。ステップＳ１３０１の初期化処理によって、一時データテーブルには、ステップＳ５０４で取得された画像数の行が追加され、処理ステータス１４０２は未処理としてマークされる。次に、ステップＳ１３０２では、画像ソート部１００１は、図１４（ａ）の一時データテーブルと図４（ｂ）の画像集合を表すテーブルを参照し、未処理の画像を一枚取得する。

図１５（ａ）は、ある画像に対する正対度の算出方法について説明する図である。三次元点１５０１は、図５のステップＳ５０２で探索された三次元点である。カメラ位置１５０２は、ステップＳ１３０２で取得した処理対象画像の撮影時のカメラ位置である。範囲１５０３は、ステップＳ１３０２で取得した処理対象の画像に写っている点検対象部位の範囲を三次元空間において表したものである。ステップＳ１３０３では、画像ソート部１００１は、三次元点１５０１の座標とカメラ位置１５０２を結ぶベクトル１５０４を求める。ここで、画像ソート部１００１は、カメラ位置１５０２を図１１のテーブルから取得する。次に、Ｓ１３０４では、画像ソート部１００１は、ステップＳ１３０２で取得した画像の中の三次元点１５０１の法線１５０５を算出する。ここで、法線の算出は、複数の近傍三次元点について既知のモデルフィッティング手法で平面を推定し、推定された平面についての法線を算出すればよい。また、画像ソート部１００１は、予め各三次元点について法線を算出しておいてもよい。その場合、画像ソート部１００１は、三次元点群記憶部３０１に格納されている図４（ａ）のテーブルに法線ベクトルを格納するカラムを追加する。次に、ステップＳ１３０５では、画像ソート部１００１は、ベクトル１５０４と法線１５０５がなす角度を基に正対度を算出する。例えば、正対度は、ベクトル１５０４と法線１５０５がなす角度の逆数である。次に、ステップＳ１３０６では、画像ソート部１００１は、図１４（ｂ）に示すように、一時データテーブルに対して、ステップＳ１３０２で取得した画像に対応するステップＳ１３０５で算出した正対度１４０３を保存する。次に、ステップＳ１３０７では、画像ソート部１００１は、図１４（ｂ）に示すように、一時データテーブルに対して、ステップＳ１３０２で取得した画像に対応する処理ステータス１４０２に処理済みをマークする。図１４（ｂ）は、複数の画像について、正対度の算出が完了した後の一時データテーブルを表す。次に、ステップＳ１３０８では、画像ソート部１００１は、図１４（ｂ）の一時データテーブルを参照して、未処理の画像が存在するかを判定する。画像ソート部１００１は、存在すればステップＳ１３０２に処理を戻し、存在しなければ、すべての画像について正対度を算出したとして、ステップＳ１３０９に処理を進める。ステップＳ１３０９では、画像ソート部１００１は、一時データテーブルの正対度１４０３を参照して、画像をソートする。

図１５（ｂ）は、図１５（ａ）と異なる画像に対して正対度を算出する動作を説明する図である。範囲１５０７は、ステップＳ１３０２で取得した処理対象の画像に写っている点検対象部位の範囲を三次元空間において表したものである。画像ソート部１００１は、図１５（ａ）の場合と同様に、三次元点１５０１とカメラ位置１５０６を結ぶベクトル１５０８と、三次元点１５０１の法線１５０５を算出し、ベクトル１５０８と法線１５０５がなす角度を正対度として求める。図１５（ｂ）は、図１５（ａ）に比べ、三次元点１５０１の法線１５０５の方向と近いカメラ位置１５０６から画像を撮影しているため、図１５（ｂ）の正対度は、図１５（ａ）の正対度よりも大きくなる。

なお、本実施形態では、所定の基準が正対度１４０３である場合の画像のソートについて説明したが、所定の基準は正対度１４０３に限定されない。画像ソート部１００１は、取得した画像の撮影日時や、取得した画像の三次元的な位置、三次元空間に写像した画像の三次元的な位置とステップＳ５０２で探索された三次元点との間の距離等の正対度以外の所定の基準によって画像をソートしてもよい。また、画像ソート部１００１は、取得した画像の中のステップＳ５０３で選択したセグメントの大きさ（面積）等の正対度以外の所定の基準によって画像をソートしてもよい。さらに、画像ソート部１００１は、上記のような基準によるソート後の画像の中から、上記の所定の基準に基づいて画像を削除してもよい。つまり、画像ソート部１００１は、削除手段としても機能する。具体的には、画像ソート部１００１は、上記の所定の基準の値が所定の閾値以下の画像を非表示とするようなフィルタリングを行ってもよい。画像表示部３０８は、画像ソート部１００１によりフィルタリングされた画像を表示する。

以上説明したように、本実施形態によれば、点検対象部位（セグメント）毎に取得した画像を、正対度をはじめとした基準に基づいてソートした上でユーザに提示する。これにより、点検対象部位が明瞭に写っている画像が取得結果の上位に表示されたり、取得した画像の三次元的な位置関係の順や、時系列順に画像を閲覧することができたりするため、ユーザの利便性が高まる。

第１〜第３の実施形態によれば、三次元点群に含まれる各三次元点に画像を関連付けることで画像を管理し、三次元点群とのインタラクションによって画像検索を行い、構造的なまとまりであるセグメント毎に画像を取得して表示することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

３０１ 三次元点群記憶部、３０２ 画像記憶部、３０３ 関連情報記憶部、３０４ 三次元点群表示部、３０５ 座標入力部、３０６ セグメント選択部、３０７ 画像取得部、３０８ 画像表示部

Claims (15)

1. 三次元空間における座標が指定されると、前記指定される座標に応じて、構造物に係る三次元点群の中から、前記構造物における構造的なまとまりであるセグメントに対応する三次元点を抽出する抽出手段と、
   前記抽出手段により抽出される、前記セグメントに対応する三次元点に関連付けられた画像を取得する取得手段と
   を有することを特徴とする画像管理装置。
2. さらに、前記取得手段により取得される画像を表示する画像表示手段を有することを特徴とする請求項１記載の画像管理装置。
3. さらに、前記三次元点群を表示する三次元点群表示手段を有し、
   前記抽出手段は、前記三次元点群表示手段により表示される三次元点群を基に前記座標が指定されることを特徴とする請求項１又は２記載の画像管理装置。
4. さらに、前記三次元点群に対して三次元的に位置合わせが行われた三次元モデルを表示する三次元モデル表示手段と、
   前記抽出手段は、前記三次元モデル表示手段により表示される三次元モデルを基に前記座標が指定されることを特徴とする請求項１又は２記載の画像管理装置。
5. 前記三次元モデル表示手段は、前記三次元モデルの上に前記三次元点群を表示し、
   前記抽出手段は、前記三次元モデル表示手段により表示される三次元モデル及び三次元点群を基に前記座標が指定されることを特徴とする請求項４記載の画像管理装置。
6. さらに、前記取得手段により取得される画像を所定の基準に基づいてソートする画像ソート手段を有することを特徴とする請求項１〜５のいずれか１項に記載の画像管理装置。
7. さらに、前記取得手段により取得される画像の中から所定の基準に基づいて画像を削除する削除手段を有することを特徴とする請求項１〜６のいずれか１項に記載の画像管理装置。
8. 前記抽出手段は、前記三次元点群の中から、前記指定される座標に対応する三次元点を探索し、前記探索される三次元点に対応する前記セグメントを選択し、前記選択されるセグメントに対応する三次元点を抽出することを特徴とする請求項１〜７のいずれか１項に記載の画像管理装置。
9. 前記所定の基準は、前記画像の中の三次元点の法線と前記画像の撮影時のカメラ位置とに基づく正対度であることを特徴とする請求項６〜８のいずれか１項に記載の画像管理装置。
10. 前記所定の基準は、前記画像の撮影日時であることを特徴とする請求項６〜８のいずれか１項に記載の画像管理装置。
11. 前記所定の基準は、前記画像の三次元的な位置であることを特徴とする請求項６〜８のいずれか１項に記載の画像管理装置。
12. 前記所定の基準とは、前記画像の三次元的な位置と前記抽出手段により探索される三次元点との間の距離であることを特徴とする請求項６〜８のいずれか１項に記載の画像管理装置。
13. 前記所定の基準は、前記画像の中の前記セグメントの面積であることを特徴とする請求項６〜８のいずれか１項に記載の画像管理装置。
14. 抽出手段により、三次元空間における座標が指定されると、前記指定される座標に応じて、構造物に係る三次元点群の中から、前記構造物における構造的なまとまりであるセグメントに対応する三次元点を抽出する抽出ステップと、
    取得手段により、前記抽出ステップで抽出される、前記セグメントに対応する三次元点に関連付けられた画像を取得する取得ステップと
    を有することを特徴とする画像管理方法。
15. 三次元空間における座標が指定されると、前記指定される座標に応じて、構造物に係る三次元点群の中から、前記構造物における構造的なまとまりであるセグメントに対応する三次元点を抽出する抽出ステップと、
    前記抽出ステップで抽出される、前記セグメントに対応する三次元点に関連付けられた画像を取得する取得ステップと
    をコンピュータに実行させるためのプログラム。

Images