JP2014109841A - 画像処理システム - Google Patents

Abstract

【課題】対応点検索のための演算量を低減して、より高速に検索処理を行い得るとともに、対応点の検索精度の低下を抑制することが可能な画像処理システムを提供すること。
【解決手段】データベース４０に保存された、特徴点、オリエンテーション情報、及び特徴量を得た画像における撮影対象物の向きからの、カメラ１０によって撮影された画像に含まれる撮影対象物の、カメラ１０の光軸回りにおける回転角度を求める。そして、この回転角度に基づいて、撮影画像の特徴点のオリエンテーション情報と、データベースに保存されたオリエンテーション情報との座標系を揃えたとき、両オリエンテーション情報が所定のずれ角度範囲内に収まる特徴点同士を、対比すべき特徴点とする。
【選択図】図１

Description

本発明は、ＳＩＦＴ（Scale Invariant Feature Transform）などによって算出される画像の局所特徴量を用いて、マッチング等の画像処理を行う画像処理システムに関する。

例えば、非特許文献１に、画像の特徴点の検出と特徴量の記述を行うアルゴリズムであるＳＩＦＴを用いて画像のマッチングや物体認識等を行うことが記載されている。

"Gradientベースの特徴抽出-SIFTとHOG-"、藤吉弘亘、情報処理学会、研究報告、CVIM 160, pp. 211-224, 2007

上記文献では、例えば、ＳＩＦＴによって異なる画像間で抽出された各特徴点（キーポイント）の特徴量を比較することで、画像間の対応点を検索して画像のマッチングを行う。具体的には、一方の画像中のあるキーポイントの特徴量を算出するとともに、他方の画像中に含まれる全キーポイントの特徴量を算出する。そして、一方の画像中のあるキーポイントの特徴量と、他方の画像中の全キーポイントの特徴量とのユークリッド距離をそれぞれ算出する。その中で、ユークリッド距離が最小となる他方の画像のキーポイントが、一方の画像のキーポイントの対応点として検索される。一方の画像中に複数のキーポイントが有る場合には、上述した処理を一方の画像の各キーポイント毎に実行する。これにより、画像同士の対応点を全て求めることができる。

ここで、例えば、繰り返し画像が撮影されるときに、上述した手法にて対応点の検索を行った場合、画像が撮影される毎に、以前に撮影された画像の全キーポイントの特徴量と、新たに撮影された画像の全キーポイントの特徴量とのユークリッド距離をそれぞれ算出することになる。このため、対応点検索のための演算量が膨大になる虞がある。

さらに、異なる画像同士で全キーポイントを対象として対応点を検索しているので、本来検索されるべきキーポイントとは異なるキーポイントが、誤って、対応点として検索される可能性も高まる。

本発明は、上述した点に鑑みてなされたものであり、対応点検索のための演算量を低減して、より高速に検索処理を行い得るとともに、対応点の検索精度の低下を抑制することが可能な画像処理システムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の画像処理システムは、
撮影すべき撮影対象物を含む画像を撮影する撮影装置と、
撮影装置によって撮影された画像において特徴点を抽出し、その特徴点での輝度勾配に基づいて、オリエンテーション情報として、当該特徴点の代表となる方向を算出するとともに、その代表方向を基準として特徴量を算出する特徴点抽出手段と、
予め撮影された撮影対象物の画像の特徴点、及びその特徴点のオリエンテーション情報と特徴量を保存している保存手段と、
保存手段に保存された、特徴点、オリエンテーション情報、及び特徴量を得た画像における撮影対象物の向きからの、撮影装置によって撮影された画像に含まれる撮影対象物の、撮影装置の光軸回りにおける回転角度を求める回転角度取得手段と、
求められた回転角度に基づき、特徴点抽出手段が算出したオリエンテーション情報と、保存手段に保存されたオリエンテーション情報との座標系を揃えたとき、両オリエンテーション情報が所定のずれ角度範囲内に収まる特徴点同士を、対比すべき特徴点として設定する設定手段と、
設定手段によって設定された特徴点同士を対比して、最も近い特徴量を持つ特徴点同士を対応する特徴点として決定する決定手段と、を備えることを特徴とする。

このように、請求項１に記載の画像処理システムによれば、保存手段に保存された、特徴点、オリエンテーション情報、及び特徴量を得た画像における撮影対象物の向きからの、撮影装置によって撮影された画像に含まれる撮影対象物の、撮影装置の光軸回りにおける回転角度を求める。そして、この回転角度に基づいて、特徴点抽出手段が算出したオリエンテーション情報と、保存手段に保存されたオリエンテーション情報との座標系を揃えたとき、両オリエンテーション情報が所定のずれ角度範囲内に収まる特徴点同士を、対比すべき特徴点として設定する。すなわち、本画像処理システムでは、オリエンテーション情報を利用して、対応点として検索される可能性が高い特徴点を選択し、その選択した特徴点を対象として、特徴点同士の対比を行う。このため、全ての特徴点を対象として対比処理を行う場合に比較して、対比処理のための演算量を低減することが可能となり、より高速に、対応点検索処理を実行することができる。さらに、予め、対比処理を行う特徴点を、対応点として検索される可能性が高い特徴点に制限しているので、本来、対応点として検索されるべき特徴点以外の特徴点が、誤って検索される可能性を低下させることができる。

請求項２に記載したように、保存手段に、１つの撮影対象物につき、複数の特徴点及び対応する特徴点のオリエンテーション情報と特徴量とが保存される場合、それらは、オリエンテーション情報に従ってソートされた順序で保存され、設定手段は、特徴点抽出手段が算出したオリエンテーション情報を補正することで、両オリエンテーション情報の座標系を揃え、補正されたオリエンテーション情報に対して所定のずれ角度範囲内のオリエンテーション情報を持つ特徴点に関する情報を保存手段から読み出すようにすることが好ましい。これにより、対比すべき特徴点に関する情報を、保存手段における近接した記憶領域から読み出すことができあるので、その読み出し処理をより高速に行うことが可能になる。

請求項３に記載したように、保存手段には、撮影装置の光軸回りの向きとして、基準となる所定の向きの撮影対象物が撮影されたときに得られる特徴点、オリエンテーション情報、及び特徴量が保存されており、回転角度取得手段は、撮影装置の光軸回りにおいて撮影装置が回転したとき、その回転の角速度を検出するジャイロセンサを有し、最初に撮影された画像の特徴点と保存手段に保存された特徴点とのマッチング結果から、最初の撮影時点における、撮影対象物の、基準となる所定の向きからのオフセット角度を算出し、その後に撮影される画像に関しては、オフセット角度と、先の撮影時点からその後の撮影時点までの、ジャイロセンサによって検出される角速度から求められる回転角度とを用いて、基準となる所定の向きからの回転角度を求めても良い。ジャイロセンサを用いることにより、撮影装置の光軸回りの角度が変化したとき、その変化に対応する回転角度を検出することができる。そのため、上述したように、最初の撮影時点において、特徴点のマッチング結果から、撮影対象物の、基準となる所定の向きからのオフセット角度を算出すれば、その後は、オフセット角度と、ジャイロセンサによって検出される回転角度から、基準となる所定の向きからの回転角度を求めることができる。

請求項４に記載したように、保存手段には、地面に対して鉛直方向に設置される撮影対象物が、撮影装置の光軸回りの基準となる向きとして、その鉛直方向に相当する向きで撮影されたときに得られる特徴点、オリエンテーション情報、及び特徴量が保存されており、回転角度取得手段は、撮影装置の鉛直方向に検知軸を有する加速度センサを有し、加速度センサによって検出される重力加速度成分の大きさに基づいて、撮影対象物の基準となる向きからの回転角度を求めるようにしても良い。撮影装置の鉛直方向に検知軸を有する加速度センサを設けることにより、撮影装置が、光軸回りに回転したとき、その回転角度に応じて、加速度センサにより検出される重力加速度の大きさが変化する。従って、加速度センサに作用する重力加速度の大きさから、撮影装置の、光軸回りの回転角度を求めることができる。そして、保存手段に、撮影対象物が鉛直方向に相当する向きで撮影されたときの特徴点、オリエンテーション情報、及び特徴量が保存されていれば、撮影装置の光軸回りの回転角度は、撮影対象物の基準となる向きからの回転角度に等しくなる。

なお、撮影装置に作用する重力加速度から、撮影装置の光軸回りの回転角度をより高精度に検出するため、撮影装置に、光軸方向に検知軸を有する加速度センサ、及び／又は光軸方向の検知軸と鉛直方向の検知軸とそれぞれ直交する、水平方向に検知軸を有する加速度センサを設けても良い。加速度センサの数を増やすことにより、地面に対する撮影装置の姿勢をより正確に検知することができ、それにより、光軸回りの回転角度の検出精度も向上する。

請求項５に記載したように、保存手段には、撮影装置の光軸回りの向きとして、基準となる所定の向きの撮影対象物が撮影されたときに得られる特徴点、オリエンテーション情報、及び特徴量が保存されており、撮影対象物には、二次元のマーカーが付されており、回転角度取得手段は、撮影装置によって撮影された画像における二次元のマーカーの向きに基づいて、撮影対象物の、基準となる所定の向きからの回転角度を算出するようにしても良い。上下左右方向を識別可能な二次元のマーカー（例えば、ＱＲコード（登録商標）など）が撮影対象物に付されていれば、画像中の二次元のマーカーの向きから、撮影対象物の、基準となる所定の向きからの回転角度を算出することが可能なためである。

実施形態による画像処理システムの全体の構成を示す構成図である。 データベースに保存されたオリエンテーション情報と、撮影された画像の特徴点についてのオリエンテーション情報との座標系を揃える処理を説明するための説明図である。

以下、本発明の実施形態による画像処理システムについて、図面に基づいて詳細に説明する。図１は、本発明の実施形態による画像処理システムの全体の構成を示す構成図である。

本実施形態の画像処理システム１００は、例えば携帯電話などのモバイル機器に実装される。この画像処理システム１００は、撮影装置としてのカメラ１０、カメラ１０により撮影された画像を取り込んで、画像のマッチングや物体認識等の各種の画像処理を行う画像処理ＥＣＵ２０、及び画像やガイダンスを表示する表示装置３０を備えている。

カメラ１０には、当該カメラ１０の光軸回りの回転角を検出するためのセンサ１２が設けられている。例えば、センサ１２として、カメラ１０の光軸回りにおいて当該カメラ１０が回転したとき、その回転の角速度を検出するジャイロセンサを用いることができる。このジャイロセンサの検出する角速度が画像処理ＥＣＵ２０に入力されることで、画像処理ＥＣＵ２０は、入力された角速度に基づいて、カメラ１０の光軸回りの回転角を算出することができる。

あるいは、センサ１２は、カメラ１０の鉛直方向に検知軸を有する加速度センサであっても良い。カメラ１０が、その光軸回りに回転すると、加速度センサにより検出される重力加速度の大きさが変化する。従って、加速度センサに作用する重力加速度の大きさから、画像処理ＥＣＵ２０は、カメラ１０の鉛直方向からの回転角度を算出することができる。

ただし、加速度センサを用いて、カメラ１０の鉛直方向からの回転角度を算出する場合、鉛直方向に検知軸を有する加速度センサに加えて、光軸方向に検知軸を有する加速度センサ、及び／又は光軸方向の検知軸と鉛直方向の検知軸とそれぞれ直交する、水平方向に検知軸を有する加速度センサを設けても良い。これにより、地面に対する撮影装置の姿勢をより正確に検知することができるので、光軸回りの回転角度の検出精度も向上させることができる。

画像処理ＥＣＵ２０は、主にマイクロコンピュータにより構成されるものであるが、図１には、画像処理ＥＣＵ２０の有する主な機能をブロック図にて示している。すなわち、画像処理ＥＣＵ２０は、ＳＩＦＴ処理部２２、回転角度算出部２４、及び対応点検出部２６を有する。

ＳＩＦＴ処理部２２は、カメラ１０によって撮影された画像において、特徴点を検出し、その特徴点での輝度勾配に基づいて、オリエンテーション情報として、当該特徴点の代表となる方向を算出するとともに、その代表方向を基準として特徴量を算出する処理を行う。算出される特徴量は、撮影対象物（認識対象）５０を含む画像のスケールや回転に不変なものであり、また微小なアフィン変換に対しても頑健である。この特徴量については、以下の参考文献１に詳しく説明されているので、下記の説明においては、特徴量の説明を簡潔なものに留める。また、アフィン変換に対して不変なＡＳＩＦＴと呼ばれる処理による特徴量も報告されているが（参考文献２）、本実施形態では通常のＳＩＦＴによる特徴量の算出について説明する。
（参考文献１）
D. G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2 (2004), pp. 91-110.
（参考文献２）
J.M. Morel and G.Yu, "ASIFT, A New Framework for Fully Affine Invariant Image Comparison," SIAM Journal on Imaging Sciences, vol. 2, issue 2, 2009.
ＳＩＦＴによる特徴量の算出は、特徴の抽出に適した特徴点の検出と、スケール変化、回転などに不変な特徴量の記述との２段階からなる。

特徴点の検出では、まず、特徴点候補となる極値を検出する。そのため、スケールの異なるガウシアンフィルタを用いて画像を平滑化する。次に各平滑化画像の差分画像であるＤｏＧ（Difference of Gaussian）画像を求める。このＤｏＧ画像を求める処理を、ｋ倍ずつ大きくした異なるスケール間で行なうことで、複数のＤｏＧ画像を得る。

次に、得られたＤｏＧ画像から極値を検出し、特徴点とスケールを決定する。極値は、スケールの異なるＤｏＧ画像３枚を１組とし、注目画素のＤｏＧ値を、上下のスケールのＤｏＧ画像を含めて、注目画素の近傍の２６画素と比較することで検出する。そして、注目画素のＤｏＧ値が極大となるようなとき、その注目画素を特徴点の候補とする。さらに、候補点について、ＤｏＧ値，主曲率，及びサブピクセルのＤｏＧ値がある範囲にあるものを特徴点とする。特徴点にはスケールの情報を持たせておく。

次に、特徴量の記述に関しては、まず、検出された各特徴点の代表となる方向を求める。具体的には、各特徴点について、スケールに応じた近傍領域で輝度勾配の方向ヒストグラムを計算し、最も頻度が高い方向を探す。この方向が、各特徴点のオリエンテーション情報として利用される。なお、オリエンテーション情報には、スケール情報に応じた大きさの情報も持たせておく。

さらに、特徴点を中心として、スケールに応じた範囲において、画像座標系を、探索された方向に回転した局所座標系を作成する。この局所座標系で、特徴点を中心とし、保持しているスケール情報に比例した大きさの局所領域を考え、その領域を４×４のブロックに分割する。そして、各ブロック毎に８方向の輝度勾配のヒストグラムを作成する。これにより、４×４×８＝１２８次元の特徴量が得られる。

ここで、本実施形態においては、撮影すべき撮影対象物５０（各種の建造物、絵画、彫刻等の美術品など）の向きが、例えばカメラ１０の鉛直方向に一致している状態で撮影された撮影対象物５０を含む画像における、特徴点、そのオリエンテーション情報、及び特徴量が、データベース４０に保存されている。

回転角度算出部２４は、データベース４０に保存された特徴点、オリエンテーション情報、及び特徴量を得た画像における撮影対象物５０の向きからの、カメラ１０によって撮影された画像に含まれる撮影対象物５０の、カメラ１０の光軸回りにおける回転角度を算出する。そのため、センサ１２として、ジャイロセンサを用いる場合には、最初に、撮影された画像から得られた特徴点と、データベース４０に保存された特徴点とを全て対比して、特徴点同士の対応付け（マッチング）を行う。そして、そのマッチング結果から、最初の撮影時点における、撮影対象物５０の、基準となる向きからのオフセット角度を算出する。このようにしてオフセット角度が算出されると、それ以後に、同じ撮影対象物５０を複数回撮影した画像に関しては、オフセット角度と、先の撮影時点からその後の撮影時点までの、ジャイロセンサによって検出される角速度から求められる回転角度とを用いて、撮影対象物５０の、基準となる向きからの回転角度を簡単に算出することができる。

また、センサ１２として、加速度センサを用いる場合には、加速度センサの検出信号に基づき、カメラ１０の鉛直方向からの回転角度を算出することができる。ここで、撮影対象物５０が、地面に対して鉛直方向に設置される建造物や看板などである場合には、その撮影対象物５０が、カメラ１０の光軸回りの基準となる向きとして、その鉛直方向に相当する向きで撮影されたときに得られる特徴点、オリエンテーション情報、及び特徴量がデータベース４０に保存されている。そのため、カメラ１０の鉛直方向からの回転角度は、撮影対象物５０の基準となる向きからの回転角度に等しくなる。

画像処理ＥＣＵ２０では、対応点検出部２６にて、カメラ１０によって撮影された画像から得られた特徴点を、データベース４０に保存された撮影対象物の特徴点と対比して、対応する特徴点を決定する。この際、特徴点同士の対比は、各特徴点の特徴量のユークリッド距離を算出することによって行われる。この対応点検索処理を高速に行うとともに、特徴点同士を誤って対応付けてしまうことを極力防止するため、本実施形態では、回転角度算出部２４が算出した回転角度を用いて、対応点として検索される可能性が高い特徴点を選択し、その選択した特徴点を対象として、特徴点同士の対比を行う。

具体的には、対応点検出部２６において、まず、回転角度に基づき、ＳＩＦＴ処理部２２により算出された特徴点のオリエンテーション情報と、データベース４０に保存されたオリエンテーション情報との座標系を揃える。例えば、図２（ａ）がデータベース４０に保存された特徴点及びオリエンテーション情報であり、図２（ｂ）がカメラ１０によって撮影された画像から得られた特徴点及びオリエンテーション情報である場合、いずれかのオリエンテーション情報を、回転角度算出部２４にて算出された回転角度だけ回転させる。これにより、両オリエンテーション情報の座標系を一致させることができる。次に、対応点検出部２６は、座標系が一致した両オリエンテーション情報に基づき、オリエンテーション情報が所定のずれ角度範囲内に収まる特徴点同士を、対比すべき特徴点として選択する。例えば、オリエンテーション情報を４０の角度範囲に分割し、隣接する角度範囲までのオリエンテーション情報を持つ特徴点同士を、対比すべき特徴点として選択する。この場合、対応点の探索範囲が３／４０となるため、対応点検索処理を非常に高速に行うことが可能となる。

さらに、対応点検出部２６では、上述した手法にて、対比処理を行う特徴点を、対応点として検索される可能性が高い特徴点に制限している。このため、本来、対応点として検索されるべき特徴点以外の特徴点が、誤って検索される可能性を低下させることができる。従って、例えば特徴量を表すデータ量を小さくしても（特徴量の分解能を荒くしても）、精度の低下を最小限に抑えることが可能であり、このようなデータ量の低減化により、さらに対応点検索処理の高速化を図ることができる。

ここで、１つの撮影対象物５０を撮影した画像において、通常、複数の特徴点が検出される。このような複数の特徴点及び対応する特徴点のオリエンテーション情報と特徴量とがデータベース４０に保存される場合、それら特徴点に関する情報は、オリエンテーション情報に従ってソートされた順序で保存されることが好ましい。そして、対応点検出部２６が、カメラ１０によって撮影された画像から得られたオリエンテーション情報を、回転角度算出部２４によって算出された回転角度だけ回転させるように補正して、両オリエンテーション情報の座標系を一致させる。さらに、対応点検出部２６が、補正されたオリエンテーション情報に対して所定のずれ角度範囲内のオリエンテーション情報を持つ特徴点に関する情報をデータベース４０から読み出す。このようにすると、撮影された画像から得られた特徴点と対比すべき特徴点に関する情報を、データベース４０における近接した記憶領域から読み出すことができるので、その読み出し処理をより高速に行うことが可能になる。

本実施形態の画像処理ＥＣＵ２０は、例えば、美術館や博物館などにおいて絵画、彫刻等の美術品等を撮影対象物５０として撮影し、その撮影した画像の特徴点と、予めデータベース４０に保存している参照データの特徴点と対比して物体認識を行うことができる。そして、その認識結果に基づき、例えば、その美術品等のガイダンスを表示装置３０に表示したり、撮影した画像を保存する際に、撮影対象物５０毎に自動的に保存先を振り分けたりすることができるものである。あるいは、画像処理ＥＣＵ２０は、同一の建造物を撮影対象物５０とし、建造物の撮影範囲を少なくとも部分的にオーバーラップさせつつ、カメラのアングルを変えて複数毎撮影した場合に、各画像の特徴点とデータベース４０の参照データの特徴点とのマッチングを行い、そのマッチング結果に基づいて、複数毎の画像を１枚の画像に合成して、表示装置３０に表示することも可能である。

このように、同じ撮影対象物５０を含む異なる画像において、対応する特徴点を検索する処理を行う場合に、本実施形態による画像処理システムは、処理の高速化及び対応点検索の精度向上という観点において、非常に有効なものである。

以上、本発明の実施形態について説明したが、本発明は、上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することが可能である。

例えば、上述した実施形態では、ジャイロセンサや加速度センサを用いて、撮影対象物５０の、基準となる向きからの、カメラ１０の光軸回りにおける回転角度を算出するものであった。しかしながら、撮影対象物５０の回転角度は、撮影対象物５０に、上下左右方向を識別可能な二次元のマーカー（例えば、ＱＲコード（登録商標）など）を付することで、センサを用いずとも算出することが可能である。そのような二次元のマーカーが撮影対象物５０に付されていれば、画像中の二次元のマーカーの向きから、撮影対象物５０の、基準となる向きからの回転角度を算出することが可能なためである。

また、上述した実施形態では、データベース４０に予め撮影対象物５０の画像の特徴点に関するデータ（参照データ）を保存しておき、カメラ１０によって撮影された画像の特徴点と対比するものであった。しかしながら、カメラ１０が、先に撮影した画像の特徴点と、それよりも後で撮影した画像の特徴点との対応点を検索する場合にも、本発明の画像処理システムを適用することが可能である。この場合、先に撮影した画像の特徴点、オリエンテーション情報、及び特徴量をメモリに保存しておき、後に撮影された画像の特徴点との対比処理を行えば良い。

また、上述した実施形態では、画像の特徴点の抽出等にＳＩＦＴを用いる例について説明したが、特徴点のオリエンテーション情報とともに、特徴量を算出できるものであれば、ＳＩＦＴ以外の他の手法も適用することが可能である。

１０ カメラ
１２ センサ
２０ 画像処理ＥＣＵ
２２ ＳＩＦＴ処理部
２４ 回転角度算出部
２６ 対応点検出部
３０ 表示装置
４０ データベース
５０ 撮影対象物

Claims (5)

1. 撮影すべき撮影対象物を含む画像を撮影する撮影装置と、
   前記撮影装置によって撮影された画像において特徴点を抽出し、その特徴点での輝度勾配に基づいて、オリエンテーション情報として、当該特徴点の代表となる方向を算出するとともに、その代表方向を基準として特徴量を算出する特徴点抽出手段と、
   予め撮影された前記撮影対象物の画像の特徴点、及びその特徴点のオリエンテーション情報と特徴量を保存している保存手段と、
   前記保存手段に保存された、前記特徴点、オリエンテーション情報、及び特徴量を得た画像における前記撮影対象物の向きからの、前記撮影装置によって撮影された画像に含まれる撮影対象物の、前記撮影装置の光軸回りにおける回転角度を求める回転角度取得手段と、
   前記回転角度に基づき、前記特徴点抽出手段が算出したオリエンテーション情報と、前記保存手段に保存されたオリエンテーション情報との座標系を揃えたとき、両オリエンテーション情報が所定のずれ角度範囲内に収まる特徴点同士を、対比すべき特徴点として設定する設定手段と、
   前記設定手段によって設定された特徴点同士を対比して、最も近い特徴量を持つ特徴点同士を対応する特徴点として決定する決定手段と、を備えることを特徴とする画像処理システム。
2. 前記保存手段に、１つの撮影対象物につき、複数の特徴点及び対応する特徴点のオリエンテーション情報と特徴量とが保存される場合、それらは、オリエンテーション情報に従ってソートされた順序で保存され、
   前記設定手段は、前記特徴点抽出手段が算出したオリエンテーション情報を補正することで、両オリエンテーション情報の座標系を揃え、補正されたオリエンテーション情報に対して所定のずれ角度範囲内のオリエンテーション情報を持つ特徴点に関する情報を前記保存手段から読み出すことを特徴とする請求項１に記載の画像処理システム。
3. 前記保存手段には、前記撮影装置の光軸回りの向きとして、基準となる所定の向きの撮影対象物が撮影されたときに得られる特徴点、オリエンテーション情報、及び特徴量が保存されており、
   前記回転角度取得手段は、前記撮影装置の光軸回りにおいて前記撮影装置が回転したとき、その回転の角速度を検出するジャイロセンサを有し、最初に撮影された画像の特徴点と前記保存手段に保存された特徴点とのマッチング結果から、最初の撮影時点における、前記撮影対象物の、前記基準となる所定の向きからのオフセット角度を算出し、その後に撮影される画像に関しては、前記オフセット角度と、先の撮影時点からその後の撮影時点までの、前記ジャイロセンサによって検出される角速度から求められる回転角度とを用いて、前記基準となる所定の向きからの回転角度を求めることを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記保存手段には、地面に対して鉛直方向に設置される撮影対象物が、前記撮影装置の光軸回りの基準となる向きとして、その鉛直方向に相当する向きで撮影されたときに得られる特徴点、オリエンテーション情報、及び特徴量が保存されており、
   前記回転角度取得手段は、前記撮影装置の鉛直方向に検知軸を有する加速度センサを有し、前記加速度センサによって検出される重力加速度成分の大きさに基づいて、前記撮影対象物の前記基準となる向きからの回転角度を求めることを特徴とする請求項１又は２に記載の画像処理システム。
5. 前記保存手段には、前記撮影装置の光軸回りの向きとして、基準となる所定の向きの撮影対象物が撮影されたときに得られる特徴点、オリエンテーション情報、及び特徴量が保存されており、
   前記撮影対象物には、二次元のマーカーが付されており、前記回転角度取得手段は、前記撮影装置によって撮影された画像における前記二次元のマーカーの向きに基づいて、前記撮影対象物の、前記基準となる所定の向きからの回転角度を算出することを特徴とする請求項１又は２に記載の画像処理システム。

Images