JP2016157336A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】人物が動いた場合にも高い精度で人物の視線方向を推定可能な技術を提供することを目的とする。【解決手段】複数の撮像手段により撮像された複数の画像から人物の画像上の位置を検出する検出手段と、検出手段により検出された人物を複数の画像間で対応付け、人物の画像上の位置と、複数の撮像手段の撮像情報と、に基づいて、人物の空間上の位置を推定する空間位置推定手段と、複数の画像に基づいて、検出手段で検出された人物の位置からの人物の視線方向を推定する方向推定手段と、空間位置推定手段により推定された人物の空間上の位置と、方向推定手段により推定された視線方向と、複数の撮像手段の撮像情報と、に基づいて、人物が注目する注目位置の空間分布を推定する注目位置推定手段と、を有する。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

カメラを使って人物の注目位置を推定する技術として、特許文献１が挙げられる。特許文献１の方法では、カメラから得られた画像から人物の視線方向を推定し、事前に登録した対象物との位置関係によって注目度を分析している。

特開２００７−２８６９９５号公報

従来の方法は、推定した人物の視線方向から対象物を推定する際、人物の空間位置を推定せずに一定の場所にいることを前提としており、人物が当該箇所から動いた場合の推定精度が低下してしまう課題があった。
本発明は、人物が動いた場合にも高い精度で人物の視線方向を推定可能な技術を提供することを目的とする。

そこで、本発明は、複数の撮像手段により撮像された複数の画像から人物の画像上の位置を検出する検出手段と、前記検出手段により検出された前記人物の画像上の位置と、前記複数の撮像手段の撮像情報と、に基づいて、前記人物の空間上の位置を推定する空間位置推定手段と、前記複数の画像に基づいて、前記検出手段で検出された前記人物の位置からの前記人物の視線方向を推定する方向推定手段と、前記空間位置推定手段により推定された前記人物の空間上の位置と、前記方向推定手段により推定された前記視線方向と、前記複数の撮像手段の撮像情報と、に基づいて、前記人物が注目する注目位置の空間分布を推定する注目位置推定手段と、を有する。

本発明によれば、人物が動いた場合にも高い精度で人物の視線方向を推定可能な技術を提供することができる。

画像解析装置のハードウェア構成を示す図である。 画像解析装置の機能構成等を示す図である。 画像解析装置の情報処理を示すフローチャートである。 カメラ間の物体対応付けについて説明する図である。 ３次元の位置推定について説明する図である。 視線方向を仰角と偏角とで表す方法を説明する図である。 ３次元空間におけるある人物の注目位置分布を示す図である。 注目位置の空間分布を計測する方法を示す図である。 注目位置の空間分布と注目対象物体とを照合し物体の注目度を推定する方法を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
以下では、画像から人体の位置を検出し、検出した人体から視線方向を推定し、それに基づき注目位置の分布を推定する例について説明する。
図１は、画像解析装置のハードウェア構成の一例を示す図である。画像解析装置は、ハードウェア構成として、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、二次記憶装置３０４、複数のカメラ３０５−１〜３０５−ｎ、接続バス３０６を有する。
ＣＰＵ３０１は、ＲＡＭ３０２やＲＯＭ３０３に格納されたプログラムを実行することにより、画像解析装置全体の制御を行う。
ＲＡＭ３０２は、揮発性メモリであり、画像データやプログラム及びその実行結果等の一時的なデータを記憶する。
ＲＯＭ３０３は、不揮発性メモリであり、プログラムや各種パラメータデータを記憶する。ＣＰＵ３０１がＲＯＭ３０３又は二次記憶装置３０４のプログラムに基づき処理を実行することにより、画像解析装置の機能及び後述するフローチャートの処理が実現される。

二次記憶装置３０４は、ハードディスクやフラッシュメモリ等の書き換え可能な二次記憶装置であり、画像解析装置の処理結果や、画像解析装置のログデータ等を記憶する。
カメラ３０５−１〜３０５−ｎは、撮像装置と撮像した画像を保存するストレージ、及び画像を外部へ出力する通信装置から構成される一般的なカメラである。カメラ３０５−１〜３０５−ｎは、図２の撮像部１０１−１〜１０１−ｎに相当する。本実施形態では接続されるカメラの台数ｎ＝３の場合を示したが、これに限るものではない。
接続バス３０６は、ハードウェアを接続して相互にデータの入出力を行う。
本実施形態では後述する処理をＣＰＵ３０１がプログラムに基づき実現することとするが、その処理の一部又は全部をＣＰＵとは異なる手段で実現するようにしてもよい。例えば、ＣＰＵの代わりに専用回路（ＡＳＩＣ）や各種プロセッサー（リコンフィギュラブルプロセッサ、ＤＳＰ、ＧＰＵ）等を用いることができる。
画像解析装置は、画像処理装置の一例である。

図２は、画像解析装置の機能構成等の一例を示す図である。
撮像部１０１−１〜ｎは、それぞれカメラを表す。ｎはカメラの数で、少なくとも２個以上からなる。各カメラで撮影した画像は画像記憶部１０２に記憶される。キャリブレーション部１０３は、各撮像部１０１−１〜ｎのキャリブレーションを行う。キャリブレーション部１０３は、キャリブレーションによって取得した撮像情報を撮像情報記憶部１０４に格納する。人体検出部１０５は、撮像部１０１−１〜ｎによって得られたそれぞれの画像から人体の画像上の位置を検出する。人物空間位置推定部１０６は、複数の画像から検出された人体が同一人物であるかどうかの対応付けを行い、各対応付けについて人物の空間位置を推定する。人物視線方向推定部１０７は、各人体画像から人物の視線方向を推定する。整合性判定部１０８は、人物の空間位置の推定結果と人物の視線方向の推定結果に基づき、人物の対応付けの整合性を判定して、人物の対応付けを決定する。注目位置推定部１０９は、対応づいた人物の空間位置と視線方向とから、注目位置の空間分布を推定する。注目位置記憶部１１０には、推定した注目位置の空間分布が格納される。注目物体推定部１１１は、注目位置の空間分布から、注目物体ごとの注目度を推定する。

図３は、画像解析装置の情報処理の一例を示すフローチャートである。
ステップＳ２０１において、キャリブレーション部１０３は、撮像部１０１のキャリブレーションを行う。キャリブレーション部１０３は、画像記憶部１０２に記憶された各カメラの画像を用い、各カメラの内部パラメータ及び外部パラメータを推定する。カメラの内部パラメータと外部パラメータとがわかれば、キャリブレーション部１０３は、次の式で絶対座標を２次元カメラ座標に変換することができる。
ｍ＝Ａ［Ｒ ｔ］Ｍ （式１）
Ｍ＝[Ｘ Ｙ Ｚ １]^Tは３次元の絶対座標である。ｍ＝［ｘ ｙ １］^Tは２次元の画像座標である。
Ａは３×３行列で表される内部パラメータでカメラの画像座標系における中心位置、倍率、画像の２軸の歪みを表す。Ｒは、夫々カメラの姿勢を表す３×３直交行列である。ｔは、カメラの位置を表す３×１行列である。
内部パラメータＡ及び外部パラメータＲ，ｔは、参考文献１の方法で求めることができる。
（参考文献１）Ｚｈｅｎｇｙｏｕ Ｚｈａｎｇ「Ａ Ｆｌｅｘｉｂｌｅ Ｎｅｗ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２２（１１）：１３３０−１３３４， ２０００

簡単にその方法を説明する。まず、画像解析装置は、空間に配置されているキャリブレーションボード（平面板）を撮影する。キャリブレーションボードにはチェスボードのような格子模様が描かれており、格子点の位置と間隔とは既知である。画像解析装置は、カメラで複数回、位置が変えられたキャリブレーションボードを撮影し、得られた画像から格子点の画像座標ｍを抽出し、絶対座標Ｍと画像座標ｍの対応をとることによって、まず内部パラメータＡを推定する。本実施形態のようにカメラが複数ある場合、画像解析装置は、カメラの台数分、前記推定を繰返し、各カメラについて内部パラメータを推定する。次に、画像解析装置は、複数のカメラで同時にキャリブレーションボードを撮影し、先に推定した内部パラメータを用いて絶対座標Ｍと各カメラの画像座標ｍの対応を取ることによって各カメラの外部パラメータＲ，ｔを推定する。
以上のキャリブレーションによって、各カメラの内部パラメータＡ、外部パラメータＲ，ｔの情報は、撮像情報記憶部１０４に記憶される。

本実施形態では、画像解析装置は、キャリブレーションボードを使ってキャリブレーションを行う方法を説明した。しかし、画像解析装置は、参考文献２のように、画像中の特徴点を抽出し、それら特徴点の画像間の対応付けを行う方法によってキャリブレーションを行ってもよい。
（参考文献２）Ｐｉｅｒｒｅ Ｍｏｕｌｏｎ， Ｐａｓｃａｌ Ｍｏｎａｓｓｅ， ａｎｄ Ｒｅｎａｕｄ Ｍａｒｌｅｔ「Ａｄａｐｔｉｖｅ ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ ｗｉｔｈ ａ ｃｏｎｔｒａｒｉｏ ｍｏｄｅｌ ｅｓｔｉｍａｔｉｏｎ」ＡＣＣＶ２０１２

次に、ステップＳ２０２において、撮像部１０１の各カメラは、シーンを撮影し、撮影した画像を画像記憶部１０２に記憶する。
ステップＳ２０３において、人体検出部１０５は、ステップＳ２０２で撮影された各画像から人体を検出し、その位置情報を抽出する。人体検出部１０５は、人体位置を、参考文献３に記載された方法で抽出する。
（参考文献３）Ｎ．Ｄａｌａｌ， ｅｔ ａｌ．，［Ｈｉｓｔｏｇｒａｍｓ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ ｆｏｒ ｈｕｍａｎ ｄｅｔｅｃｔｉｏｎ］
まず、人体検出部１０５は、撮影された画像を格子状のブロックに分割し、各ブロックにおいてＨＯＧ特徴量を算出する。次に、人体検出部１０５は、複数のブロックからなる検出窓を考え、検出窓に含まれる各ブロックのＨＯＧ特徴量を連結して新たな特徴量とする。人体検出部１０５は、この特徴量を、予め機械学習したＳＶＭ識別器に入力し、検出窓に人体が含まれるか否かを判定する。ＳＶＭ識別器により人体と判定された場合、人体検出部１０５は、検出窓の矩形によって決まる人物領域を出力する。人物領域は、例えば、画像座標系における左上の座標（ｘ、ｙ）及び幅・高さ（ｗ、ｈ）の組み合わせで表される。画像に複数の人物が存在した場合、人体検出部１０５は、それぞれの人物について人物領域を出力する。
本実施形態ではＨＯＧ特徴量とＳＶＭ識別器とによって人体を検出する方法を説明したが、人物を検出することができればどのような方法であってもよい。人体ではなく、顔や顔器官を検出してもよい。

ステップＳ２０４において、人物空間位置推定部１０６は、ステップＳ２０３で検出された人物を画像間で対応付ける。即ち、人物空間位置推定部１０６は、ある画像で検出された人物が、他の画像のどの人物に対応するかを探索する。
人物空間位置推定部１０６は、人物の画像間の対応付けを、人物の代表座標点（画像座標系）をエピポーラ幾何によって対応付けることによって行う。代表座標点とは、例えば顔の中央の位置である。図４のカメラ画像１の人体Ａの代表点は、カメラ画像２ではエピポーラ線と呼ばれる直線で表わされる。カメラ１とカメラ２とのカメラ基礎行列Ｆは、２つのカメラの位置関係を表すもので、次のように定義される。
ｍ₂ ^TＦｍ₁＝０ （式２）
ｍ₁、ｍ₂は、カメラ１とカメラ２上の対応する人物の、各画像座標系上の代表点座標である。
人物空間位置推定部１０６は、カメラ基礎行列Ｆを、カメラ１、カメラ２それぞれの内部パラメータＡ、外部パラメータＲ，ｔから、参考文献４の方法で算出することができる。
（参考文献４）Ｒｉｃｈａｒｄ Ｈａｒｔｌｅｙ ａｎｄ Ａｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎ， 「Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ２ｎｄ ｅｄｉｔｉｏｎ」， Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ

ｍ₁をカメラ１上で検出した人体の代表点座標とすれば、ｍ₁に対応するカメラ２上の人体の代表点座標ｍ₂は、ノイズがなければ次のようなエピポーラ線ｌ上に存在する。
ｌ＝Ｆｍ₁ （式３）
実際にはさまざまなノイズの影響があるため、ｍ₂がｍ₁と対応した点であったとしても、ｍ₂は必ずしもエピポーラ線ｌ上に存在するわけではない。そこで、人物空間位置推定部１０６は、カメラ２で検出された人体の代表点座標ｍ₂とエピポーラ線ｌとの間の距離を（式２）の左辺に基づいて計算し、計算した値が一定値以下の人体を対応する人体とする。例えば、図４において、カメラ画像１の人体Ａに対応するものは、カメラ２画像上では人体ＢとＣとである。ある人体に対応する他のカメラの人体は、１つのカメラにつき１つでなければならない。そのため、人物空間位置推定部１０６は、それを満たすように対応付く人体の組の組み合わせを求める。その結果、図４のカメラ画像１の人体Ａに対応付く人体の組として、｛Ａ，Ｂ｝と｛Ａ，Ｃ｝が生成される。

ステップＳ２０５において、人物空間位置推定部１０６は、ステップＳ２０４で抽出した人物の対応付けの組について人物の空間位置を推定する。まず、人物空間位置推定部１０６は、図５のように、各カメラ画像に対し、カメラ中心と人体領域の代表点とを通る３次元空間中の直線を求める。人物空間位置推定部１０６は、直線を、カメラの内部パラメータ・外部パラメータ及び代表点の画像座標より求める。次に、人物空間位置推定部１０６は、各カメラの直線の交点を求め、これを人体の３次元位置とする。直線の推定誤差により、実際にはこれらの直線が１点で交わらない場合がある。この場合、人物空間位置推定部１０６は、各直線からの距離の和が最小になる点を交点の代わりに採用する。

ステップＳ２０６において、人物視線方向推定部１０７は、各画像で検出された各人物について、人物の視線方向をカメラ座標系上で推定する。まず、人物視線方向推定部１０７は、検出された人体について、画像から人体の矩形を切り出すことで、人体画像を抽出する。人物視線方向推定部１０７は、この人体画像の幅・高さを正規化して一定の形状の矩形に変換し、その画像を特徴量として回帰推定器に入力する。回帰推定器は、予め人物の視線方向（カメラからの相対座標）を２次元量（例えば図６のような偏角θ・仰角φ）として出力するよう機械学習したもので、例えばニューラルネットを用いることができる。これにより、人物の視線方向をカメラ座標系上で得ることができる。
本実施形態では人体画像から回帰推定器によって視線を推定する方法を説明したが、他の方法で推定するようにしてもよい。
例えば、人物視線方向推定部１０７は、人体画像から顔を検出して複数の顔器官の位置を検出し、それらを回帰推定器への入力として顔の向きを算出するようにしてもよい。
また、人物視線方向推定部１０７は、例えば、特許文献１にあるように、瞳の位置を検出し、その座標から幾何学的演算によって視線を推定してもよい。
人体全体の向きよりも顔や瞳のようなより詳細な部分画像から推定する方が高精度に向きを推定できる。一方、詳細部分の画像を推定するには高解像度の画像が必要になる。
また、人物視線方向推定部１０７は、以上の視線推定方法を複数併用してもよい。
ステップＳ２０７において、人物視線方向推定部１０７は、ステップＳ２０６で抽出した人物の視線方向（カメラ座標系）を絶対座標系に変換する。人物視線方向推定部１０７は、人物の視線方向を求めたカメラの内部パラメータＡ及び外部パラメータＲ，ｔを用いて絶対座標系上の視線方向に変換する。

ステップＳ２０８において、整合性判定部１０８は、ステップＳ２０５で求められた人物の対応付けごとの人物の空間位置と、ステップＳ２０７で求められた撮像された人物画像ごとの人物の視線方向とから、対応付けの整合性を算出する。
ここでは、撮像部１０１−１と撮像部１０１−２とで検出された人物が同一であることを表す整合性を算出する。整合性は、人物の空間位置の整合性Ｒ_pと、人物の視線方向の整合性Ｒ_dとに分けられる。
まずＲ_pの算出方法について説明する。整合性判定部１０８は、対応付けられた２つのカメラそれぞれについて、ステップＳ２０３で検出された人物領域の高さを、それぞれのカメラの内部パラメータ、外部パラメータを用いてステップＳ２０５で算出された人物の空間位置に投影する。そして、整合性判定部１０８は、３次元空間上の人物の高さを推定する。カメラ１及びカメラ２で得られた３次元空間上の人物の高さをそれぞれｈ₁、ｈ₂とする。整合性判定部１０８は、Ｒ_pをこれらによって次のように算出する。

整合性判定部１０８は、人物の視線方向の整合性Ｒ_dを、対応付けられた各人物の視線方向が一致している度合いによって算出する。本実施形態では、整合性判定部１０８は、各画像で推定された人物の視線方向のなす角度の余弦を整合性として用いる。ステップＳ２０７で算出されたカメラ１及びカメラ２の絶対座標系での視線方向をそれぞれｄ₁、ｄ₂とすると、Ｒ_dは次のような式で表される。
Ｒ_d＝ｄ₁・ｄ₂ （式５）
整合性判定部１０８は、最終的な整合性ＲをＲ_pとＲ_dの重み付き和によって算出する。
Ｒ＝ｗ_pＲ_p＋ｗ_dＲ_d （式６）
重みｗ_p及びｗ_dは予め定められた値が用いられる。
本実施形態では、整合性判定部１０８は、推定された人物の空間位置と視線方向とから整合性を算出したが、人物の服の色や、顔の類似度等といった特徴や、検出された人物領域の大きさ等を用いて算出することもできる。

ステップＳ２０９において、整合性判定部１０８は、ステップＳ２０８で算出した対応付けの整合性を、事前に定めた閾値と比較し、整合性が低い対応付けについては、同一人物の可能性が低いと判断して処理対象から除外する。整合性判定部１０８は、整合性が閾値を上回った対応付けについては同一人物であると判断する。
整合性判定部１０８は、カメラの対応付けが決定した人物の視線方向を、ステップＳ２０５で求められた人物の空間位置と、ステップＳ２０７で求められた各カメラで推定した視線方向と、から決定する。例えば、整合性判定部１０８は、視線方向が最も正面向きに近いカメラを選択し、そのカメラの推定した視線方向を選択する。また、整合性判定部１０８は、視線方向の推定を人体、顔、瞳等の複数の方法で行うようにしてもよい。このようにした場合、より精度の向上を期待できる。即ち、整合性判定部１０８は、より詳細な部分に基づいて推定した結果を用いるようにしてもよい。

ステップＳ２１０において、注目位置推定部１０９は、画像間で対応付けられた各人物について、人物が注目する位置を推定する。
ある人物に対して、人物の空間位置を頂点とし、人物の視線方向を中心線とするような、無限に延びる円錐を考える（図７）。人物が注目する対象は、この円錐の中に存在すると推定できる。注目位置推定部１０９は、円錐の頂角θ_tには予め定められた値を用いる。
注目位置情報は、空間を微小な立方格子に分割し、各格子の注目度を考えることで表現することができる。図８は簡単のために空間を２次元に投影し、格子と円錐との位置関係を示した図である。注目位置推定部１０９は、すべての格子を０のスコアで初期化しておく。網掛けで示した格子は円錐に交差する格子であり、人物の注目物体はこの領域の何れかに存在すると推定することができる。そこで、注目位置推定部１０９は、円錐に交差する格子にそれぞれ１のスコアを加算する。これにより、この人物による空間上の注目位置分布を表現することができる。注目位置推定部１０９は、この操作を各人物について行うことで、このシーンにおける注目人物数の空間分布を推定することができる。
図８では説明の簡略化のため、空間を２次元で示したが、注目位置推定部１０９は、実際には３次元空間上で処理を行う。
本実施形態では、注目位置推定部１０９は、円錐に交差する格子に等しく１のスコアを与える方法を説明した。この方法では、シーンにおける注目人物数の空間分布を計測することができる。一方、注目位置推定部１０９は、スコアに対して、円錐の中心線からの距離、人物からの距離等の幾何学的特徴や、人物の対応付け整合性等に基づいて重みを付与してもよい。
また、本実施形態では空間を立方格子で分割する方法を説明したが、３次元空間を過不足なく充填するような分割方法であればどのような方法でもよい。

ステップＳ２１１において、注目位置推定部１０９は、ステップＳ２１０で求めた注目位置分布を注目位置記憶部１１０に記憶する。
ステップＳ２１２において、注目物体推定部１１１は、注目対象物体の空間情報を利用することができる場合に、注目位置記憶部１１０に記憶された注目位置分布に基づき、注目対象物体ごとの注目度を推定する。
ここでは、注目対象物体の座標情報として、幅・高さ・奥行・姿勢で表される直方体を考える。図９は、説明の簡略化のため注目位置分布と直方体とを２次元空間に投影して示した図である。図９では直方体を長方形で表している。注目物体推定部１１１は、この物体の注目度を推定するためには、この長方形に含まれる格子のうち、ステップＳ２１０で求められた注目位置分布の最大値を計算すればよい。
本実施形態では注目対象物体の幾何形状として直方体を仮定したが、３次元空間で表現可能な形状であればどのような形状でもよい。
ステップＳ２１３において、画像解析装置は、処理を継続するか否かを判定する。画像解析装置は、処理を継続すると判定すると、ステップＳ２０２に処理を戻し、処理を継続しないと判定すると、図３に示すフローチャートの処理を終了する。

以上の実施形態の処理によれば、ステップＳ２１０で人物の注目する位置を推定する際に、ステップＳ２０５で求めた人物の空間位置を利用することにより、人物の位置が動いた場合にも精度よい推定が可能になる。また、本実施形態では夫々の人物に対して複数のカメラから向きを推定し、より高精度な推定結果を用いるようにしているので高精度の推定結果が期待できる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、上述した各実施形態によれば、人物が動いた場合にも高い精度で人物の視線方向を推定可能な技術を提供することができる。

３０１ ＣＰＵ、３０２ ＲＡＭ、３０３ ＲＯＭ、３０４ 二次記憶装置

Claims (9)

1. 複数の撮像手段により撮像された複数の画像から人物の画像上の位置を検出する検出手段と、
   前記検出手段により検出された前記人物の画像上の位置と、前記複数の撮像手段の撮像情報と、に基づいて、前記人物の空間上の位置を推定する空間位置推定手段と、
   前記複数の画像に基づいて、前記検出手段で検出された前記人物の位置からの前記人物の視線方向を推定する方向推定手段と、
   前記空間位置推定手段により推定された前記人物の空間上の位置と、前記方向推定手段により推定された前記視線方向と、前記複数の撮像手段の撮像情報と、に基づいて、前記人物が注目する注目位置の空間分布を推定する注目位置推定手段と、
   を有する画像処理装置。
2. 前記注目位置推定手段により推定された前記注目位置の空間分布に基づいて、注目物体ごとの注目度を推定する注目物体推定手段を更に有する請求項１記載の画像処理装置。
3. 前記複数の撮像手段の撮像情報をそれぞれの撮像手段より取得する取得手段を更に有し、
   前記空間位置推定手段は、前記人物の画像上の位置と、前記取得手段により取得された前記複数の撮像手段の撮像情報と、に基づいて、前記人物の空間上の位置を推定し、
   前記注目位置推定手段は、前記空間位置推定手段により推定された前記人物の空間上の位置と、前記方向推定手段により推定された前記視線方向と、前記取得手段により取得された前記複数の撮像手段の撮像情報と、に基づいて、前記人物が注目する注目位置の空間分布を推定する請求項１又は２記載の画像処理装置。
4. 前記取得手段は、前記複数の撮像手段により撮像された複数の画像から算出した前記複数の撮像手段の内部パラメータと外部パラメータとを前記撮像情報として取得する請求項３記載の画像処理装置。
5. 前記内部パラメータとは、撮像手段の画像座標系における中心位置、倍率、画像の２軸の歪みを示す情報であり、
   前記外部パラメータとは、撮像手段の位置、姿勢を示す情報である請求項４記載の画像処理装置。
6. 前記方向推定手段は、前記複数の画像中の人体、顔、目の少なくとも１つの部分画像に基づいて、前記検出手段で検出された前記人物の位置からの前記人物の視線方向を推定する請求項１乃至５何れか１項記載の画像処理装置。
7. 前記空間位置推定手段は、前記検出手段により検出された前記人物を複数の画像間で対応付け、前記人物の画像上の位置と、前記複数の撮像手段の撮像情報と、に基づいて、前記人物の空間上の位置を推定し、
   前記空間位置推定手段により推定された前記人物の空間上の位置と、前記方向推定手段により推定された前記視線方向と、前記複数の撮像手段の撮像情報と、に基づいて、前記空間位置推定手段での前記対応付けが正しいか否かを判定する判定手段を更に有し、
   前記注目位置推定手段は、前記判定手段により前記対応付けが正しいと判定された人物の前記空間位置推定手段により推定された空間上の位置と、前記方向推定手段により推定された前記視線方向と、前記複数の撮像手段の撮像情報と、に基づいて、前記人物が注目する注目位置の空間分布を推定する請求項１乃至６何れか１項記載の画像処理装置。
8. 画像処理装置が実行する画像処理方法であって、
   複数の撮像ステップにより撮像された複数の画像から人物の画像上の位置を検出する検出ステップと、
   前記検出ステップにより検出された前記人物の画像上の位置と、前記複数の撮像ステップの撮像情報と、に基づいて、前記人物の空間上の位置を推定する空間位置推定ステップと、
   前記複数の画像に基づいて、前記検出ステップで検出された前記人物の位置からの前記人物の視線方向を推定する方向推定ステップと、
   前記空間位置推定ステップにより推定された前記人物の空間上の位置と、前記方向推定ステップにより推定された前記視線方向と、前記複数の撮像ステップの撮像情報と、に基づいて、前記人物が注目する注目位置の空間分布を推定する注目位置推定ステップと、
   を含む画像処理方法。
9. コンピュータに、
   複数の撮像ステップにより撮像された複数の画像から人物の画像上の位置を検出する検出ステップと、
   前記検出ステップにより検出された前記人物の画像上の位置と、前記複数の撮像ステップの撮像情報と、に基づいて、前記人物の空間上の位置を推定する空間位置推定ステップと、
   前記複数の画像に基づいて、前記検出ステップで検出された前記人物の位置からの前記人物の視線方向を推定する方向推定ステップと、
   前記空間位置推定ステップにより推定された前記人物の空間上の位置と、前記方向推定ステップにより推定された前記視線方向と、前記複数の撮像ステップの撮像情報と、に基づいて、前記人物が注目する注目位置の空間分布を推定する注目位置推定ステップと、
   を実行させるためのプログラム。