JP2005071125A - 被写体検出装置、被写体検出方法、被写体データ選定プログラムおよび被写体位置検出プログラム - Google Patents

Abstract

【課題】 １つの撮像画像について複数の被写体検出手法により解析を行い、その解析結果の信頼度に基づいて解析結果を選定することで、高精度で、かつ高速に被写体の検出を行うことを可能にした被写体検出装置を提供する。
【解決手段】 被写体検出装置１は、撮像画像内における被写体の位置を解析し、被写体位置情報とする被写体解析手段５１，６１，７１と、この解析結果に対する信頼度を表す信頼度値を算出する信頼度値算出手段５２，６２，７２と、信頼度値と、被写体位置情報とを含む被写体データを生成する被写体データ生成手段５３，６３，７３とを有する、複数の被写体位置検出手段５０，６０，７０と、信頼度値に基づいて被写体データを選定するデータ選定手段８１とを備えることを特徴とする。
【選択図】 図１

Description

本発明は、撮像画像内の被写体の位置を検出する技術に関し、特に複数の被写体検出手法により被写体の位置の解析を行い、その解析結果から最適な結果を選定する被写体検出装置、被写体検出方法、被写体データ選定プログラムおよび被写体位置検出プログラムに関する。

従来、画像から人物などの被写体を検出する方法は、数多く提案されている。例えば、画像から人物の顔の特徴を検出して、人物の位置を特定する方法が提案されている（非特許文献１参照）。この方法では、入力した画像から複数の所定サイズの画像をサンプリングし、予め記憶された人物の顔の画像データを参照して、この所定サイズの画像が人物の顔の画像であるかを判別して、入力画像内における人物の顔を検出するものである。

さらに、背景画像と撮像画像の差分を計算し、差分画像を解析することで、人物の位置を検出する方法が提案されている（非特許文献２参照）。この方法は、予め背景画像を取得し、撮像画像と背景画像との差分画像の色情報から人物を検出して、画像内における位置を解析するものである。

また一般的に、移動する被写体を連続して撮像した画像を解析する場合に、撮像された全ての画像について画像全体を解析して被写体を検出する方法と、直前に撮像された画像の被写体の検出部付近に解析範囲を限定して、被写体の検出を行う方法とが行われている。
H. A. Rowley, et al, "Neural network-based face detection", IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 20, No. 1, pp. 23-38, 1998 C. Wren, et al, "Pfinder: Real-time tracking of the human body" International Conference on Automatic Face and Gesture Recognition, pp. 51-60, 1996

しかし、撮像画像から被写体を検出する際に、各々の被写体検出手法は撮像条件や被写体の状態などによって検出精度が異なり、１種類の被写体検出手法のみで検出すると、特定の条件において被写体の検出精度が著しく低下することがある。例えば、非特許文献１に記載の被写体検出手法は、撮像画像内での被写体の大きさに対してサンプリングする画像のサイズが適切でないと、人物の検出精度が低下するという問題がある。また、撮像時の光源などの原因により顔の特徴があいまいに撮像された画像についても、検出精度が低下することがある。

また、非特許文献２に記載の方法は、例えば、撮像するカメラの位置や角度が変化した場合には、予め撮像した背景画像と実際の背景とが異なるため、検出精度が低下するという問題がある。さらに、複数の人物が隣接して存在する場合には、人物を個々に検出しにくいという問題がある。

一方、移動する被写体を連続して撮像した画像を解析する場合に、全ての撮像画像について画像全体を解析する方法では、処理データ量が多いため時間がかかり、高速に処理することができないという問題がある。また、直前に撮像された画像の被写体の検出部付近に解析範囲を限定して検出する方法では、一度誤った検出をすると、それ以降に撮像された画像では不適切な範囲について解析を行うため、被写体の検出が不可能になるという問題がある。

本発明は、前記従来技術の課題を解決するために成されたもので、１つの撮像画像について複数の被写体検出手法による解析を同時に行い、１種類の被写体検出手法では特定の条件において検出精度が低下するところを、他の被写体検出手法による解析結果で補うことで、高精度で、かつ高速に被写体の検出を行うことを可能にした被写体検出装置、被写体検出方法、被写体データ選定プログラムおよび被写体位置検出プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の被写体検出装置は、撮像画像から被写体を検出する被写体検出装置であって、被写体解析手段と、信頼度値算出手段と、被写体データ生成手段とを有する被写体位置検出手段を複数備えるとともに、データ選定手段を備える構成とした。

かかる構成によれば、被写体検出装置は、複数の被写体位置検出手段で、各々の被写体解析手段によって、撮像画像内における被写体の位置を解析し、解析結果を被写体位置情報とする。そして、信頼度値算出手段によって、この被写体解析手段で解析した解析結果に対する信頼度を表す信頼度値を算出する。また、被写体データ生成手段によって、この信頼度値で算出した信頼度値、および被写体解析手段の解析結果である被写体位置情報を含む被写体データを生成する。このように、複数の被写体位置検出手段で被写体解析を行うため、ある被写体位置検出手段で検出を失敗しても、他の被写体位置検出手段で検出した被写体位置で補うことが可能になる。そして、被写体検出装置は、データ選定手段によって、複数の被写体位置検出手段で生成された被写体データの中から信頼度値が最も高い被写体データを選定する。このように、最も信頼度値が高い被写体データを選定するため、被写体検出装置は、精度良く被写体を検出することが可能になる。

なお、被写体解析手段における被写体を解析する方法には、例えば、入力した撮像画像をウェーブレット変換し、この変換した画像を区分し、予め記憶された被写体のサンプルの画像に基づいて、各区分の画像が被写体の画像である確率と、被写体の画像でない確率とを求めることで、被写体の画像である部分を検出する顔検出手法や、被写体の画像の色ヒストグラムを予め記憶し、その色ヒストグラムと近い色ヒストグラムを有する画像の領域を被写体の画像として検出する色領域追跡手法や、予め背景画像を記憶しておき、解析する画像と背景画像との差分画像を被写体の画像として検出する背景差分法などの、様々な被写体検出手法を用いることができる。

また、信頼度値は、被写体として検出した画像が被写体の画像であるかの信頼度を表すもので、被写体解析手段によって被写体の検出を行う際に、解析対象が被写体であるかの判別を行う基準としたものを用いることができる。この信頼度値の算出方法としては、例えば、予め記憶された被写体の画像の特徴と、被写体解析手段によって検出した領域の画像の特徴とを比較して、検出した領域の画像が被写体の画像である確率を求め、この確率から信頼度値を算出する方法や、予め記憶された被写体の画像の特徴と、被写体解析手段によって検出した領域の画像の特徴との差を算出し、その差の大きさから信頼度値を算出する方法などがある。

また、ここで、被写体位置情報は、被写体解析手段により解析された解析結果であり、撮像画像内における被写体の位置を表すものである。被写体位置情報は、例えば、撮像画像フレーム内における、被写体が検出された領域の中心座標などで表すことができる。

また、請求項２に記載の被写体検出装置は、請求項１に記載の被写体検出装置において、前記被写体解析手段は、前記データ選定手段により選定された被写体データの被写体位置情報に基づいて、新たに入力された撮像画像の解析範囲を限定して前記被写体の位置を解析する構成とした。

かかる構成によれば、被写体検出装置は、データ選定手段によって選定された被写体データの被写体位置情報に基づいて、新たに入力された撮像画像の解析範囲を設定し、その解析範囲内の画像について解析を行う。このデータ選定手段によって選定された被写体データは、複数の被写体位置検出手段で解析した結果から信頼度に基づいて選定されたものであるので、誤検出が排除された高精度の検出結果となる。そのため、移動する被写体を連続して撮像した場合において、新たに入力される撮像画像の解析範囲を、この被写体データの被写体位置情報に基づいて限定しても、被写体が高い確率で存在する範囲の画像について解析することができる。そして、入力された撮像画像全てを解析するのではなく、解析範囲を限定して解析することができる。

さらに、請求項３に記載の被写体検出装置は、請求項１または請求項２に記載の被写体検出装置において、前記被写体解析手段は、前記撮像画像内における前記被写体の位置における当該被写体の大きさをさらに解析し、前記被写体データ生成手段は、前記被写体解析手段で解析された前記解析結果であり、前記被写体の大きさを表す被写体大きさ情報をさらに含む被写体データを生成する構成とした。

かかる構成によれば、被写体検出装置は被写体解析手段によって、撮像画像内において被写体の少なくとも一部が含まれる領域を解析し、撮像画像内におけるその領域の位置と大きさとを解析する。ここで、被写体の大きさを解析する方法は、被写体の位置を解析する方法と同様の手法を用いて実現することができる。そして被写体データ生成手段によって、この被写体が含まれる領域の大きさを表す被写体大きさ情報をさらに含む被写体データを生成する。ここで、被写体大きさ情報は、例えば、被写体解析手段によって、人物の顔の特徴に基づいて撮像画像内の人物の顔を検出した場合に、人物の顔の特徴を満たす領域を長方形で区画し、その長方形の幅と高さなどで表すことができる。

また、請求項４に記載の被写体検出装置は、請求項１から請求項３のいずれか１項に記載の被写体検出装置であって、前記被写体データ生成手段は、前記被写体解析手段を識別する被写体解析手段ＩＤをさらに含む被写体データを生成し、前記信頼度値の重要度を表す重み係数を、前記被写体解析手段ＩＤに対応させて予め記憶する重み係数記憶手段を備え、前記データ選定手段が、前記被写体解析手段ＩＤに対応する前記重み係数と前記信頼度値とに基づいて、複数の前記被写体データから前記撮像画像内の被写体ごとに１つの被写体データを選定する構成とした。

かかる構成によれば、被写体データ生成手段によって被写体解析手段ＩＤをさらに含む被写体データを生成する。また、被写体検出装置は、信頼度値の重要度を表す重み係数を被写体解析手段ＩＤに対応させて、重み係数記憶手段に予め記憶している。そして、データ選定手段によって、被写体解析手段ＩＤに対応する重み係数を重み係数記憶手段から取得し、この重み係数により重み付けした信頼度値に基づいて、複数の被写体データから撮像画像内の被写体ごとに１つの被写体データを選定し、この被写体位置情報を撮像画像内の被写体の位置の検出結果とする。

ここで、重み係数は、信頼度値の重要度を表すもので、被写体解析手段ＩＤとを対応させて重み係数記憶手段に予め記憶されている。この重み係数は、各々の被写体解析手段によって解析した解析結果の信頼度値を補正するためのものである。そして、それぞれの被写体解析手段で行う被写体検出手法によって信頼度値の算出方法が異なる場合には、同じ信頼度値であっても検出精度は異なることがあるが、適切な重み係数を予め定めておくことによってこれを補正することができる。

さらに、請求項５に記載の被写体検出方法は、撮像画像内における被写体の位置を解析して、この解析結果を含む被写体データを生成する、複数の被写体位置検出装置と、複数の被写体データから撮像画像内の被写体ごとに１つの被写体データを選定するデータ選定装置とを用いて、撮像画像から被写体を検出する被写体検出方法であって、前記複数の被写体位置検出装置において、前記撮像画像内における前記被写体の位置を解析する被写体解析ステップと、この被写体解析ステップで解析された解析結果に対する信頼度を表す信頼度値を算出する信頼度値算出ステップと、この信頼度値算出ステップで算出された信頼度値、および前記解析結果である被写体位置情報を含む被写体データを生成する被写体データ生成ステップとを含み、前記データ選定装置において、前記信頼度値に基づいて、複数の前記被写体データから前記撮像画像内の被写体ごとに１つの被写体データを選定するデータ選定ステップを含むことを特徴とする。

この方法によれば、被写体検出方法は、被写体解析ステップにおいて、撮像画像から被写体の位置を解析し、信頼度値算出ステップにおいて、この解析結果に対する信頼度を表す信頼度値を算出する。続いて、被写体データ生成ステップにおいて、この信頼度値と、被写体解析ステップにおいて解析した解析結果である被写体位置情報とを含む被写体データを生成する。そして、この被写体解析ステップ、信頼度値算出ステップおよび被写体データ生成ステップを、複数の種類の被写体検出手法について行う。そして、データ選定ステップにおいて、信頼度値に基づいて、複数の被写体データから撮像画像内の被写体ごとに１つの被写体データを選定することができる。

また、請求項６に記載の被写体データ選定プログラムは、撮像画像内における被写体の位置を解析して被写体位置情報とし、この解析結果に対する信頼度を表す信頼度値を算出して、前記信頼度値と、前記被写体位置情報とを含む被写体データを生成する、複数の被写体位置検出装置から、複数の前記被写体データを入力し、複数の前記被写体データから１つの被写体データを選定するために、コンピュータを、前記信頼度値に基づいて、複数の前記被写体データから前記撮像画像内の被写体ごとに１つの被写体データを選定するデータ選定手段として機能させることとした。

かかる構成によれば、被写体データ選定プログラムは、データ選定手段によって、被写体データに含まれる信頼度値に基づいて、複数の被写体データから撮像画像内の被写体ごとに１つの被写体データを選定する。

また、請求項７に記載の被写体位置検出プログラムは、撮像画像内における被写体の位置を表す被写体位置情報と、前記被写体位置情報の信頼度を表す信頼度値とを含む、複数の被写体データから撮像画像内の被写体ごとに１つの被写体データを選定するデータ選定装置から、選定された被写体データの前記被写体位置情報を入力し、前記被写体位置情報に基づいて、新たに入力された撮像画像の解析範囲を限定して被写体の位置を解析するために、コンピュータを、前記被写体位置情報に基づいて、新たに入力された撮像画像の解析範囲を限定して被写体の位置を解析する被写体解析手段、この被写体解析手段により解析された解析結果の信頼度値を算出する信頼度値算出手段、前記信頼度値と、前記解析結果である被写体位置情報とを含む被写体データを生成する被写体データ生成手段として機能させることとした。

かかる構成によれば、被写体位置検出プログラムは、被写体解析手段によって、被写体位置情報に基づいて解析範囲を限定し、その解析範囲の撮像画像内の被写体の位置を解析する。そして、信頼度値算出手段によって、被写体解析手段の解析結果に対する信頼度を表す信頼度値を算出する。そして、被写体データ生成手段によって、この信頼度値と、被写体解析手段の解析結果である、撮像画像内の被写体の位置を表す被写体位置情報とを含む被写体データを生成する。

本発明に係る被写体検出装置、被写体検出方法、被写体データ選定プログラムおよび被写体位置検出プログラムでは、以下のような優れた効果を奏する。

請求項１または請求項５に記載の発明によれば、被写体検出装置は入力された撮像画像から複数の被写体検出手法によって被写体の位置を検出し、それぞれの被写体検出手法について被写体位置情報とその信頼度値とを含む被写体データを生成する。そして信頼度値に基づいて被写体データを選定するため、最も信頼度の高い結果を選定することができる。また、例えば、撮像条件などによって１つの被写体検出手法で検出精度が低下した場合においても、他の被写体検出手法によって検出した、信頼度の高い検出結果を選定するため、誤った検出結果を排除することができる。そのため、撮像条件等に影響されず高精度に被写体の検出を行うことが可能になる。

請求項２に記載の発明によれば、被写体検出装置は、データ選定手段によって複数の被写体検出手法で解析して得られた被写体データから最も信頼性の高い被写体データを選定するため、撮像条件等の影響を受けず高精度な検出結果となる。そして移動する被写体を連続して撮像した撮像画像を解析する場合に、この被写体データに基づいて、新たに入力された撮像画像の解析範囲を設定することで、被写体が高い確率で存在する範囲の画像について解析することができる。そして、入力された撮像画像の全ての範囲を解析せずに、被写体が高い確率で存在する範囲に解析範囲を限定することができるので、被写体解析手段によって解析するデータ量を少なくすることができる。そのため、被写体の検出を高速にかつ高精度に行うことが可能になる。さらに、高速かつ高精度に被写体の検出ができるので、例えば、ロボットカメラにおける被写体の自動追尾撮影に応用することで、ロボットカメラによる自動撮影が可能となる。

請求項３に記載の発明によれば、撮像画像内において被写体の少なくとも一部が含まれる領域を解析し、撮像画像内におけるその領域の位置と大きさとを解析することができる。これによって撮像画像内の被写体の位置と、被写体の大まかな大きさを解析することができる。そのため、例えば、ロボットカメラにおける被写体の自動追尾撮影に応用した場合に、被写体の位置の情報に基づいてカメラの位置や角度を調整することで、被写体が常にフレーム内に収まるように撮影できるだけでなく、解析した被写体の撮像画像内における大きさの情報に基づいて自動でカメラのズームの調整等をする構成とすることで、被写体が常にフレーム内で適切な大きさになるように撮影することが可能になる。

請求項４に記載の発明によれば、それぞれの被写体解析手段で行う被写体検出手法によって算出方法が異なるために、同じ信頼度値であっても検出精度が異なることがあるが、このような場合に、重み係数によって重み付けをすることでこれを補正し、検出精度の高い被写体データを選定することができる。また、信頼度値に重み付けをすることで、例えば、特定の条件で撮像する場合に、その条件に適した被写体検出手法で解析した解析結果の信頼度値に多く重み付けして、特にその被写体検出手法によって解析した被写体データを選定しやすくするなど、特定の被写体検出手法によって解析した被写体データの選定のされやすさを予め設定することが可能になる。

請求項６に記載の発明によれば、入力した被写体データの信頼度値に基づいて被写体データを選定するので、信頼度値の最も高い被写体検出結果を選定することができる。そのため、例えば、撮像条件などによって１つの被写体検出手法で検出精度が低下した場合においても、他の被写体検出手法によって検出した、信頼度の高い検出結果を選定するため、誤った検出結果を排除することができ、撮像条件等に影響されず高精度に被写体の検出を行うことが可能になる。

請求項７に記載の発明によれば、例えば、移動する被写体を連続して撮像した撮像画像を解析する場合に、この被写体データに基づいて、新たに入力された撮像画像の解析範囲を設定することで、被写体が高い確率で存在する範囲の画像について解析することができる。そして、入力された撮像画像の全ての範囲を解析せずに、被写体が高い確率で存在する範囲に解析範囲を限定することができるので、被写体解析手段によって解析するデータ量を少なくすることができる。そのため、被写体の検出を高速にかつ高精度に行うことが可能になる。

以下、本発明の実施の形態について図面を参照して説明する。ここでは本発明を、人物を連続して撮像した画像から、画像ごとに人物の顔（頭部）を検出する場合を一例として説明する。

［被写体検出装置の構成］
図１は本発明における被写体検出装置の構成を示したブロック図である。被写体検出装置１は、入力された撮像画像から顔検出手法、色領域追跡手法および背景差分を用いた頭部検出手法により人物の顔を検出し、その３つの手法によって解析された解析結果のうち最も信頼度の高い結果を選定して、この選定した結果に基づいて次に入力される撮像画像の解析範囲を設定するものである。ここでは、被写体検出装置１は、顔検出手段（被写体位置検出手段）５０と、色領域追跡手段（被写体位置検出手段）６０と、頭部検出手段（被写体位置検出手段）７０と、被写体データ処理部８０と、出力手段９０とを備えている。また、被写体検出装置１は、撮像した画像を入力するカメラ２を外部に接続している。

顔検出手段５０（被写体位置検出手段）は、顔検出手法により、カメラ２から入力される撮像画像から人物の顔を検出し、被写体データを生成するものである。この顔検出手段５０は、被写体解析部５１、信頼度値算出部５２、被写体データ生成部５３および顔検出データ記憶手段５４とを備えている。

被写体解析部５１（被写体解析手段）は、カメラ２から入力される撮像画像について、人物の顔を解析する解析範囲を設定し、その解析範囲内の画像を顔検出手法により解析して人物の顔を検出するものである。この被写体解析部５１は、解析範囲設定部５１ａと、解析実行部５１ｂとを備えている。

解析範囲設定部５１ａは、後記する被写体データ処理部８０から入力された選定データに基づいて、カメラ２から入力された撮像画像の解析範囲を設定するものである。被写体データ処理部８０から入力される選定データには、カメラ２から入力される撮像画像内の領域の位置と大きさの情報が含まれている。この情報は、被写体データ処理部８０によって選定された、被写体の顔（頭部）の少なくとも一部が存在する画像内の領域の位置と大きさを表すもので、ここでは、被写体の顔が含まれる、長方形で区画した領域の中心座標と、この領域の幅と高さとで表すが、領域の形状や位置と大きさを表す方法はこれに限定されるものではなく、例えば、正方形で区画した領域の左下隅の座標と正方形の一辺の長さで表すこととしても良い。そして、解析範囲設定部５１ａは、選定データに含まれる位置と大きさの情報に基づいて、新たにカメラ２から入力される撮像画像の解析範囲を設定する。

例えば、６４０×４８０画素の撮像画像を入力し、この撮像画像内の長方形の領域の位置を、撮像画像の左下隅を原点としたときの、原点からこの領域の中心までの、横方向（ｘ軸方向）と縦方向（ｙ軸方向）の画素数で表し、この領域の大きさを、領域の幅と高さの画素数で表す場合において、選定データには、中心座標（ｘ，ｙ）として“１１２，２３８”と、幅と高さ（ｗ，ｈ）として“２７，２７”とが含まれているとする。このとき、解析範囲設定部５１ａはこの選定データの基づいて、新たに入力された撮像画像の解析範囲を、例えば、中心座標は、選定データの中心座標と同じ（ｘ，ｙ）＝（１１２，２３８）に、幅と高さは、選定データの幅と高さの値をそれぞれ３倍にした（ｗ，ｈ）＝（８１，８１）の範囲に設定する。この場合、６４０×４８０画素の撮像画像内の（ｘ，ｙ）＝（１１２，２３８）を中心座標とする８１×８１画素の範囲が解析範囲となる。

このように、選定データに含まれる中心座標と幅と高さの情報に基づいて解析範囲を設定することで、撮像画像内での被写体の位置と大きさに適した解析範囲を設定することができる。さらに、撮像画像全てについて解析する必要がなくなるので、解析を高速に行うことが可能になる。また、例えば、解析範囲の幅と高さを（ｗ，ｈ）＝（９６，７２）のように、予め解析範囲の幅と高さを所定値に設定しておき、選定データの中心座標に基づいてこの幅と高さの範囲を解析領域と設定するようにしても良い。この際、例えば、所定の時間おきに連続して入力される撮像画像について解析する場合に、リアルタイムでの検出が維持できるデータ量になるように、予め解析範囲を所定の大きさに定めておくことで、常に適正な解析速度を維持できるようになる。

また、解析範囲設定部５１ａは、撮像画像内に２以上の被写体が存在し、選定データから２以上の領域の位置と大きさの情報を取得した場合には、この位置と大きさの情報に基づいて、２以上の解析範囲を設定する。

さらに、解析範囲設定部５１ａは、被写体データ処理部８０で選定した選定データが無い場合、つまり連続して撮像した画像が順次入力される際の最初に入力される撮像画像を解析する場合には、解析範囲を撮像画像全体に設定する。そして、解析範囲設定部５１ａは、設定した解析範囲内の画像を解析実行部５１ｂに出力する。

解析実行部５１ｂは、解析範囲設定部５１ａから入力された画像について解析し、人物の顔の検出を行うものである。解析実行部５１ｂでは、顔検出手法により画像から人物の顔の検出を行う。この顔検出手法は、例えば、「A Statistical method for 3D object detection applied to faces and cars」（H. Schneiderman, et al, CVPR 2000）に記載された技術等を用いて実現することができる。ここでは前記の文献に記載された技術を適用して、被写体の位置と大きさの解析を行う。

ここで、図２を参照（適宜図１参照）して、顔検出手法によって被写体を検出する手法について説明する。図２は、顔検出手法によって撮像画像から被写体を検出する例を説明するための説明図である。

解析実行部５１ｂに、解析範囲設定部５１ａから解析範囲内の画像が入力されると、解析実行部５１ｂは、解析範囲内の画像をウェーブレット変換する。そして、解析範囲内の画像に所定サイズの領域を設定する。具体的には、図２（ａ）に示すように、解析実行部５１ｂは、入力された画像に所定サイズの領域ｒ１を設定する。そして、この領域ｒ１内をさらに細かい区分に分け、各区分にウェーブレット係数により分類されたパターン番号pattern_kを付加する。例えば、図２（ｂ）に示すように、領域ｒ１内をさらに細かい区分ｃ１、ｃ２、…、ｃｋに分け、各区分にウェーブレット係数により分類されたパターン番号pattern_k（図２の例では、＃５７６１など）を付加する。さらに、各区分の画像について、それぞれその画像が人物の顔である確率P_k(pattern_k,x,y|face)と、人物の顔でない確率P_k(pattern_k,x,y|non-face)を、顔検出データ記憶手段５４に予め記憶された、様々な顔の画像データに基づいて算出する。
そして、以下に示す（１）式に基づいて前記領域内の全ての区分についての、顔である確率の顔でない確率に対する比を統合し、この値ａを顔であるかを判別するための基準値ａとして、この基準値ａが予め定めたしきい値λよりも大きければ、その領域が顔の画像であると判別する。ここで、（１）式の“ｒｅｇｉｏｎ”は、前記の確率を算出する区分を含む、入力された画像に設定した所定サイズの領域（範囲）を表し、図２の例では、領域ｒ１の占める範囲を表す。そして、この領域を、解析範囲の画像の全体にわたって、様々なサイズで設定して、前記の方法により、それぞれの領域が被写体の画像であるかを判別することで、解析範囲の画像から被写体を検出する。

そして、カメラ２から入力された撮像画像における、人物の顔の画像と判断された領域の中心座標（以下、被写体位置情報という）と、この領域の幅と高さ（以下、被写体大きさ情報という）とを算出して人物の顔の位置および大きさとする。そして、（１）式に基づいて算出したこの領域の基準値ａと、解析結果である被写体位置情報と被写体大きさ情報とを信頼度値算出部５２に出力する。

図１に戻って説明を続ける。信頼度値算出部５２（信頼度値算出手段）は、解析実行部５１ｂの解析結果の信頼度を表す信頼度値を算出するものである。ここでは、解析実行部５１ｂで顔が存在するかを判別する基準とした基準値ａに基づいて、信頼度値を算出する。ここでは、この信頼度値が、後記する色領域追跡手段６０の信頼度値算出部６２および頭部検出手段７０の信頼度値算出部７２よって算出される、それぞれの解析結果に対する信頼度値と、解析結果の信頼度を示す基準が同一になるように信頼度値の算出方法を設定し、信頼度値が、解析実行部５１ｂ、６１ｂ、７１ｂで検出した領域の画像が被写体の画像である確率を０〜１の範囲で表し、信頼度値が１に近づくほど被写体の画像である確率が高くなり、０に近づくほど被写体の画像である確率が低くなるように、信頼度値を算出する。

なお、それぞれの被写体検出手段の解析結果の重要度に応じて信頼度値の算出方法を適宜設定しても良く、例えば、顔検出手段の解析結果の信頼度値には、前記の（１）式の算出方法で算出した基準値ａを用い、後記する色領域追跡手段６０と頭部検出手段７０の信頼度値は、解析実行部６１ｂ、７１ｂで検出した領域の画像が被写体の画像である確率を０〜１の範囲で表したものとしても良い。この場合、顔検出手段５０の解析結果の信頼度値は１以上の値となることもあるため、顔検出手段５０の解析実行部５１ｂで検出した結果が、後記する被写体データ処理部８０のデータ選定手段８１でより選定されやすくなり、これによって顔検出手段５０の解析結果に重要度をもたせた算出方法とすることができる。そして、信頼度値算出部５２は、被写体位置情報、被写体大きさ情報および信頼度値を被写体データ生成部５３に出力する。

被写体データ生成部５３（被写体データ生成手段）は、信頼度値算出部５２から入力された情報に基づいて被写体データを生成するものである。被写体データには、被写体解析部ＩＤ、被写体位置情報、被写体大きさ情報および信頼度値が含まれている。ここで、被写体解析部ＩＤ（被写体解析手段ＩＤ）は、各被写体解析部５１，６１，７１を識別するための識別子である。そして、被写体データ生成部５３は、被写体データを被写体データ処理部８０のデータ選定手段８１に出力する。

顔検出データ記憶手段５４は、被写体解析部５１による画像の解析に必要となる種々のデータを記憶するもので、半導体メモリ、ハードディスク等の一般的な記録媒体である。顔検出データ記憶手段５４には様々な顔の画像データが予め記憶されている。そしてこの顔検出データ記憶手段５４は、被写体解析部５１によって、解析する画像が人物の顔である確率と人物の顔でない確率とを算出する際に参照されて用いられる。

色領域追跡手段６０（被写体位置検出手段）は、色領域追跡手法により、カメラ２から入力される撮像画像から人物の顔（頭部）を検出し、被写体データを生成するものである。この色領域追跡手段６０は、被写体解析部６１、信頼度値算出部６２、被写体データ生成部６３および色領域追跡データ記憶手段６４とを備えている。

被写体解析部６１（被写体解析手段）は、カメラ２から入力される撮像画像について人物の顔を解析する解析範囲を設定し、その解析範囲内の画像を色領域追跡手法により解析して人物の顔を検出するものである。この被写体解析部６１は、解析範囲設定部６１ａと、解析実行部６１ｂとを備えている。

解析範囲設定部６１ａは、顔検出手段５０の解析範囲設定部５１ａと同様の方法で、被写体データ処理部８０から入力された選定データに基づいて、カメラ２から入力される撮像画像の解析範囲を設定するものである。そして、設定した解析範囲内の画像を解析実行部６１ｂに出力する。

解析実行部６１ｂは、解析範囲設定部６１ａから入力された画像について解析し、人物の顔の検出を行うものである。解析実行部６１ｂでは、色領域追跡手法により画像から人物の顔の検出を行う。

ここで、図３を参照（適宜図１参照）して、色領域追跡手法によって被写体を検出する手法について説明する。図３は、色領域追跡手法によって撮像画像から被写体を検出する例を説明するための説明図である。

解析実行部６１ｂは、まず、最初に入力された撮像画像から人物の顔（頭部）の領域の色ヒストグラムを取得して、色領域追跡データ記憶手段６４に記憶する。具体的には、図３（ａ）に示すように、最初に入力された撮像画像の人物の頭部を含む領域Ｓの色ヒストグラムを取得する。そして、その後新たに入力される撮像画像の解析範囲内の画像と、色領域追跡データ記憶手段６４に記憶されている色ヒストグラムとを比較して、色ヒストグラムのパターンが類似する領域を解析する。つまり、解析範囲内の画像に所定サイズの領域を設定し、その領域の色ヒストグラムと、色領域追跡データ記憶手段６４に記憶されている色ヒストグラムのパターンの差を算出し、この値が予め定めたしきい値よりも低ければ、その領域を顔の画像と判定する。そして、解析範囲の画像全体に様々なサイズでこの領域を設定し、前記の方法によって、それぞれの領域内の画像が顔の画像であるかを判断することで、解析範囲内の画像から人物の顔を検出する。

そして、撮像画像全体において、人物の顔であると判断された領域の中心座標（被写体位置情報）と幅と高さ（被写体大きさ情報）とを算出する。また、この領域の色ヒストグラムと色領域追跡データ記憶手段６４に記憶されている色ヒストグラムのパターンの差の値と、解析結果である被写体位置情報と被写体大きさ情報とを信頼度値算出部６２に出力する。

図１に戻って説明を続ける。信頼度値算出部６２（信頼度値算出手段）は、解析実行部６１ｂで顔が存在すると判断した領域の色ヒストグラムと、色領域追跡データ記憶手段６４に記憶されている画像の色ヒストグラムのパターンの差の値に基づいて、解析結果の信頼度値を算出するものである。ここでは、この信頼度値は、顔検出手段５０の信頼度値算出部５２、および、後記する頭部検出手段７０の信頼度値算出部７２よって算出される、それぞれの解析結果に対する信頼度値と、解析結果の信頼度を示す基準が同一になるように算出する。そして、信頼度値算出部６２は、被写体位置情報、被写体大きさ情報および信頼度値を被写体データ生成部６３に出力する。

被写体データ生成部６３（被写体データ生成手段）は、信頼度値算出部６２から入力された情報に基づいて被写体データを生成するものである。被写体データには、被写体解析部ＩＤ、被写体位置情報、被写体大きさ情報および信頼度値が含まれている。そして、被写体データ生成部６３は、被写体データを被写体データ処理部８０のデータ選定手段８１に出力する。

色領域追跡データ記憶手段６４は、被写体解析部６１による画像の解析に必要となる種々のデータを記憶するもので、半導体メモリ、ハードディスク等の一般的な記録媒体である。色領域追跡データ記憶手段６４は、被写体解析部６１によって取得した色ヒストグラムを記憶し、被写体解析部６１によって、解析する画像から人物の顔（頭部）の領域を検出する際に参照されて用いられる。

頭部検出手段７０（被写体位置検出手段）は、背景差分を用いた頭部検出手法により、カメラ２から入力される撮像画像から人物の顔（頭部）を検出し、被写体データを生成するものである。この頭部検出手段７０は、被写体解析部７１、信頼度値算出部７２、被写体データ生成部７３および頭部検出データ記憶手段７４とを備えている。

被写体解析部７１は、カメラ２から入力される撮像画像について人物の顔を解析する解析範囲を設定し、その解析範囲内の画像を、背景差分を用いた頭部検出手法により解析して人物の顔（頭部）を検出するものである。この被写体解析部７１は、解析範囲設定部７１ａと、解析実行部７１ｂとを備えている。

解析範囲設定部７１ａは、顔検出手段５０の解析範囲設定部５１ａと同様の方法で、被写体データ処理部８０から入力された選定データに基づいて、カメラ２から入力される撮像画像の解析範囲を設定するものである。そして、設定した解析範囲内の画像を解析実行部７１ｂに出力する。

解析実行部７１ｂは、解析範囲設定部７１ａから入力された画像について解析し、人物の頭部の検出を行うものである。解析実行部７１ｂは、背景差分を用いた頭部検出手法により画像から人物の頭部の検出を行う。

ここで、図４を参照（適宜図１参照）して、背景差分を用いた頭部検出手法によって被写体を検出する手法について説明する。図４は、背景差分を用いた頭部検出手法によって撮像画像から被写体を検出する例を説明するための説明図である。

解析実行部７１ｂは、まず、最初に入力された、人物が撮像された撮像画像と、頭部検出データ記憶手段７４に予め記憶された背景画像との差分画像を解析することで、人物の画像のみを抽出する。具体的には、図４（ａ）に示すように、人物が撮像された撮像画像ｔ１と、予め記憶されている背景画像ｔ２との差分画像ｔ３を解析する。そしてその上部の形状、つまり人物の頭部の形状を取得し、頭部テンプレートｔ４として頭部検出データ記憶手段７４に記憶する。

そして、その後新たに入力される撮像画像の解析範囲内の画像から背景差分を解析し、差分画像と頭部テンプレートとが一致する領域を解析する。例えば、図４（ｂ）に示すように、解析実行部７１ｂには解析範囲設定部７１ａによって撮像画像ｔ５内に設定された解析範囲の画像が入力されると、解析実行部７１ｂは入力された解析範囲の画像と背景画像との差分画像ｔ６を抽出する。そして、解析実行部７１ｂは、解析範囲の差分画像ｔ６と頭部テンプレートｔ４とを照合し、上部の形状が類似する領域を解析する。つまり、抽出された差分画像ｔ６の上部の形状とテンプレートの頭部の形状との差を算出し、この値が予め定めたしきい値よりも小さければ、その領域を頭部の画像と判断する。

そして、解析実行部７１ｂは、この頭部の領域に基づいて、顔と頭部の画像の領域を設定し、撮像画像全体におけるこの領域の中心座標（被写体位置情報）と、幅と高さ（被写体大きさ情報）とを算出する。また、この領域の上部の形状と頭部テンプレートとの差の値と、解析結果である被写体位置情報および被写体大きさ情報を信頼度値算出部７２に出力する。

図１に戻って説明を続ける。信頼度値算出部７２は、解析実行部７１ｂから入力した頭部の形状の差の値に基づいて、解析結果の信頼度値を算出するものである。そして、信頼度値算出部７２は、被写体位置情報、被写体大きさ情報および信頼度値を被写体データ生成部７３に出力する。ここでは、この信頼度値は、顔検出手段５０の信頼度値算出部５２および色領域追跡手段６０の信頼度値算出部６２よって算出される、それぞれの解析結果に対する信頼度値と、解析結果の信頼度を示す基準が同一になるように算出する。

被写体データ生成部７３は、信頼度値算出部７２から入力された情報に基づいて被写体データを生成するものである。被写体データには、被写体解析部ＩＤ、被写体位置情報、被写体大きさ情報および信頼度値が含まれている。そして、被写体データ生成部７３は、被写体データを被写体データ処理部８０のデータ選定手段８１に出力する。

頭部検出データ記憶手段７４は、被写体解析部７１による画像の解析に必要となる種々のデータを記憶するもので、半導体メモリ、ハードディスク等の一般的な記録媒体である。頭部検出データ記憶手段７４は、被写体解析部７１によって取得した頭部の形状を頭部テンプレートとして記憶し、被写体解析部７１によって、解析する画像から人物の頭部（顔）の領域を検出する際に参照されて用いられる。

被写体データ処理部８０は、顔検出手段５０、色領域追跡手段６０および頭部検出手段７０から入力された被写体データから、撮像画像内の被写体ごとに１つの被写体データを選定し、選定したデータを平滑化して、選定データを生成するものである。この被写体データ処理部８０は、データ選定手段８１、データ補正部８２、選定データ生成部８３および重み係数記憶手段８４とを備えている。

データ選定手段８１は、顔検出手段５０の被写体データ生成部５３、色領域追跡手段６０の被写体データ生成部６３および頭部検出手段７０の被写体データ生成部７３から入力された被写体データから、その信頼度値と重み係数とに基づいて撮像画像内の被写体ごとに１つの被写体データを選定するものである。重み係数とは、それぞれの被写体位置検出手段の解析結果の信頼度値に重み付けをするため係数で、被写体解析部ＩＤに対応させて予め重み係数記憶手段８４に記憶されている。データ選定手段８１は、被写体解析部ＩＤに対応する重み係数を取得し、この重み係数に基づいて信頼度値を重み付けする。そしてその重み付けした信頼度値に基づいて１つの被写体データを選定する。そして、この選定した被写体データをデータ補正部８２に出力する。

ここで、図５を参照（適宜図１参照）して、データ選定手段８１が信頼度値に重み付けをする手法について具体的に説明する。図５は、顔検出手段から入力された被写体データから、信頼度値に重み付けする例を説明するための説明図である。

図５では、データ選定手段８１に、顔検出手段５０の被写体データ生成部５３で生成された被写体データＤ１が入力されている。ここで、データ選定手段８１は、被写体データＤ１の解析を行い、被写体解析部ＩＤ、被写体位置情報、被写体大きさ情報、信頼度値を認識する。具体的には、図５（ａ）に示すように、被写体データ生成部５３から被写体データＤ１として“ｑｍｏｐ，１，１２３，２２１，２３，２３，０．８７”が入力された場合に、データ選定手段８１は、図５（ｂ）に示すように、被写体データＤ１から、被写体解析部ＩＤとして“１”を、被写体位置情報（ｘ，ｙ）として“１２３，２２１”を、被写体大きさ情報（ｗ，ｈ）として“２３，２３”を、信頼度値として“０．８７”を認識する。ここで、“ｑｍｏｐ”は、被写体データであることを識別するための識別コマンドである。

そして、データ選定手段８１は、重み係数記憶手段８４から、認識した被写体解析部ＩＤに対応する重み係数を取得する。例えば、重み係数記憶手段８４に、被写体解析部ＩＤ“１”（ＩＤ１）に対応する重み係数“１．０５”（ｗ１）が予め記憶されているとする。そこで、図５（ｃ）に示すように、データ選定手段８１は、重み係数記憶手段８４から重み係数として“１．０５”を取得する。

そして、データ選定手段８１は、信頼度値の重み付けを行う。具体的には、図５（ｄ）に示すように、被写体データＤ１から認識した信頼度値“０．８７”と、重み係数“１．０５”との積“０．９１３５”を、重み付けした信頼度値ｂ１とする。

同様に、色領域追跡手段６０の被写体データ生成部６３から入力された被写体データと、頭部検出手段７０の被写体データ生成部７３から入力された被写体データについても、それぞれ被写体解析部ＩＤ、被写体位置情報、被写体大きさ情報、信頼度値を認識し、重み係数記憶手段８４から、認識した被写体解析部ＩＤに対応する重み係数を取得し、信頼度値の重み付けを行う。

そして、各被写体データの重み付けした信頼度値を比較して、重み付けした信頼度値の値が最も大きい被写体データを選定する。例えば、被写体データ生成部５３、６３、７３から入力された３つの被写体データの重み付けした信頼度値の中で、被写体データ生成部５３から入力された被写体データＤ１の重み付けした信頼度値ｂ１が最も大きい値であるとすると、データ選定手段８１は、被写体データＤ１を選定し、この選定した被写体データＤ１をデータ補正部８２に出力する。

図１に戻って説明を続ける。データ補正部８２は、データ選定手段８１から入力された、選定された被写体データに対して平滑化の処理を行うものである。データ補正部８２は、これまでにデータ選定手段８１が選定した被写体データを記憶しておき、それに基づいて新たに入力された被写体データの平滑化を行う。そして、平滑化した被写体データを選定データ生成部８３に出力する。

選定データ生成部８３は、データ補正部８２から入力された、平滑化された被写体データから、選定データを生成するものである。この選定データは、被写体位置情報と被写体大きさ情報とを含み、選定データ生成部８３は、この選定データを各被写体位置検出手段（顔検出手段５０、色領域追跡手段６０および頭部検出手段７０）の解析範囲設定部５１ａ、６１ａおよび７１ａに出力する。また、この選定データを出力手段９０に出力する。

例えば、データ補正部８２から入力された、平滑化された被写体データに、被写体解析部ＩＤとして“１”と、被写体位置情報（ｘ，ｙ）として“１２３，２２１”と、被写体大きさ情報（ｗ，ｈ）として“２３，２３”と、信頼度値として“０．８７”とが含まれている場合に、選定データ生成部８３は、被写体位置情報（ｘ，ｙ）として“１２３，２２１”と、被写体大きさ情報（ｗ，ｈ）として“２３，２３”とを含む選定データを生成する。

重み係数記憶手段８４は、信頼度値に重み付けをするための重み係数を被写体解析部ＩＤに対応させて記憶するもので、半導体メモリ、ハードディスク等の一般的な記録媒体である。重み係数記憶手段８４は、データ選定手段８１によって、信頼度値に重み付けする際に参照されて用いられる。

出力手段９０は、選定データ生成部８３から入力された選定データを、被写体の検出結果として外部へ出力するものである。

以上、本発明に係る被写体検出装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、被写体検出手法には、顔検出手法、色領域追跡手法および背景差分を用いた頭部検出手法を適用したが、これらの手法に付加して、あるいは置き換えて、他の被写体検出手法を適用しても良い。また、検出する被写体は人物の顔に限定されることはなく、例えば車などを検出するものとしても良い。そして、目的とする被写体に合わせた被写体検出手法を適宜選択して適用しても良い。さらに、被写体検出手法に基づいて、信頼度値の算出方法も適宜変更しても良い。また、本実施の形態では、被写体検出装置１は、被写体位置検出手段を３つ備えるものであるが、異なる被写体検出手法によって処理を行う被写体位置検出手段を、２つ以上備える構成であれば良い。

さらに、本発明に係る被写体検出装置１は、コンピュータ１台に全ての構成を持たせても良く、あるいは、複数の被写体位置検出手段とデータ選定手段とをコンピュータ数台に分けて持たせ、ネットワークを介してデータを移動させ、全体で被写体検出装置１として機能させる構成としても良い。また、顔検出手段５０の顔検出データ記憶手段５４、色領域追跡手段６０の色領域追跡データ記憶手段６４、頭部検出手段７０の頭部検出データ記憶手段７４および被写体データ処理部８０の重み係数記憶手段８４に記憶したデータは、１つの記憶手段に記憶しても良く、あるいは、複数の記憶手段に記憶することとしても良い。

なお、被写体検出装置１の被写体位置検出手段５０，６０，７０は、一般的なコンピュータにプログラム（被写体位置検出プログラム）を実行させ、コンピュータ内の演算装置や記憶装置を動作させることで実現することができる。また、被写体検出装置１のデータ選定手段８１は、一般的なコンピュータにプログラム（被写体データ選定プログラム）を実行させ、コンピュータ内の演算装置や記憶装置を動作させることで実現することができる。この被写体位置検出プログラムと被写体データ選定プログラムは、通信回線を介して配布することもできるし、また、ＣＤ−ＲＯＭ等の記録媒体に記録して配布することも可能である。

［被写体検出装置の動作］
次に、図６を参照（適宜図１参照）して、本発明における被写体検出装置１の動作について説明する。図６は、本発明における被写体検出装置が撮像画像から被写体を検出する動作を示したフローチャートである。

図６を参照（適宜図１参照）して、被写体検出装置１が、入力された撮像画像を複数の被写体位置検出手段（顔検出手段５０、色領域追跡手段６０および頭部検出手段７０）によって解析して被写体を検出し、複数の解析結果から撮像画像内の被写体ごとに１つの検出結果を選定する動作について説明する。

まず、最初に入力された撮像画像から顔検出手段５０が被写体を検出し、それに基づいて、色領域追跡手段６０と頭部検出手段７０とが、それ以降に入力された撮像画像から被写体を解析する際に参照する初期データを取得する動作（ステップＳ１０〜１４）について説明する。なお、最初に入力された撮像画像から被写体を検出する被写体位置検出手段は顔検出手段５０に限定される必要は無く、予め色領域追跡手段６０の色領域追跡データ記憶手段６４、あるいは頭部検出手段７０の頭部検出データ記憶手段７４に被写体のサンプルの画像データを記憶しておき、それに基づいて、色領域追跡手段６０あるいは頭部検出手段７０によって、最初に入力された画像の被写体の検出を行い、それに基づいて、他の被写体位置検出手段が初期データを取得するようにしても良い。また、全ての被写体検出位置手段に、予め被写体のサンプルの画像データを記憶しておき、それに基づいて、後記するステップＳ１５以降の動作と同様に、初めに入力された撮像画像についても、顔検出手段５０、色領域追跡手段６０および頭部検出手段７０によって被写体の検出を行い、３つの被写体データから１つの被写体データを選定する構成としても良い。

被写体検出装置１は、カメラ２から撮像画像を入力する（ステップＳ１０）。そして、顔検出手段５０の解析範囲設定部５１ａは、解析範囲をカメラ２から入力した撮像画像の全範囲に設定する。さらに、解析実行部５１ｂは、全範囲の撮像画像について解析し、被写体の位置と大きさの検出を行う（ステップＳ１１）。

さらに、顔検出手段５０の信頼度値算出部５２は、ステップＳ１１で解析した解析結果の信頼度値を算出し（ステップＳ１２）、被写体データ生成部５３は、被写体解析部を識別する被写体解析部ＩＤと、ステップＳ１２で算出した信頼度値と、ステップＳ１１で解析した解析結果である、被写体の位置を表す被写体位置情報と被写体の大きさを表す被写体大きさ情報とを含む被写体データを生成する（ステップＳ１３）。そして、被写体データ処理部８０の選定データ生成部８３は、この被写体データから被写体位置情報と被写体大きさ情報とを含む選定データを生成する。

そして、色領域追跡手段６０の被写体解析部６１と、頭部検出手段７０の被写体解析部７１は、入力された選定データの被写体位置情報と被写体大きさ情報とに基づいて、ステップＳ１０で入力された撮像画像から、初期データとして、被写体解析部６１は被写体（人物の顔）の存在する領域の色ヒストグラムを取得し、被写体解析部７１は人物の頭部の形状を取得する（ステップＳ１４）。つまり、色領域追跡手段６０の解析範囲設定部６１ａは、選定データの被写体位置情報と被写体大きさ情報とに基づいて、ステップＳ１０で入力された撮像画像内の被写体（人物の顔）の存在する領域を特定する。そして、解析実行部６１ｂは、その領域の色ヒストグラムを取得して、色領域追跡データ記憶手段６４に記憶する。同様に、頭部検出手段７０の解析範囲設定部７１ａは、選定データの被写体位置情報と被写体大きさ情報とに基づいて、ステップＳ１０で入力された撮像画像内の被写体（人物の顔）の存在する領域を特定する。そして、解析実行部７１ｂは、その領域の画像と頭部検出データ記憶手段７４に予め記憶された背景画像との差分画像を解析し、その領域内の人物の画像のみを抽出する。そして、その領域内の被写体の上部の形状、つまり人物の頭部の形状を取得し、頭部テンプレートとして頭部検出データ記憶手段７４に記憶する。この初期データは、後記するステップＳ１７で、色領域追跡手段６０の被写体解析部６１と、頭部検出手段７０の被写体解析部７１によって、被写体の位置と大きさの解析をする際に参照される。以上で、最初に入力された撮像画像から被写体を検出して、色領域追跡手段６０と頭部検出手段７０とが初期データを取得する動作は終了する。

次に、初期データの取得後に、入力された撮像画像から被写体を検出する動作（ステップＳ１５〜２４）について説明する。初期データの取得後に入力された撮像画像については、顔検出手段５０、色領域追跡手段６０および頭部検出手段７０によって同時に被写体の検出を行い、ここで生成された３つの被写体データから１つの被写体データを選定し、検出結果として出力する。

被写体検出装置１は、カメラ２から次の新たな撮像画像を入力する（ステップＳ１５）。そして、顔検出手段５０の解析範囲設定部５１ａ、色領域追跡手段６０の解析範囲設定部６１ａおよび頭部検出手段７０の解析範囲設定部７１ａは、前の撮像画像の選定データに基づいて、ステップＳ１５でカメラ２から入力した撮像画像の解析範囲を設定する（ステップＳ１６）。さらに、顔検出手段５０の解析実行部５１ｂ、色領域追跡手段６０の解析実行部６１ｂおよび頭部検出手段７０の解析実行部７１ｂは、ステップＳ１６で設定した解析範囲の画像について、それぞれ顔解析手法、色領域追跡手法および背景差分を用いた頭部検出手法によって解析し、被写体の位置と大きさの検出を行う（ステップＳ１７、被写体解析ステップ）。

さらに、顔検出手段５０の信頼度値算出部５２、色領域追跡手段６０の信頼度値算出部６２および頭部検出手段７０の信頼度値算出部７２は、ステップＳ１７で各々の被写体位置検出手段で解析した解析結果について信頼度値を算出し（ステップＳ１８、信頼度値算出ステップ）、顔検出手段５０の被写体データ生成部５３、色領域追跡手段６０の被写体データ生成部６３および頭部検出手段７０の被写体データ生成部７３は、被写体解析部を識別する被写体解析部ＩＤと、ステップＳ１８で算出した信頼度値と、ステップＳ１７で解析した被写体位置情報と被写体大きさ情報とを含む被写体データを、それぞれの被写体位置検出手段で生成する（ステップＳ１９、被写体データ生成ステップ）。

そして、被写体データ処理部８０のデータ選定手段８１は、顔検出手段５０の被写体データ生成部５３、色領域追跡手段６０の被写体データ生成部６３および頭部検出手段７０の被写体データ生成部７３で生成した、被写体データの被写体解析部ＩＤに対応した重み係数を、重み係数記憶手段８４から取得して、信頼度値の重み付けを行い、重み付けした信頼度値の最も大きい被写体データを選定する（ステップＳ２０、データ選定ステップ）。さらに、データ補正部８２は、これまでにデータ選定手段８１が選定した被写体データを記憶しておき、それに基づいてステップＳ２０で選定した被写体データの平滑化を行う（ステップＳ２１）。

そして、選定データ生成部８３はステップＳ２１で平滑化した被写体データから、被写体位置情報と被写体大きさ情報とを含む選定データを生成する（ステップＳ２２）。さらに、出力手段９０は選定データを被写体の検出結果として外部に出力する（ステップＳ２３）。

そして、カメラ２からの新たな撮像画像の入力がある場合（ステップＳ２４でＹｅｓ）は、ステップＳ１５に戻り、撮像画像を入力する動作以降の操作を行う。一方、カメラ２からの新たな撮像画像の入力がない場合（ステップＳ２４でＮｏ）は、動作を終了する。

以上の動作によって、被写体検出装置１は、入力した撮像画像から、複数の被写体位置検出手段によって被写体の検出を行うことができる。そして、各々の被写体位置検出手段での解析結果の信頼度値を算出して被写体データを生成し、その信頼度値に重み付けし、この重み付けした信頼度値の基づいて、撮像画像内の被写体ごとに１つの被写体データを選定することができる。そのため、例えば、１つの被写体位置検出手段で誤検出をした場合においても、複数の被写体位置検出手段によって解析した複数の解析結果から精度の高い解析結果を選定することで、常に精度の高い解析結果を得ることができる。さらに、被写体検出装置１は、被写体データ処理部８０で生成した選定データに基づいて、カメラ２から入力された新たな撮像画像の解析範囲を設定し、その解析範囲内の画像から被写体の検出を行うことができる。そのため、移動する被写体を連続して撮像した画像から被写体の検出を行う場合に、撮像画像の解析範囲を限定して、被写体が高い確率で存在する範囲の画像について解析することができると同時に、解析実行部５１ｂ、６１ｂ、７１ｂによって解析するデータ量を少なくすることができ、被写体の検出を高速で、かつ高精度に行うことが可能になる。

本発明における被写体検出装置の構成を示したブロック図である。 顔検出手法によって撮像画像から被写体を検出する例を説明するための説明図である。 色領域追跡手法によって撮像画像から被写体を検出する例を説明するための説明図である。 背景差分を用いた頭部検出手法によって撮像画像から被写体を検出する例を説明するための説明図である。 被写体データから、信頼度値に重み付けする例を説明するための説明図である。 本発明における被写体検出装置が撮像画像から被写体の位置を検出する動作を示したフローチャートである。

符号の説明

１ 被写体検出装置
５０ 顔検出手段（被写体位置検出手段、被写体位置検出装置）
６０ 色領域追跡手段（被写体位置検出手段、被写体位置検出装置）
７０ 頭部検出手段（被写体位置検出手段、被写体位置検出装置）
５１、６１、７１ 被写体解析部（被写体解析手段）
５２、６２、７２ 信頼度値算出部（信頼度値算出手段）
５３、６３、７３ 被写体データ生成部（被写体データ生成手段）
８１ データ選定手段（データ選定装置）
８４ 重み係数記憶手段

Claims (7)

1. 撮像画像から被写体を検出する被写体検出装置であって、
   前記撮像画像内における前記被写体の位置を解析し、被写体位置情報とする被写体解析手段と、
   この被写体解析手段により解析された解析結果に対する信頼度を表す信頼度値を算出する信頼度値算出手段と、
   この信頼度値算出手段で算出された信頼度値、および前記解析結果である被写体位置情報を含む被写体データを生成する被写体データ生成手段と、
   を有する被写体位置検出手段を複数備えるとともに、
   前記信頼度値に基づいて、複数の前記被写体データから前記撮像画像内の被写体ごとに１つの被写体データを選定するデータ選定手段を備えることを特徴とする被写体検出装置。
2. 前記被写体解析手段は、前記データ選定手段により選定された被写体データの被写体位置情報に基づいて、新たに入力された撮像画像の解析範囲を限定して前記被写体の位置を解析することを特徴とする請求項１に記載の被写体検出装置。
3. 前記被写体解析手段は、前記撮像画像内における前記被写体の位置における当該被写体の大きさをさらに解析し、
   前記被写体データ生成手段は、前記被写体解析手段で解析された前記解析結果であり、前記被写体の大きさを表す被写体大きさ情報をさらに含む被写体データを生成することを特徴とする請求項１または請求項２に記載の被写体検出装置。
4. 前記被写体データ生成手段は、前記被写体解析手段を識別する被写体解析手段ＩＤをさらに含む被写体データを生成し、
   前記信頼度値の重要度を表す重み係数を、前記被写体解析手段ＩＤに対応させて予め記憶する重み係数記憶手段を備え、
   前記データ選定手段が、前記被写体解析手段ＩＤに対応する前記重み係数と前記信頼度値とに基づいて、複数の前記被写体データから前記撮像画像内の被写体ごとに１つの被写体データを選定することを特徴とする請求項１から請求項３のいずれか１項に記載の被写体検出装置。
5. 撮像画像内における被写体の位置を解析して、この解析結果を含む被写体データを生成する、複数の被写体位置検出装置と、複数の被写体データから撮像画像内の被写体ごとに１つの被写体データを選定するデータ選定装置とを用いて、撮像画像から被写体を検出する被写体検出方法であって、
   前記複数の被写体位置検出装置において、
   前記撮像画像内における前記被写体の位置を解析する被写体解析ステップと、
   この被写体解析ステップで解析された解析結果に対する信頼度を表す信頼度値を算出する信頼度値算出ステップと、
   この信頼度値算出ステップで算出された信頼度値、および前記解析結果である被写体位置情報を含む被写体データを生成する被写体データ生成ステップとを含み、
   前記データ選定装置において、
   前記信頼度値に基づいて、複数の前記被写体データから前記撮像画像内の被写体ごとに１つの被写体データを選定するデータ選定ステップを含むことを特徴とする被写体検出方法。
6. 撮像画像内における被写体の位置を解析して被写体位置情報とし、この解析結果に対する信頼度を表す信頼度値を算出して、前記信頼度値と、前記被写体位置情報とを含む被写体データを生成する、複数の被写体位置検出装置から、複数の前記被写体データを入力し、複数の前記被写体データから１つの被写体データを選定するために、コンピュータを、
   前記信頼度値に基づいて、複数の前記被写体データから前記撮像画像内の被写体ごとに１つの被写体データを選定するデータ選定手段として機能させることを特徴とする被写体データ選定プログラム。
7. 撮像画像内における被写体の位置を表す被写体位置情報と、前記被写体位置情報の信頼度を表す信頼度値とを含む、複数の被写体データから撮像画像内の被写体ごとに１つの被写体データを選定するデータ選定装置から、選定された被写体データの前記被写体位置情報を入力し、前記被写体位置情報に基づいて、新たに入力された撮像画像の解析範囲を限定して被写体の位置を解析するために、コンピュータを、
   前記被写体位置情報に基づいて、新たに入力された撮像画像の解析範囲を限定して被写体の位置を解析する被写体解析手段、
   この被写体解析手段により解析された解析結果の信頼度値を算出する信頼度値算出手段、
   前記信頼度値と、前記解析結果である被写体位置情報とを含む被写体データを生成する被写体データ生成手段として機能させることを特徴とする被写体位置検出プログラム。

Images