JP6555940B2 - 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、逐次供給される画像に含まれる被写体を追跡する画像処理装置に関する。

近年、時系列的に逐次供給される画像から特定の被写体を抽出し、その抽出した被写体を追跡する技術が非常に有用であり、例えば、動画像における人間の顔領域や人体領域の特定に利用されている。このような技術は、例えば、通信会議、マン・マシン・インターフェース、セキュリティ、任意の被写体を追跡するためのモニタ・システム、画像圧縮等の多くの分野で使用することができる。

また、デジタルスチルカメラやデジタルビデオカメラ等において、撮像画像に含まれる任意の被写体を抽出および追跡して、かかる被写体に対する焦点状態や露出状態を最適化する技術が知られている（特許文献１乃至３参照）。

例えば、特許文献１には、撮像画像に含まれる顔の位置を検出（抽出）および追跡し、その顔に対して、焦点を合わせると共に最適な露出で撮像する撮像装置が開示されている。検出された顔を追跡することにより、時系列に対して安定的な制御が可能になる。

また、特許文献２には、テンプレートマッチングを利用して自動で特定の被写体を追跡するようにした技術が開示されている。なお、テンプレートマッチングとは、追跡対象となる特定の被写体を含む画像領域を切り出した部分画像をテンプレート画像として登録し、テンプレート画像と最も類似度が高い又は相違度が低い領域を画像内において推定し、特定の被写体を追跡する技術である。

特許文献３には、テンプレートマッチングに対して、ヒストグラムマッチングという、マッチングの特徴量に画像データそのものではなくヒストグラムを利用する技術が開示されている。これは、被写体を示す情報を画像データからヒストグラムに変換して登録し、登録したヒストグラムと最も類似するヒストグラムに変換できる領域を画像内において推定し、特定の被写体を追跡する技術である。

特開２００５−３１８５５４号公報 特開２００１−０６０２６９号公報 特開２００４−３４８２７３号公報

しかしながら、テンプレートマッチングでは、画像データのパターンを特徴量として用いるため、類似対象との区分には強い一方で、見えの変化に弱い。これに対し、ヒストグラムマッチングでは、被写体を示す情報を画像データからヒストグラムに変換することで、曖昧性を持たせ、被写体の姿勢変動などの見えの変化にロバストな被写体追跡が実現できるが、類似対象との区分に弱い。さらに、ヒストグラムマッチングとテンプレートマッチングは互いの特性が異なるため、単にヒストグラムマッチングとテンプレートマッチングを併用することは難しい。

本発明は、上記課題を鑑みて、ヒストグラムマッチングとテンプレートマッチングを併用するとともに、被写体追跡の性能を向上させることができる画像処理装置を提供することを目的とする。

上記の課題を解決するために、本発明に係る被写体追跡装置は、逐次入力される画像に含まれる被写体を追跡する被写体追跡装置であって、供給される画像のうちの１つの画像における前記被写体を示す部分領域をテンプレートとして登録する第１の登録手段と、前記第１の登録手段により登録されたテンプレートを用いて、新たに供給された画像における部分領域と照合することによって、被写体領域を推定する第１のマッチング手段と、前記供給される画像のうちの１つの画像における前記被写体を示す部分領域の画素値に基づいてヒストグラムを作成し、作成されたヒストグラムを登録する第２の登録手段と、前記第２の登録手段により登録されたヒストグラムを用いて、前記新たに供給された画像における部分領域のヒストグラムと照合することによって、前記被写体領域を推定する第２のマッチング手段と、前記第１のマッチング手段および前記第２のマッチング手段による推定結果に基づいて、追跡領域を決定する追跡領域決定手段とを備え、前記第２の登録手段は、前記第１の登録手段がテンプレートとして登録する部分領域よりも広い部分領域の画素値に基づいて、前記ヒストグラムを作成することを特徴とする。

本発明によれば、ヒストグラムマッチングとテンプレートマッチングを併用するとともに、被写体領域を精度良く推定することができ、被写体追跡の性能を向上させることができる画像処理装置を提供することができる。

撮像装置の概略構成を示すブロック図である。 被写体追跡回路の構成を示すブロック図である。 テンプレートマッチングを説明するための図である。 ヒストグラムマッチングを説明するための図である。 被写体追跡のフレームワークを示す図である。 被写体追跡処理を示すフローチャートである。 図６に示す被写体領域決定処理を示すフローチャートである。 ヒストグラム取得領域の最適化処理の流れを示すフローチャートである。

以下、本発明を実施するための最良の形態について図面などを参照して説明する。本発明は、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に適用可能である。

図１は、実施形態に係る撮像装置１００の概略構成を示すブロック図である。本実施形態では、撮像装置１００は、被写体の画像を撮像するデジタルカメラとして具現化される。また、撮像装置１００は、時系列的に逐次供給（逐次入力）される画像に含まれる被写体を追跡する被写体追跡装置としても機能する。

撮像装置１００は、撮像光学系１０１と、撮像素子１０２と、アナログ信号処理回路１０３と、Ａ／Ｄ変換器１０４と、制御回路１０５と、画像処理回路１０６と、表示器１０７と、記録媒体１０８と、被写体追跡回路１０９とを備える。

被写体の像を表す光は、撮像光学系１０１によって集光され、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等で構成された撮像素子１０２に入射する。撮像素子１０２は、入射する光の強度に応じた電気信号を画素単位で出力する。すなわち、撮像光学系１０１によって形成された被写体の像を光電変換する。撮像素子１０２から出力される電気信号は、撮像素子１０２で撮像された被写体の像を示すアナログの画像信号である。

撮像素子１０２から出力された映像信号は、アナログ信号処理回路１０３で相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。アナログ信号処理回路１０３から出力された映像信号は、Ａ／Ｄ変換器１０４でデジタルデータの形式に変換され、制御回路１０５および画像処理回路１０６に入力される。

制御回路１０５は、ＣＰＵやマイクロコントローラ等で構成され、撮像装置１００の動作を中央制御する。制御回路１０５は、撮像素子１０２で撮像する際の焦点状況や露出状況等の撮像条件を制御する。具体的には、制御回路１０５は、Ａ／Ｄ変換器１０４から出力された映像信号に基づいて、撮像光学系１０１の焦点制御機構や露出制御機構（いずれも不図示）を制御する。例えば、焦点制御機構は、撮像光学系１０１に含まれるレンズを光軸方向へ駆動させるアクチュエータ等であり、露出制御機構は、絞りやシャッタを駆動させるアクチュエータ等である。また、制御回路１０５は、撮像素子１０２の出力タイミングや出力画素等、撮像素子１０２の読み出し制御を行う。制御回路１０５は、ＲＯＭに記憶されたプログラムコードをＲＡＭの作業領域に展開して順次実行することで、撮像装置１００の各部を制御する。

画像処理回路１０６は、Ａ／Ｄ変換器１０４から出力された映像信号に対して、ガンマ補正、ホワイトバランス処理等の画像処理を行う。また、画像処理回路１０６は、通常の画像処理に加え、後述する被写体追跡回路１０９から供給される画像中の被写体領域に関する情報を用いた画像処理を行う機能も有する。

画像処理回路１０６から出力された映像信号は、表示器１０７に送られる。表示器１０７は、例えば、ＬＣＤや有機ＥＬディスプレイで構成され、映像信号を表示する。撮像素子１０２で時系列的に逐次撮像した画像を表示器１０７に逐次表示させることで、表示器１０７は、電子ビューファインダ（ＥＶＦ）として機能する。また、表示器１０７は、被写体追跡回路１０９によって追跡している被写体を含む被写体領域を矩形等で表示する。

また、画像処理回路１０６から出力された映像信号は、記録媒体１０８（例えば、着脱可能なメモリーカード等）に記録される。なお、映像信号の記録先は、撮像装置１００の内蔵メモリであっても、通信インターフェイスにより通信可能に接続された外部装置（不図示）であってもよい。

被写体追跡回路１０９は、画像処理回路１０６から時系列的に逐次供給される（すなわち、撮像された時刻の異なる）画像（画像信号）に含まれる被写体を追跡する。被写体追跡回路１０９は、被写体の画素パターンやヒストグラムに基づき、逐次供給される画像から被写体領域を推定する。被写体追跡回路１０９の詳細については後述する。

制御回路１０５は、上述の焦点制御機構や露出制御機構の制御に、被写体追跡回路１０９から供給された被写体領域の情報を用いることができる。具体的には、被写体領域のコントラスト値を用いた焦点制御や、被写体領域の輝度値を用いた露出制御を行う。これにより、撮像装置１００では、撮像画像における特定の被写体領域を考慮した撮像処理を行うことができる。

ここで、被写体追跡回路１０９に関して詳細を説明する。被写体追跡回路１０９は、２種のマッチング手段として機能する。１つは、目的とする被写体を示す部分画像をテンプレートとして、供給された画像の部分領域と照合し、照合する部分領域を変化させて、類似度が高い又は相違度が低い領域を推定するマッチング手段である（以下、テンプレートマッチングと呼ぶ）。もう１つは、目的とする被写体を示す部分画像のヒストグラムを、供給された画像の部分領域のヒストグラムと照合し、照合する部分領域を変化させ、類似度が高い又は相違度が低い領域を推定するマッチング手段である（以下、ヒストグラムマッチングと呼ぶ）。そして、各々の推定結果におけるマッチング評価値に基づいて被写体領域が決定される。本実施形態に係る被写体追跡では、各マッチング手段の特性に応じて、追跡のための特徴量を取得する領域や更新頻度を変えることで高精度な追跡を行う。

図２は、被写体追跡回路１０９のブロック図である。被写体追跡回路１０９は、被写体検出回路２０１、テンプレート登録回路２０２、テンプレートマッチング回路２０３、ヒストグラム登録回路２０４、ヒストグラムマッチング回路２０５、追跡処理制御回路２０６により構成される。被写体検出回路２０１から追跡処理制御回路２０６の各ブロック（回路）は、バスによって接続され、データのやり取りができる。

被写体検出回路（被写体検出手段）２０１は、供給される画像から目的とする所定の被写体を検出し、追跡対象を特定する。目的とする被写体としては、例えば、人物の顔などが代表的である。この場合、被写体検出回路２０１は、被写体領域として人物の顔領域を特定し、その人物の顔領域を追跡対象とする。被写体検出回路２０１における被写体の検出方法では、例えば、検出対象が人物の顔である場合、公知の顔検出方法を用いてもよい。顔検出の公知技術として、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。また、顔検出では、認識率向上のためにこれらを組み合わせて顔認識を行うのが一般的である。例えば、ウェーブレット変換と画像特徴量を利用して顔検出する方法である。

テンプレート登録回路（第１の登録手段）２０２は、目的とする被写体を示す部分画像を被写体の特徴を表現するモデルであるテンプレートとして登録する。テンプレートマッチング回路（第１のマッチング手段）２０３では、テンプレート登録回路２０２により登録されたテンプレートと、供給された画像の部分領域と照合し、照合する部分領域を変化させて、類似度が高いまたは相違度が低い領域を推定する。

ヒストグラム登録回路（第２の登録手段）２０４は、目的とする被写体を示す部分画像のヒストグラムを被写体の特徴を表現するモデルとして登録する。ヒストグラムマッチング回路（第２のマッチング手段）２０５は、供給された画像の部分領域のヒストグラムと照合し、照合する部分領域を変化させて、類似度が高い又は相違度が低い領域を推定する。

追跡処理制御回路（追跡領域決定手段）２０６は、ＣＰＵなどで構成され、被写体追跡処理の制御を行う。被写体検出回路２０１からヒストグラムマッチング回路２０５は、追跡処理制御回路２０６を介して処理が実行される。追跡処理制御回路２０６では、テンプレートマッチング回路２０３およびヒストグラムマッチング回路２０５の評価値から被写体領域を決定する。この決定された被写体領域が被写体追跡回路１０９の出力情報となる。

次に、被写体領域を決定する方法について説明する。ヒストグラムマッチングによる推定領域の近傍にテンプレートマッチングによる推定領域があれば、テンプレートマッチングによる推定領域を被写体領域として採用する。ヒストグラムマッチングによる推定領域の近傍にテンプレートマッチングによる推定領域がなければ、ヒストグラムマッチングによる推定領域を被写体領域として採用する。また、追跡処理制御回路２０６は、テンプレート登録回路２０２およびヒストグラム登録回路２０４の特徴量を取得する部分領域の制御や更新タイミングの制御を行う。詳細は後述するが、テンプレート登録回路２０２とヒストグラム登録回路２０４において、マッチングの特性に応じて異なる部分領域の制御や更新タイミングの制御とすることで、高精度な追跡を行う。なお、本実施形態では、追跡処理専用の制御回路を設けたが、追跡処理制御回路２０６は、制御回路１０５に含まれる構成としてもよい。

次に、図３を参照して、テンプレートマッチングの詳細について説明する。図３（Ａ）は、テンプレートマッチングにおける被写体モデル（テンプレート）の一例を示す図である。テンプレート３０１は、追跡対象となる被写体を示す部分画像（テンプレート）であり、この画像の画素パターンを特徴量として扱う。特徴量３０２は、テンプレート３０１における複数領域の各座標の特徴量を表現したものであり、本実施形態では、画素データの輝度信号を特徴量とする。特徴量Ｔ（ｉ，ｊ）は、テンプレート領域内の座標を（ｉ，ｊ）、水平画素数をＷ、垂直画素数をＨとすると、式（１）で表現される。

図３（Ｂ）は、追跡対象を探索する画像の情報を示す図である。画像３０３は、マッチング処理を行う範囲の画像である。探索画像における座標は、（ｘ，ｙ）で表現する。部分領域３０４は、マッチングの評価値を取得するための領域である。特徴量３０５は、部分領域３０４の特徴量を表現したものであり、テンプレート３０１と同様に画像データの輝度信号を特徴量とする。特徴量Ｓ（ｉ，ｊ）は、部分領域内の座標を（ｉ，ｊ）、水平画素数をＷ、垂直画素数をＨとすると、式（２）で表現される。

本実施形態では、テンプレート３０１と部分領域３０４との類似性を評価する演算方法として、差分絶対和、いわゆるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値を用いる。ＳＡＤ値は、式（３）により算出される。

部分領域３０４を探索範囲の画像３０３の左上から順に１画素ずつずらしながら、ＳＡＤ値Ｖ（ｘ，ｙ）を演算する。演算されたＶ（ｘ，ｙ）が最小値を示す座標（ｘ，ｙ）がテンプレート３０１と最も類似した位置を示す。つまり、最小値を示す位置が探索画像において目的とする追跡対象が存在する可能性の高い位置となる。

なお、本実施形態では、特徴量として輝度信号の１次元の情報を用いたが、明度・色相・彩度の信号等の３次元の情報を特徴量として扱ってもよい。また、マッチングの評価値の演算方法としてＳＡＤ値に関して説明したが、正規化相互相関いわゆるＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｏｒｒｅｌａｔｉｏｎ Ｃｏｆｆｉｅｃｉｅｎｔ）等の異なる演算方法を用いても良い。

次に、図４を参照して、ヒストグラムマッチングの詳細について説明する。図４（Ａ）は、ヒストグラムマッチングにおける被写体モデルの一例を示す図である。部分画像４０１は、追跡対象となる被写体を示す部分画像であり、この部分画像４０１の画素データから生成するヒストグラムを特徴量として扱う。特徴量４０２は、部分画像４０１の特徴量を表現したものであり、特徴量４０２は、輝度信号のＭ階調のヒストグラムとすると、式（４）で表現される。

図４（Ｂ）は、追跡対象を探索する画像の情報を示す図である。画像４０３は、マッチング処理を行う範囲の画像である。探索画像における座標は、（ｘ，ｙ）で表現する。部分領域４０４は、マッチングの評価値を取得するための部分領域である。特徴量４０５は、部分領域４０４から生成される特徴量を表現したものであり、特徴量４０５は、部分画像４０１と同様に輝度信号のＭ階調のヒストグラムとすると、式（５）で表現される。

テンプレート３０１のヒストグラムと部分領域４０４のヒストグラムとの類似性を評価する演算方法として、Ｂｈａｔｔａｃｈａｒｙｙａ（バタチャリア）係数を用いる。Ｂｈａｔｔａｃｈａｒｙｙａ係数は、式（６）により算出される。

部分領域４０４を探索範囲４０３の左上から順に１画素ずつずらしながら、Ｂｈａｔｔａｃｈａｒｙｙａ係数Ｄ（ｘ，ｙ）を演算する。演算されたＤ（ｘ，ｙ）が最大値を示す座標（ｘ，ｙ）が部分画像４０１と最も類似した位置を示す。つまり、最大値を示す位置が探索画像において目的とする追跡対象が存在する可能性の高い位置となる。

ここでは、特徴量として輝度信号の１次元の情報を用いる例を示したが、明度・色相・彩度の信号等の３次元の情報を特徴量として扱ってもよい。また、マッチングの評価値の演算方法としてＢｈａｔｔａｃｈａｒｙｙａ係数に関して説明したが、ヒストグラムインタセクション等の異なる演算方法を用いてもよい。

本実施形態に係る撮像装置１００では、テンプレートマッチングおよびヒストグラムマッチングによる評価値、推定領域（推定位置）より被写体領域を決定する。テンプレートマッチングでは、画像データのパターンを特徴量として用いる。しかしながら、類似対象との区分には強い一方で、見えの変化に弱い。一方で、ヒストグラムマッチングは、マッチングの特徴量に画像データそのものではなくヒストグラムを利用する。特徴量に曖昧性を持たせているため、被写体の姿勢変動などの見えの変化に強い一方で、類似対象との区分には弱い。

被写体追跡の方法において、上述した数式のように特徴量の表現方法やその照合（マッチグ）方法に加え、特徴量の取得方法が重要な要素となる。特徴量の取得方法とは、取得領域の大きさ、特徴量の更新頻度を示す。特徴量の取得領域が大きければ、追跡対象と他とを区分するための特徴を取得することができ、類似対象との区分に強くなる。その一方で、時間方向での変化が大きくなりやすく、追跡対象の見えの変化に弱くなる。特徴量の取得領域が小さければ、追跡対象の局所領域のみが対象となるため、時間方向での変化が少なくなりやすく、追跡対象の見えの変化に強くなる。その一方で、追跡対象と他とを区分するための特徴を取得しにくくなり、類似対象との区分に弱くなる。

また、特徴量の更新頻度に関しては、更新頻度が高ければ特徴量の取得タイミングの画像とマッチング処理の画像との時間間隔が小さくなり、追跡対象の変化が小さくなる。つまり、結果として、追跡対象の見えの変化に強くなる。その一方で、例えば追跡処理の度に特徴量を更新すると、被写体追跡の推定誤差を含んでしまう恐れがある。そのため、特徴量の信頼性が低くなってしまう。被写体追跡の推定の信頼性が高い場合のみに、特徴量を更新すれば、特徴量の信頼性は高くなる。しかしながら、特徴量の更新頻度は低くなり、特徴量の取得タイミングの画像とマッチング処理の画像との時間間隔が大きくなり、追跡対象の変化が大きくなる。そのため、追跡対象の見えの変化に弱くなる。ここで、被写体追跡の推定の信頼性が高いとは、例えば被写体検出より追跡対象を検出した場合などが考えられる。

上述した特性を踏まえて、テンプレートマッチングでは、特徴量の取得範囲は狭く、特徴量の更新頻度は高くする。これにより、テンプレートマッチングの見えの変化に弱いデメリットを抑える。ヒストグラムマッチングでは、特徴量の取得範囲は広く、特徴量の更新頻度は低くする。これにより、ヒストグラムマッチングの見えの変化に強いメリットを活かす。

次に、図５において、被写体追跡回路１０９による被写体追跡のフレームワークを示す。画像５０１、５０２、５０３は、被写体追跡回路１０９の入力画像の一例である。画像５０１は、被写体検出回路２０１により追跡対象が検出された画像である。画像５０２は、被写体追跡処理を実施した画像のうち、現在時刻に最も近い画像である。画像５０３は、現在時刻の画像であり、被写体領域を推定する処理を実施する画像である。画像５０１より後で、画像５０２までの期間において、被写体検出回路２０１により追跡対象が検出されなかったものとする。

枠５０５および５０６は、被写体追跡回路１０９による推定領域を示す。領域５０４は、被写体検出回路２０１によって推定された領域であり、被写体としての信頼性（信頼度）が高いといえる。そのため、部分領域５０７に示すように、被写体検出回路２０１によって推定された領域よりも広い範囲から特徴量を取得する。部分領域５０７からヒストグラム５０８を生成し、このヒストグラム５０８をヒストグラム登録回路２０４で登録しておく。テンプレート５０９は、被写体追跡処理の直前結果を示す部分領域であり、この部分領域をテンプレートとしてテンプレート登録回路２０２で登録する。なお、被写体追跡の開始時は、被写体検出回路２０１によって推定された領域を、テンプレートとしてテンプレート登録回路２０２で登録する。

探索範囲５１０は、被写体追跡処理の探索範囲である。探索範囲５１０に対して、ヒストグラムマッチング回路２０５により、ヒストグラム５０８を用いたヒストグラムマッチングが実行される。これに並行して、テンプレートマッチング回路２０３により、テンプレート５０９を用いたテンプレートマッチングが実行される。各々のマッチング結果より、追跡処理制御回路２０６により被写体追跡領域５０６が決定される。図５では、ヒストグラムマッチングの特徴量であるヒストグラム５０８は、テンプレートマッチングの特徴量であるテンプレート５０９よりも特徴量の取得範囲が広く、更新頻度が低いことを示している。すなわち、ヒストグラム登録回路２０４で登録するヒストグラムに対応する部分領域は、テンプレート登録回路２０２が登録するテンプレートに対応する部分領域よりも広い。また、ヒストグラム登録回路２０４登録するヒストグラムの更新頻度は、テンプレート登録回路２０２が登録するテンプレートの更新頻度よりも低い。

次に、図６を参照して、本実施形態における被写体追跡処理について説明する。まず、画像処理回路１０６から被写体追跡回路１０９に画像が供給されると（ステップＳ６０１）、被写体追跡回路１０９は、追跡対象を決定するため被写体検出を行う（ステップＳ６０２）。検出された被写体領域を追跡対象とし、追跡対象となる被写体を示す部分画像に基づいて、ヒストグラムマッチングの被写体モデル（特徴量）であるヒストグラムを登録する（ステップＳ６０３）。また、被写体追跡回路１０９は、追跡対象となる被写体を示す部分画像を、テンプレートマッチングの被写体モデル（特徴量）であるテンプレートとして登録する（ステップＳ６０４）。ここで、図示していないが、ステップＳ６０２において、被写体が検出されなかった場合、処理を終了してもよい。

次に、画像処理回路１０６から被写体追跡回路１０９に画像が供給（入力）される（ステップＳ６０５）。なお、ステップＳ６０５の入力画像は、被写体追跡回路１０９の探索画像に相当する領域の画像を示し、ステップＳ６０１の入力画像とステップＳ６０５の入力画像とは時刻の異なる画像である。次に、ステップＳ６０５の入力画像に基づいて、被写体検出（ステップＳ６０６）が行われる。次に、ヒストグラムマッチング（ステップＳ６０７）が行われ、そして、テンプレートマッチング（ステップＳ６０８）が行われる。次に、被写体検出の結果と、ヒストグラムマッチングとテンプレートマッチングの評価値とその領域情報に基づいて、被写体領域を決定する（ステップＳ６０９）。

ここで、図７を参照して、ステップＳ６０９の被写体領域決定処理に流れについて説明する。まず、被写体追跡回路１０９は、被写体検出により追跡対象が検出された否かを判定する（ステップＳ７０１）。ステップＳ７０１で追跡対象が検出されている場合（ＹＥＳ）、被写体検出による推定領域を被写体領域として採用する（ステップＳ７０２）。一方、追跡対象が検出されていない場合（ＮＯ）、ステップＳ７０３に進み、ヒストグラムマッチングの評価値の信頼性（信頼度）が高いか否か否かを判定する。信頼性判定としては、例えば、式（６）のＢｈａｔｔａｃｈａｒｙｙａ係数Ｄ（ｘ，ｙ）の最大値が所定の閾値以上であれば信頼性が高いと判定し、Ｂｈａｔｔａｃｈａｒｙｙａ係数Ｄ（ｘ，ｙ）の最大値が所定の閾値未満であれば信頼性が低いと判定する。

ステップＳ７０３で、ヒストグラムマッチングの評価値の信頼性が高い場合（ＹＥＳ）、ステップＳ７０４に進み、ヒストグラムマッチングの推定領域の近傍にテンプレートマッチングの推定領域があるか否かを判定する。この判定は、式（６）のＢｈａｔｔａｃｈａｒｙｙａ係数Ｄ（ｘ，ｙ）の最大値の座標（ｘ，ｙ）と式（３）のＳＡＤ値Ｖ（ｘ，ｙ）の最小値の座標（ｘ，ｙ）との距離を算出し、算出した距離が所定範囲であるか否かに基づいて判定する。ステップＳ７０４で、ヒストグラムマッチングの推定距離の近傍にテンプレートマッチングの推定領域がない場合（ＮＯ）、ステップＳ７０６に進み、ヒストグラムマッチングによる推定領域を採用する。すなわち、式（６）のＢｈａｔｔａｃｈａｒｙｙａ係数Ｄ（ｘ，ｙ）の最大値の座標（ｘ，ｙ）を被写体位置として決定する。一方、ヒストグラムマッチングの推定距離の近傍にテンプレートマッチングの推定領域がある場合（ＹＥＳ）、ステップＳ７０７に進み、テンプレートマッチングによる推定領域を採用する。信頼性が高いヒストグラムマッチングの推定領域の近傍に、テンプレートマッチングによる推定領域があるならば、そのテンプレートマッチングによる推定領域も信頼性が高いと考えられる。また、ヒストグラムマッチングよりもテンプレートマッチングのほうが、推定領域の位置精度が高いと考えられるため、この場合はテンプレートマッチングの推定領域を採用する。

一方、ステップＳ７０３で、ヒストグラムマッチングの評価値の信頼性が低い場合（ＮＯ）、ステップＳ７０５に進み、テンプレートマッチングの評価値の信頼性が高いか否かを判定する（ステップＳ７０５）。信頼性判定は、式（３）のＳＡＤ値Ｖ（ｘ，ｙ）の最小値が所定の閾値未満であれば信頼性が高いと判定し、ＳＡＤ値Ｖ（ｘ，ｙ）の最小値が所定の閾値以上であれば信頼性が低いと判定する。

ステップＳ７０５でテンプレートマッチングの評価値の信頼性が高い場合（ＹＥＳ）、ステップＳ７０７に進む。そして、テンプレートマッチングによる推定領域を採用する（ステップＳ７０７）。すなわち、式（３）のＳＡＤ値Ｖ（ｘ，ｙ）の最小値の座標（ｘ，ｙ）を被写体位置として決定する。一方、ステップＳ７０５でテンプレートマッチングの評価値の信頼性が低い場合（ＮＯ）、ステップＳ７０８に進み、テンプレートマッチング、ヒストグラムマッチングの推定領域を共に採用しない。

図６に戻って、ステップＳ６０９で被写体領域が決定されると、被写体追跡回路１０９は、被写体モデル（特徴量）の更新処理を行う。次に、ステップＳ６１０で決定された被写体領域の信頼性が高いか否かを判定する。ステップＳ６１０で信頼性が高い場合（ＹＥＳ）、ヒストグラムの更新を行う（ステップＳ６１１）。一方、ステップＳ６１０で、信頼性が高くない（低い）場合（ＮＯ）、ヒストグラムの更新を行わない。なお、ステップＳ６１０での信頼性の判定方法としては、ステップＳ６０６の被写体検出によって追跡対象が検出されていれば、信頼性が高く、ステップＳ６０６の被写体検出によって追跡対象が検出されてなければ、信頼性が低いとする。つまり、ステップＳ７０２によって、被写体検出による推定領域を被写体領域として採用していれば、信頼性が高く、それ以外であれば信頼性が低いと判定してよい。

次に、被写体追跡回路１０９は、被写体追跡を継続するか否かを判定する（ステップＳ６１２）。この判定は、例えば、ステップＳ７０８のようにテンプレートマッチングやヒストグラムマッチングの推定領域を共に採用しなければ、継続しないと判定する。一方で、ステップＳ７０６、ステップＳ７０７のようにテンプレートマッチング、ヒストグラムマッチングの推定領域のいずれかが採用されれば、追跡を継続する。ステップＳ６１２で、追跡を継続しない場合（ＮＯ）、被写体追跡の処理を終了する。つまり、目的とする追跡の被写体が探索範囲の画像に存在しなくなった場合処理が終了する。一方、ステップＳ６１２で、追跡を継続する場合（ＹＥＳ）、推定した被写体領域に基づきテンプレートを更新する（ステップＳ６１３）。そして、ステップＳ６０５に戻り、逐次供給される画像に基づいて、繰り返し処理が実行される。このように、ヒストグラムマッチングに用いるヒストグラムは、追跡に成功したとしても、被写体領域の信頼性が高いと判断された時しか更新されないのに対して、テンプレートマッチングに用いるテンプレートは、追跡に成功するたびに更新される。

なお、テンプレートマッチングのテンプレートや、ヒストグラムマッチングのヒストグラムの取得領域は、被写体検出や被写体追跡の結果領域に基づいて決定される。また、テンプレートマッチングのテンプレートの大きさは、被写体検出による検出領域相当であるが、ヒストグラムマッチングのヒストグラムの取得領域の大きさは、被写体検出によって検出された領域よりも大きい。ヒストグラムの取得領域の大きさを、被写体検出によって検出された領域に対して単純に拡大した領域とすると、取得領域の中に背景など追跡対象とは異なる領域を含んでしまうことがある。この場合、被写体追跡の精度を低下させてしまう恐れがあるため、ヒストグラムの取得領域の最適化が必要となる。

ここで、ヒストグラムの取得領域の最適化処理では、被写体検出による検出領域に含まれる画素情報であって、被写体の領域外に広がっていない画素情報の分布状況に応じて取得領域を決定する。ここで、図８を参照して、不図示の最適化手段によるヒストグラムの取得領域の最適化の処理の流れを説明する。まず、ヒストグラムを取得する画像情報をクラスタリングする（ステップＳ８０１）。これは、多次元である画像情報を、クラスタリングにより低次元化し、ノイズの影響抑制や、後段処理で情報を扱いやすくするためである。クラスタリングの方法としては、例えば、Ｋ−ｍｅａｎｓなどの一般的な手法を適用してよい。

次に、クラスタリング画像に基づきラベリング処理を行う（ステップＳ８０２）。ラベリング処理では、同じクラスの画素情報であって、位置が連続した（上下または左右で隣り合っている）画素情報に同じラベルを割り当てる。次に、ラベルリング画像に対して、第１の所定領域内に含まれるラベルを有効ラベルとし、第１の所定領域内に含まれないラベルを無効ラベルとする（ステップＳ８０３）。なお、第１の所定領域は、被写体検出による追跡対象の検出領域に基づき決定される。

次に、有効ラベルに対して、第１の所定領域とは異なる第２の所定領域外に含まれない（すなわち、第２の所定領域内）画素を有効ラベルとして、第２の所定領域外に含まれる（すなわち、第２の所定領域外）画素を無効ラベルとする（ステップＳ８０４）。なお、本実施形態では、第２の所定領域は、第１の所定領域よりも広いものとする。次に、有効ラベルの分布状況に基づき領域をフィッティングする（ステップＳ８０５）。領域フィッティングでは、例えば、有効ラベルの画素を多く含み、無効ラベルの画素は多く含まないように矩形の形状を変化させる。

次に、推定された領域が所定の条件を満たすか否かを判定する（ステップＳ８０６）。推定領域が所定の条件を満たしている場合（ＹＥＳ）、推定領域に基づきヒストグラムを更新する（ステップＳ８０７）。推定領域が所定の条件を満たさない場合（ＮＯ）、ヒストグラムは更新されず処理を終了する。例えば、推定領域が所定の閾値より小さい場合、または推定領域が所定の閾値よりも大きい場合は、ヒストグラムは更新されない。つまり、ステップＳ６１０で被写体領域の信頼性が高いと判断され、ステップＳ６１１に進んだ場合であっても、推定領域が所定の条件を満たさない場合にはヒストグラムは更新されない。以上の処理により、ヒストグラムの取得領域の最適化され追跡精度の低下を防ぐことができる。

以上、本実施形態では、ヒストグラムマッチングとテンプレートマッチングを併用するとともに、各マッチングの特性を踏まえて、特徴の取得範囲や更新頻度を最適化することで被写体追跡の性能を向上させることができる画像処理装置を提供することができる。

なお、本実施形態では、撮像装置に被写体追跡装置を適用したが、被写体追跡装置を適用する機器は、撮像装置に限定しない。例えば、外部機器や記録媒体等から供給される画像（再生データ）を表示する表示装置に被写体追跡装置を適用してもよい。なお、表示装置では、再生データを被写体追跡処理のデータとし、被写体追跡処理が行われることとなる。この場合、表示装置におけるマイクロコントローラ等の制御回路は、被写体追跡処理により抽出された被写体の情報（画像中の被写体の位置、大きさ等）に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像中の被写体の位置に枠等の被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合い等の制御を行う。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、機能ごとに、プロセッサーがプログラムを読出すことによって実行されるものと、回路によって実行されるものに分け、これらを組み合わせるようにしてもよい。

また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

２０１ 被写体検出回路
２０２ テンプレート登録回路
２０３ テンプレートマッチング回路
２０４ ヒストグラム登録回路
２０５ ヒストグラムマッチング回路
２０６ 追跡処理制御回路

Claims (13)

1. 逐次入力される画像に含まれる被写体を追跡する被写体追跡装置であって、
   供給される画像のうちの１つの画像における前記被写体を示す部分領域をテンプレートとして登録する第１の登録手段と、
   前記第１の登録手段により登録されたテンプレートを用いて、新たに供給された画像における部分領域と照合することによって、被写体領域を推定する第１のマッチング手段と、
   前記供給される画像のうちの１つの画像における前記被写体を示す部分領域の画素値に基づいてヒストグラムを作成し、作成されたヒストグラムを登録する第２の登録手段と、
   前記第２の登録手段により登録されたヒストグラムを用いて、前記新たに供給された画像における部分領域のヒストグラムと照合することによって、前記被写体領域を推定する第２のマッチング手段と、
   前記第１のマッチング手段および前記第２のマッチング手段による推定結果に基づいて、追跡領域を決定する追跡領域決定手段と
   を備え、
   前記第２の登録手段は、前記第１の登録手段がテンプレートとして登録する部分領域よりも広い部分領域の画素値に基づいて、前記ヒストグラムを作成する
   ことを特徴とする被写体追跡装置。
2. 前記第２の登録手段は、登録するヒストグラムを取得するための部分領域を最適化する最適化手段を備え、
   前記最適化手段は、前記被写体を示す部分領域に含まれる画素情報であって、前記被写体の領域外に広がっていない画素情報の分布状況に応じて前記部分領域を最適化する
   ことを特徴とする請求項１に記載の被写体追跡装置。
3. 前記追跡領域決定手段は、前記第１のマッチング手段および前記第２のマッチング手段による照合の信頼度に応じて前記第１のマッチング手段により推定された被写体領域である第１の領域または前記第２のマッチング手段により推定された被写体領域である第２の領域のいずれかを前記追跡領域として決定する
   ことを特徴とする請求項１または２に記載の被写体追跡装置。
4. 前記追跡領域決定手段は、前記第２のマッチング手段による照合の信頼度が高く、かつ前記第２の領域の近傍に前記第１の領域がない場合、前記第２の領域を前記追跡領域として決定する
   ことを特徴とする請求項３に記載の被写体追跡装置。
5. 前記追跡領域決定手段は、前記第２のマッチング手段による照合の信頼度が高く、かつ前記第２の領域の近傍に前記第１の領域がある場合、前記第１の領域を前記追跡領域として決定する
   ことを特徴とする請求項３に記載の被写体追跡装置。
6. 前記追跡領域決定手段は、前記第２のマッチング手段による照合の信頼度が低く、かつ前記第１のマッチング手段による信頼度が高い場合、前記第１の領域を前記追跡領域として決定する
   ことを特徴とする請求項３〜５のいずれか１項に記載の被写体追跡装置。
7. 前記第２の登録手段は、前記被写体を示す部分領域に含まれる画素の輝度に基づいてヒストグラムを作成する
   ことを特徴とする請求項１〜６のいずれか１項に記載の被写体追跡装置。
8. 前記第２の登録手段は、前記被写体を示す部分領域に含まれる画素の明度、色相、彩度に基づいてヒストグラムを作成する
   ことを特徴とする請求項１〜７のいずれか１項に記載の被写体追跡装置。
9. 前記第１の登録手段および第２の登録手段は、既に登録されたテンプレートとヒストグラムの少なくとも一方を更新可能であり、
   前記第１の登録手段による前記テンプレートの登録の更新は、前記第２の登録手段による前記ヒストグラムの登録の更新よりも更新される頻度が高い
   ことを特徴とする請求項１〜８のいずれか１項に記載の被写体追跡装置。
10. 請求項１〜９のいずれか１項に記載の被写体追跡装置と、
    撮像した画像を前記被写体追跡装置に逐次入力する撮像手段と、
    前記撮像手段が撮像する際の撮像条件を、前記被写体追跡装置が出力する被写体の情報に応じて制御する制御手段と
    を備える
    ことを特徴とする撮像装置。
11. 逐次入力される画像に含まれる被写体を追跡する被写体追跡装置の制御方法であって、
    供給される画像のうちの１つの画像における前記被写体を示す部分領域をテンプレートとして登録する第１の登録工程と、
    前記供給される画像のうちの１つの画像における前記被写体を示す部分領域の画素値に基づいてヒストグラムを作成し、作成されたヒストグラムを登録する第２の登録工程と、
    前記第１の登録工程において登録されたテンプレートを用いて、新たに供給された画像における部分領域と照合することによって、被写体領域を推定する第１のマッチング工程と、
    前記第２の登録工程において登録されたヒストグラムを用いて、前記新たに供給された画像における部分領域のヒストグラムと照合することによって、前記被写体領域を推定する第２のマッチング工程と、
    前記第１のマッチング工程および前記第２のマッチング工程における推定結果に基づいて、追跡領域を決定する追跡領域決定工程と
    を有し、
    前記第２の登録工程では、前記第１の登録工程においてテンプレートとして登録する部分領域よりも広い部分領域の画素値に基づいて、前記ヒストグラムを作成する
    ことを特徴とする被写体追跡装置の制御方法。
12. 逐次入力される画像に含まれる被写体を追跡する被写体追跡装置であって、
    前記入力される画像から追跡対象となる被写体を検出する被写体検出手段と、
    前記検出した追跡対象となる被写体を示す部分領域をテンプレートとして登録する第１の登録手段と、
    前記第１の登録手段により登録されたテンプレートを用いて、前記逐次入力された画像の部分領域の各領域と照合し、類似度が高い第１の領域を推定する第１のマッチング手段と、
    前記検出した追跡対象となる被写体を示す部分領域のヒストグラムを登録する第２の登録手段と、
    前記第２の登録手段により登録されたヒストグラムを用いて、前記逐次入力された画像の部分領域のヒストグラムと照合し、類似度が高い第２の領域を推定する第２のマッチング手段と、
    前記第１のマッチング手段および前記第２のマッチング手段による推定結果に基づいて、追跡領域を決定する追跡領域決定手段と
    を備え、
    前記第２の登録手段が登録するヒストグラムに対応する部分領域は、前記第１の登録手段が登録するテンプレートに対応する部分領域よりも広い部分領域であること、および、前記第２の登録手段が登録するヒストグラムの更新頻度は、前記第１の登録手段が登録するテンプレートの更新頻度よりも低いことの、少なくともいずれかを満たす
    ことを特徴とする被写体追跡装置。
13. 逐次入力される画像に含まれる被写体を追跡する被写体追跡装置の制御方法であって、
    前記入力される画像から追跡対象となる被写体を検出する被写体検出工程と、
    前記検出した追跡対象となる被写体を示す部分領域をテンプレートとして登録する第１の登録工程と、
    前記第１の登録工程において登録されたテンプレートを用いて、前記逐次入力された画像の部分領域の各領域と照合し、類似度が高い第１の領域を推定する第１のマッチング工程と、
    前記検出した追跡対象となる被写体を示す部分領域のヒストグラムを登録する第２の登録工程と、
    前記第２の登録工程において登録されたヒストグラムを用いて、前記逐次入力された画像の部分領域のヒストグラムと照合し、類似度が高い第２の領域を推定する第２のマッチング工程と、
    前記第１のマッチング工程および前記第２のマッチング工程における推定結果に基づいて、追跡領域を決定する追跡領域決定工程と
    を備え、
    前記第２の登録工程において登録するヒストグラムに対応する部分領域は、前記第１の登録工程において登録するテンプレートに対応する部分領域よりも広い部分領域であること、および、前記第２の登録工程において登録するヒストグラムの更新頻度は、前記第１の登録において登録するテンプレートの更新頻度よりも低いことの、少なくともいずれかを満たす
    ことを特徴とする被写体追跡装置の制御方法。

Images