JP2016123044A - 被写体追跡装置、その制御方法およびプログラム - Google Patents

Abstract

【課題】ヒストグラムマッチングとテンプレートマッチングを併用するとともに、各マッチングの特性を踏まえて、被写体追跡の性能を向上させる。
【解決手段】撮像装置１００は、供給される画像に含まれる被写体を追跡する被写体追跡装置として機能し、被写体を示す部分画像をテンプレートとして登録して、このテンプレートを用いて領域を推定するテンプレートマッチングと、被写体を示す部分画像のヒストグラムを登録して、このヒストグラムを用いて領域を推定するヒストグラムマッチングとを行う。このとき、ヒストグラムマッチングによる推定領域とテンプレートマッチングによる推定領域の距離が所定範囲であれば、テンプレートマッチングによる推定領域を被写体領域として採用し、ヒストグラムマッチングによる推定領域とテンプレートマッチングによる推定領域の距離が所定範囲でなければ、ヒストグラムマッチングによる推定領域を被写体領域として採用する。
【選択図】図５

Description

本発明は、逐次供給される画像に含まれる被写体を追跡する被写体追跡装置、その制御方法、撮像装置、表示装置およびプログラムに関する。

時系列的に逐次供給される画像から特定の被写体を抽出し、その抽出した被写体を追跡する技術は非常に有用であり、例えば動画像における人間の顔領域や人体領域の特定に利用されている。このような技術は、例えば通信会議、マン・マシン・インターフェース、セキュリティ、任意の被写体を追跡するためのモニタ・システム、画像圧縮等の多くの分野で使用することができる。

また、デジタルスチルカメラやデジタルビデオカメラでは、タッチパネル等を用いて指定された撮像画像に含まれる任意の被写体を抽出および追跡して、かかる被写体に対する焦点状態や露出状態を最適化する技術が提案されている（特許文献１および２参照）。例えば特許文献１には、撮像画像に含まれる顔の位置を検出（抽出）および追跡し、かかる顔に対して、焦点を合わせると共に最適な露出で撮像する撮像装置が開示されている。また、特許文献２には、テンプレートマッチングを用いて、特定の被写体を自動で追跡する技術が開示されている。ここで、テンプレートマッチングとは、追跡対象となる特定の被写体を含む画像領域を切り出した部分画像をテンプレート画像として登録し、テンプレート画像と最も類似度が高い又は相違度が低い領域を画像内において推定し、特定の被写体を追跡する手法である。なお、テンプレートマッチングでは、タッチパネル等の入力インターフェイスを用いて画像に含まれる任意の領域を指定し、かかる領域を基準としてテンプレート画像が登録される。

特開２００５−３１８５５４号公報 特開２００１−６０２６９号公報

テンプレートマッチングでは、画像データを評価尺度として用いる。テンプレート画像と探索する画像とにおいて、姿勢変化等、被写体の見えの変化が大きい場合には、正しい領域を推定できないという課題がある。
この課題に対して、マッチングの評価尺度に画像データそのものではなくヒストグラムを利用する方法がある（ヒストグラムマッチング）。被写体を示す情報を画像データからヒストグラムに変換することで、曖昧性を持たせ、被写体の姿勢変動にロバストな被写体追跡が実現できる。一方で、ヒストグラム基づくヒストグラムマッチングでは、画像データに基づくテンプレートマッチングと比較して、被写体の見えの変化が少ない場合等は、推定の位置精度が劣る側面がある。
そこで、ヒストグラムマッチングとテンプレートマッチングを併用する方法が考えられる。この場合は、複数のマッチングによる評価値から被写体領域を推定する必要がある。

本発明は上述した課題に鑑みてなされたものであり、ヒストグラムマッチングとテンプレートマッチングを併用するとともに、各マッチングの特性を踏まえて、被写体追跡の性能を向上させることを目的とする。

本発明の被写体追跡装置は、逐次供給される画像に含まれる被写体を追跡する被写体追跡装置であって、供給される画像のうちの所定の画像における被写体を示す部分画像をテンプレートとして登録する第１の登録手段と、前記第１の登録手段により登録されたテンプレートを用いて、供給された画像の部分領域と照合し、照合する部分領域を変化させて、類似度が高い又は相違度が低い領域を推定する第１のマッチング手段と、供給される画像のうちの所定の画像における被写体を示す部分画像のヒストグラムを登録する第２の登録手段と、前記第２の登録手段により登録されたヒストグラムを用いて、供給された画像の部分領域のヒストグラムと照合し、照合する部分領域を変化させて、類似度が高い又は相違度が低い領域を推定する第２のマッチング手段と、前記第１のマッチング手段および前記第２のマッチング手段による推定の結果に基づいて、被写体領域を決定する被写体領域決定手段とを備え、前記被写体領域決定手段は、前記第２のマッチング手段による推定領域と前記第１のマッチング手段による推定領域の距離が所定範囲であれば、前記第１のマッチング手段による推定領域を被写体領域として採用し、前記第２のマッチング手段による推定領域と前記第１のマッチング手段による推定領域の距離が所定範囲でなければ、前記第２のマッチング手段による推定領域を被写体領域として採用することを特徴とする。

本発明によれば、ヒストグラムマッチングとテンプレートマッチングを併用するとともに、各マッチングの特性を踏まえて被写体領域を精度良く推定することができ、被写体追跡の性能を向上させることができる。

実施形態に係る撮像装置の概略構成を示すブロック図である。 被写体追跡のフレームワークを示す図である。 テンプレートマッチングを説明するための図である。 ヒストグラムマッチングを説明するための図である。 実施形態における被写体追跡処理の流れを示すフローチャートである。 図５の被写体領域決定処理の流れを示すフローチャートである。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１は、実施形態に係る撮像装置１００の概略構成を示すブロック図である。本実施形態では、撮像装置１００は、被写体の画像を撮像するデジタルカメラとして具現化される。また、撮像装置１００は、時系列的に逐次供給される画像に含まれる被写体を追跡する被写体追跡装置としても機能する。
撮像装置１００は、撮像光学系１０１と、撮像素子１０２と、アナログ信号処理部１０３と、Ａ／Ｄ変換部１０４と、制御部１０５と、画像処理部１０６と、表示部１０７と、記録媒体１０８と、被写体指定部１０９と、被写体追跡部１１０とを備える。

被写体の像を表す光は、撮像光学系１０１によって集光され、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等で構成された撮像素子１０２に入射する。撮像素子１０２は、入射する光の強度に応じた電気信号を画素単位で出力する（即ち、撮像光学系１０１によって形成された被写体の像を光電変換する）。撮像素子１０２から出力される電気信号は、撮像素子１０２で撮像された被写体の像を示すアナログの画像信号である。
撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３で相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４でデジタルデータの形式に変換され、制御部１０５および画像処理部１０６に入力される。

制御部１０５は、ＣＰＵやマイクロコントローラ等で構成され、撮像装置１００の動作を中央制御する。制御部１０５は、撮像素子１０２で撮像する際の焦点状況や露出状況等の撮像条件を制御する。具体的には、制御部１０５は、Ａ／Ｄ変換部１０４から出力された映像信号に基づいて、撮像光学系１０１の焦点制御機構や露出制御機構（いずれも図示しない）を制御する。例えば焦点制御機構は撮像光学系１０１に含まれるレンズを光軸方向へ駆動させるアクチュエータ等であり、露出制御機構は絞りやシャッタを駆動させるアクチュエータ等である。また、制御部１０５は、撮像素子１０２の出力タイミングや出力画素等、撮像素子１０２の読み出し制御を行う。制御部１０５は、ＲＯＭに記憶されたプログラムコードをＲＡＭの作業領域に展開して順次実行することで、撮像装置１００の各部を制御する。

画像処理部１０６は、Ａ／Ｄ変換部１０４から出力された映像信号に対して、ガンマ補正、ホワイトバランス処理等の画像処理を行う。また、画像処理部１０６は、通常の画像処理に加え、後述する被写体追跡部１１０から供給される画像中の被写体領域に関する情報を用いた画像処理を行う機能も有する。

画像処理部１０６から出力された映像信号は、表示部１０７に送られる。表示部１０７は、例えばＬＣＤや有機ＥＬディスプレイで構成され、映像信号を表示する。撮像素子１０２で時系列的に逐次撮像した画像を表示部１０７に逐次表示させることで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、表示部１０７では、被写体追跡部１１０によって追跡している被写体を含む被写体領域を矩形等で表示する。
また、画像処理部１０６から出力された映像信号は、記録媒体１０８（例えば着脱可能なメモリーカード）に記録される。なお、映像信号の記録先は、撮像装置１００の内蔵メモリであっても、通信インターフェイスにより通信可能に接続された外部装置（いずれも図示しない）であってもよい。

被写体指定部１０９は、例えばタッチパネルやボタン等を含む入力インターフェイスで構成される。ユーザ（撮像者）は、被写体指定部１０９を介して、画像に含まれる任意の被写体を追跡対象に指定することができる。
被写体追跡部１１０は、画像処理部１０６から時系列的に逐次供給される（即ち、撮像された時刻の異なる）画像（画像信号）に含まれる被写体を追跡する。被写体追跡部１１０は、被写体の画素パターンやヒストグラムに基づき、被写体指定部１０９によって指定された被写体を追跡する。また、顔検出等の特定の被写体検出部（図示しない）を有し、検出された被写体を追跡する構成としても良い。被写体追跡部１１０の詳細は後述する。

制御部１０５は、上述した焦点制御機構や露出制御機構の制御に、被写体追跡部１１０から供給された被写体領域の情報を用いることができる。具体的には、被写体領域のコントラスト値を用いた焦点制御や、被写体領域の輝度値を用いた露出制御を行う。これにより、撮像装置１００では、撮像画像における特定の被写体領域を考慮した撮像処理を行うことができる。

ここで、被写体追跡部１１０に関して詳細を説明する。被写体追跡部１１０は、２種のマッチング手段として機能する。一つは、目的とする被写体を示す部分画像をテンプレートとして、供給された画像の部分領域と照合し、照合する部分領域を変化させて、類似度が高い又は相違度が低い領域を推定する（以下、テンプレートマッチングと呼称）マッチング手段である。もう一つは、目的とする被写体を示す部分画像のヒストグラムを用いて、供給された画像の部分領域のヒストグラムと照合し、照合する部分領域を変化させて、類似度が高い又は相違度が低い領域を推定する（以下、ヒストグラムマッチングと呼称）マッチング手段である。各々のマッチング評価値に基づいて被写体領域を決定する。

図２に、被写体追跡部１１０による被写体追跡のフレームワークを示す。
２０１、２０２、２０３は、被写体追跡部１１０の入力画像の例である。画像２０１は、被写体指定部１０９により追跡対象が指定された画像であり、追跡処理の開始画像となる。画像２０２は、被写体追跡処理を実施した画像のうち、現在時刻に最も近い画像である。画像２０３は、現在時刻の画像であり、被写体領域を推定する処理を実施する画像となる。
２０４は、追跡の開始画像２０１における追跡対象となる被写体を示す部分画像である。部分画像２０４からヒストグラム２０５を生成し、このヒストグラム２０５を登録しておく。
２０６は、被写体追跡処理の直前結果を示す部分画像であり、この画像をテンプレートとして登録する。
２０７は、被写体追跡処理の探索範囲である。探索範囲２０７に対して、ヒストグラム２０５を用いたヒストグラムマッチング、テンプレート２０６を用いたテンプレートマッチングが実行される。すなわち、フレームｎに対して、追跡の開始フレーム（フレーム１）に基づくヒストグラムマッチングと、追跡の直前フレーム（フレームｎ−１）に基づくテンプレートマッチングを行う。

図３を参照して、テンプレートマッチングの詳細に関して説明する。
図３（ａ）は、テンプレートマッチングにおける被写体モデル（テンプレート）の例を示す。３０１は追跡対象となる被写体を示す部分画像（テンプレート）であり、この画像の画素パターンを特徴量として扱う。３０２はテンプレート３０１の特徴量を表現したものであり、画素データの輝度信号を特徴量とする。特徴量Ｔ(ｉ，ｊ)は、テンプレート領域内の座標を（ｉ，ｊ）、水平画素数をＷ、垂直画素数をＨとすると、式（１）で表現される。

図３（ｂ）は、追跡対象を探索する画像の情報を示す。３０３はマッチング処理を行う範囲の画像である。探索画像における座標は（ｘ，ｙ）で表現する。３０４はマッチングの評価値を取得するための部分領域である。３０５は部分領域３０４の特徴量を表現したものであり、テンプレート３０１と同様に画像データの輝度信号を特徴量とする。特徴量Ｓ(ｉ，ｊ)は、部分領域内の座標を（ｉ，ｊ）、水平画素数をＷ、垂直画素数をＨとすると、式（２）で表現される。

テンプレート３０１と部分領域３０４との類似性を評価する演算方法として、差分絶対和、いわゆるＳＡＤ（Sum of Absolute Difference）値を用いる。ＳＡＤ値は、式（３）により算出される。

部分領域３０４を探索範囲３０３の左上から順に１画素ずつずらしながら、ＳＡＤ値Ｖ(ｘ，ｙ)を演算する。演算されたＶ(ｘ，ｙ)が最小値を示す座標（ｘ，ｙ）がテンプレート３０１と最も類似した位置を示す。つまり、最小値を示す位置が探索画像において目的とする追跡対象が存在する可能性の高い位置となる。
ここでは、特徴量として輝度信号の１次元の情報を用いる例を示したが、明度・色相・彩度の信号等の３次元の情報を特徴量として扱ってもよい。また、マッチングの評価値の演算方法としてＳＡＤ値に関して説明したが、正規化相互相関いわゆるＮＣＣ（Normalized Correlation Coffiecient）等の異なる演算方法を用いても良い。

図４を参照して、ヒストグラムマッチングの詳細に関して説明する。
図４（ａ）は、ヒストグラムマッチングにおける被写体モデルの例を示す。４０１は追跡対象となる被写体を示す部分画像であり、この画像の画素データから生成するヒストグラムを特徴量として扱う。４０２は部分画像４０１の特徴量を表現したものであり、特徴量は、輝度信号のＭ階調のヒストグラムとすると、式（４）で表現される。

図４（ｂ）は、追跡対象を探索する画像の情報を示す。４０３はマッチング処理を行う範囲の画像である。探索画像における座標は（ｘ，ｙ）で表現する。４０４はマッチングの評価値を取得するための部分領域である。４０５は部分領域４０４から生成される特徴量を表現したものであり、特徴量は、部分画像４０１と同様に輝度信号のＭ階調のヒストグラムとすると、式（５）で表現される。

部分画像３０１のヒストグラムと部分領域４０４のヒストグラムとの類似性を評価する演算方法として、Bhattacharyya係数を用いる。Bhattacharyya係数は、式（６）により算出される。

部分領域４０４を探索範囲４０３の左上から順に１画素ずつずらしながら、Bhattacharyya係数Ｄ(ｘ，ｙ)を演算する。演算されたＤ(ｘ，ｙ)が最大値を示す座標（ｘ，ｙ）が部分画像４０１と最も類似した位置を示す。つまり、最大値を示す位置が探索画像において目的とする追跡対象が存在する可能性の高い位置となる。
ここでは、特徴量として輝度信号の１次元の情報を用いる例を示したが、明度・色相・彩度の信号等の３次元の情報を特徴量として扱ってもよい。また、マッチングの評価値の演算方法としてBhattacharyya係数に関して説明したが、ヒストグラムインタセクション等の異なる演算方法を用いても良い。

本実施形態に係る撮像装置１００では、テンプレートマッチングおよびヒストグラムマッチングによる評価値、推定領域（推定位置）より被写体領域を決定する。
上述した数式からわかるように、ヒストグラムマッチングは、テンプレートマッチングと比較して、特徴量に曖昧性を持たせている。テンプレートマッチングでは、輝度信号の画素値のパターンが類似しているかを評価尺度とするが、ヒストグラムマッチングでは、輝度信号の画素値の割合が類似しているかを評価尺度している。したがって、被写体モデルと探索画像における被写体の状態において、被写体の姿勢変動が大きい場合は、ヒストグラムマッチングの方が推定の成功確率が高い。一方で、特徴量に曖昧性を持たせることにより、ヒストグラムマッチングはテンプレートマッチングより、位置の推定精度は劣る。被写体領域の推定において、ヒストグラムマッチングはテンプレートマッチングと比較して、大まかな被写体領域を推定する能力は高いが、詳細な位置合わせ能力は低いことを意味している。
テンプレートマッチングは、ヒストグラムマッチングと比較して、被写体の姿勢変動等、見えの変化が大きい場合は、正しい被写体領域を推定するのは困難である。一方で、被写体の見えの変化が少ない場合は、位置の推定精度が高い（位置合わせ能力が高い）。

上述した特性を踏まえて、被写体追跡部１１０では、追跡の開始フレームから被写体モデルを登録するヒストグラムマッチングと、追跡の直前フレームから被写体モデルを登録するテンプレートマッチングとを行う構成としている。ヒストグラムマッチングでは、被写体指定部１０９の情報に基づく被写体モデルを登録し、テンプレートマッチングでは、被写体追跡部１１０の結果に基づく被写体モデルを逐次更新する。そのため、被写体モデルが正しく目的とする被写体を含んでいるかという観点では、逐次更新しないヒストグラムマッチングの方が優位である。テンプレートマッチングでは、被写体追跡部１１０の推定誤差や誤りの影響を含み、被写体モデル内に背景等の目的とする被写体以外の情報を含む可能性がある。各マッチング機能の評価値に基づきマッチングの信頼度判定が実施されるが、この信頼度判定の精度は、被写体モデルの信頼性に起因する。つまり、ヒストグラムマッチングは信頼度判定の精度は高く、テンプレートマッチングの信頼度判定の精度は低い。

なお、これは一例であって、被写体の姿勢変化や見えの変化の程度によっては被写体領域のヒストグラムも変化することが考えられるため、ヒストグラムマッチングにおいても追跡の直前フレームから被写体モデルを登録するようにしてもよい。ただし、被写体モデルに背景が含まれてしまうことを抑制するため、位置の推定精度が高いテンプレートマッチングによる被写体追跡が成功した場合に限り、ヒストグラムマッチングの被写体モデルを更新するようにするのが望ましい。また、ヒストグラムマッチングとテンプレートマッチングのいずれにおいても、追跡の開始フレームと追跡の直前のフレームの両方から被写体モデルを登録し、両方のフレームから得られた被写体モデルを併用して用いるようにしてもよい。

上述した特性を活かした各々のマッチング評価値から被写体領域を決定する手法について説明する。ヒストグラムマッチングによる推定領域の近傍にテンプレートマッチングによる推定領域があれば、テンプレートマッチングによる推定領域を被写体領域として採用する。ヒストグラムマッチングによる推定領域の近傍にテンプレートマッチングによる推定領域がなければ、ヒストグラムマッチングによる推定領域を被写体領域として採用する。いずれのマッチングによる推定領域を採用するかを決定する処理は、ヒストグラムマッチングの信頼度が高い場合に限定することで、ヒストグラムマッチングの探索の失敗や目的とする被写体が探索範囲の画像から消失した場合に対応できる。

図５に、実施形態における被写体追跡処理の流れを示す。
画像処理部１０６から被写体追跡部１１０に画像が供給されると（ステップＳ５０１）、被写体追跡部１１０は、この入力画像と被写体指定部１０９の情報に基づいて、追跡対象となる被写体を示す部分画像を決定する（ステップＳ５０２）。
次に、被写体追跡部１１０は、追跡対象となる被写体を示す部分画像に基づいて、ヒストグラムマッチングの被写体モデルであるヒストグラムを登録する（ステップＳ５０３）。また、被写体追跡部１１０は、追跡対象となる被写体を示す部分画像を、テンプレートマッチングの被写体モデルであるテンプレートとして登録する（ステップＳ５０４）。

次に、画像処理部１０６から被写体追跡部１１０に画像が供給される（ステップＳ５０５）。ステップＳ５０５の入力画像は被写体追跡部１１０の探索画像を示し、ステップＳ５０１の入力画像とステップＳ５０５の入力画像とは、時刻の異なる画像である。ステップＳ５０５の入力画像に基づいて、ヒストグラムマッチング（ステップＳ５０６）、テンプレートマッチング（ステップＳ５０７）を行う。
次に、被写体追跡部１１０は、ヒストグラムマッチングとテンプレートマッチングの評価値とその領域情報に基づいて、被写体領域を決定する（ステップＳ５０８）。

ここで、図６を参照して、ステップＳ５０８の被写体領域決定処理に流れについて説明する。
まず、被写体追跡部１１０は、ヒストグラムマッチングの評価値の信頼性が高いか否か否かを判定する（ステップＳ６０１）。信頼性判定の例としては、式（６）のBhattacharyya係数Ｄ(ｘ，ｙ)の最大値が所定の閾値以上であれば信頼性が高いと判定し、Bhattacharyya係数Ｄ(ｘ，ｙ)の最大値が所定の閾値未満であれば信頼性が低いと判定する。
ヒストグラムマッチングの評価値の信頼性が高い場合（ステップＳ６０１でＹＥＳ）、ステップＳ６０２に進み、ヒストグラムマッチングの推定領域の近傍にテンプレートマッチングの推定領域があるか否かを判定する。判定の例としては、式（６）のBhattacharyya係数Ｄ(ｘ，ｙ)の最大値の座標（ｘ，ｙ）と式（３）のＳＡＤ値Ｖ(ｘ，ｙ)の最小値の座標（ｘ，ｙ）との距離を算出し、算出した距離が所定範囲であるか否かに基づいて判定する。
ヒストグラムマッチングの推定距離の近傍にテンプレートマッチングの推定領域がない場合（ステップＳ６０２でＮＯ）、ステップＳ６０４に進み、ヒストグラムマッチングによる推定領域を採用する。すなわち、式（６）のBhattacharyya係数Ｄ(ｘ，ｙ)の最大値の座標（ｘ，ｙ）を被写体位置として決定する。それに対して、ヒストグラムマッチングの推定距離の近傍にテンプレートマッチングの推定領域がある場合（ステップＳ６０２でＹＥＳ）、ステップＳ６０５に進み、テンプレートマッチングによる推定領域を採用する。すなわち、式（３）のＳＡＤ値Ｖ(ｘ，ｙ)の最小値の座標（ｘ，ｙ）を被写体位置として決定する。

一方、ヒストグラムマッチングの評価値の信頼性が低い場合（ステップＳ６０１でＮＯ）、テンプレートマッチングの評価値の信頼性が高いか否かを判定する（ステップＳ６０３）。信頼性判定の例としては、式（３）のＳＡＤ値Ｖ(ｘ，ｙ)の最小値が所定の閾値未満であれば信頼性が高いと判定し、ＳＡＤ値Ｖ(ｘ，ｙ)の最小値が所定の閾値以上であれば信頼性が低いと判定する。
テンプレートマッチングの評価値の信頼性が高い場合（ステップＳ６０３でＹＥＳ）、ステップＳ６０５に進み、テンプレートマッチングに推定領域を採用する。それに対して、テンプレートマッチングの評価値の信頼性が低い場合（ステップＳ６０３でＮＯ）、ステップＳ６０６に進み、テンプレートマッチング、ヒストグラムマッチングの推定領域を共に採用しない。

上述したように、ヒストグラムマッチングの信頼性判定による信頼度が高ければ、テンプレートマッチング信頼性判定による信頼度に依存せず、テンプレートマッチングによる推定領域を採用するか、ヒストグラムマッチングによる推定領域を採用するかを判定することとなる。

図５に説明を戻して、ステップＳ５０８で被写体領域が決定されると、被写体追跡部１１０は、その結果に基づいて追跡を継続するか否かを判定する（ステップＳ５０９）。判定の例としては、ステップＳ６０６のようにテンプレートマッチング、ヒストグラムマッチングの推定領域を共に採用しなければ、継続しないと判定する。一方で、ステップＳ６０４、ステップＳ６０５のようにテンプレートマッチング、ヒストグラムマッチングの推定領域のいずれかが採用されれば、追跡を継続する。追跡を継続しないと判定すれば（ステップＳ５０９でＮＯ）、被写体追跡の処理を終了する。この処理は、目的とする追跡の被写体が探索範囲の画像に存在しなくなった場合に実行されることを期待している。追跡を継続すると判定すれば（ステップＳ５０９でＹＥＳ）、推定した被写体領域に基づきテンプレートを更新する（ステップＳ５１０）。そして、ステップＳ５０５に戻り、逐次供給される画像に基づいて、繰り返し処理が実行される。

以上のように、ヒストグラムマッチングとテンプレートマッチングを併用するとともに、各マッチングの特性を踏まえて被写体領域を精度良く推定することができ、被写体追跡の性能を向上させることができる。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
上述した実施形態では、撮像装置に被写体追跡装置を適用した場合を例示したが、被写体追跡装置を適用する機器は撮像装置に限定しない。例えば外部機器や記録媒体等から供給される画像（再生データ）を表示する表示装置に被写体追跡装置を適用してもよい。表示装置では、再生データを被写体追跡処理のデータとし、被写体追跡処理が行われることとなる。この表示装置におけるマイクロコントローラ等の制御部は、被写体追跡処理により抽出された被写体の情報（画像中の被写体の位置、大きさ等）に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像中の被写体の位置に枠等の被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合い等の制御を行う。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０１ 撮像光学系
１０２ 撮像素子
１０３ アナログ信号処理部
１０４ Ａ／Ｄ変換部
１０５ 制御部
１０６ 画像処理部
１０７ 表示部
１０８ 記録媒体
１０９ 被写体指定部
１１０ 被写体追跡部

Claims (9)

1. 逐次供給される画像に含まれる被写体を追跡する被写体追跡装置であって、
   供給される画像のうちの所定の画像における被写体を示す部分画像をテンプレートとして登録する第１の登録手段と、
   前記第１の登録手段により登録されたテンプレートを用いて、供給された画像の部分領域と照合し、照合する部分領域を変化させて、類似度が高い又は相違度が低い領域を推定する第１のマッチング手段と、
   供給される画像のうちの所定の画像における被写体を示す部分画像のヒストグラムを登録する第２の登録手段と、
   前記第２の登録手段により登録されたヒストグラムを用いて、供給された画像の部分領域のヒストグラムと照合し、照合する部分領域を変化させて、類似度が高い又は相違度が低い領域を推定する第２のマッチング手段と、
   前記第１のマッチング手段および前記第２のマッチング手段による推定の結果に基づいて、被写体領域を決定する被写体領域決定手段とを備え、
   前記被写体領域決定手段は、
   前記第２のマッチング手段による推定領域と前記第１のマッチング手段による推定領域の距離が所定範囲であれば、前記第１のマッチング手段による推定領域を被写体領域として採用し、
   前記第２のマッチング手段による推定領域と前記第１のマッチング手段による推定領域の距離が所定範囲でなければ、前記第２のマッチング手段による推定領域を被写体領域として採用することを特徴とする被写体追跡装置。
2. 前記第１の登録手段は、該被写体追跡装置による追跡の直前フレームに基づいてテンプレートを更新していき、
   前記第２の登録手段は、該被写体追跡装置による追跡の開始フレームに基づいてヒストグラムを登録することを特徴する請求項１に記載の被写体追跡装置。
3. 前記第２のマッチング手段による推定領域の信頼度を判定する第２のマッチング手段のための判定手段をさらに備え、
   前記被写体領域決定手段は、前記第２のマッチング手段のための判定手段による信頼度が低ければ、前記第２のマッチング手段よる推定領域を採用しないことを特徴とする請求項１又は２に記載の被写体追跡装置。
4. 前記第１のマッチング手段による推定領域の信頼度を判定する第１のマッチング手段のための判定手段をさらに有し、
   前記被写体領域決定手段は、
   前記第２のマッチング手段のための判定手段による信頼度が低ければ、前記第１のマッチング手段のための判定手段による信頼度に基づいて前記第１のマッチング手段による推定領域を採用するか否かを判定し、
   前記第２のマッチング手段のための判定手段による信頼度が高ければ、前記第１のマッチング手段のための判定手段による信頼度に依存せず、前記第１のマッチング手段による推定領域を採用するか、前記第２のマッチング手段による推定領域を採用するかを判定することを特徴とする請求項３に記載の被写体追跡装置。
5. 前記被写体領域決定手段は、前記第２のマッチング手段のための判定手段による信頼度および前記第１のマッチング手段のための判定手段による信頼度が共に低い場合は、被写体は消失したと判定することを特徴とする請求項４に記載の被写体追跡装置。
6. 撮像した画像を逐次供給する撮像手段と、
   請求項１乃至５のいずれか１項に記載の被写体追跡装置と、
   前記撮像手段が撮像する際の撮像条件を、前記被写体追跡装置が出力する被写体の情報に応じて制御する制御手段とを備えることを特徴とする撮像装置。
7. 逐次供給される画像を表示する表示手段と、
   請求項１乃至５のいずれか１項に記載の被写体追跡装置と、
   前記表示手段が表示する表示条件を、前記被写体追跡装置が出力する被写体の情報に応じて制御する制御手段とを備えることを特徴とする表示装置。
8. 逐次供給される画像に含まれる被写体を追跡する被写体追跡装置の制御方法であって、
   前記被写体追跡装置は、
   供給される画像のうちの所定の画像における被写体を示す部分画像をテンプレートとして登録する第１の登録手段と、
   前記第１の登録手段により登録されたテンプレートを用いて、供給された画像の部分領域と照合し、照合する部分領域を変化させて、類似度が高い又は相違度が低い領域を推定する第１のマッチング手段と、
   供給される画像のうちの所定の画像における被写体を示す部分画像のヒストグラムを登録する第２の登録手段と、
   前記第２の登録手段により登録されたヒストグラムを用いて、供給された画像の部分領域のヒストグラムと照合し、照合する部分領域を変化させて、類似度が高い又は相違度が低い領域を推定する第２のマッチング手段とを備え、
   前記第１のマッチング手段および前記第２のマッチング手段による推定の結果に基づいて、被写体領域を決定する被写体領域決定手順を行い、
   前記被写体領域決定手順では、
   前記第２のマッチング手段による推定領域と前記第１のマッチング手段による推定領域の距離が所定範囲であれば、前記第１のマッチング手段による推定領域を被写体領域として採用し、
   前記第２のマッチング手段による推定領域と前記第１のマッチング手段による推定領域の距離が所定範囲でなければ、前記第２のマッチング手段による推定領域を被写体領域として採用することを特徴とする被写体追跡装置の制御方法。
9. 逐次供給される画像に含まれる被写体を追跡するためのプログラムであって、
   供給される画像のうちの所定の画像における被写体を示す部分画像をテンプレートとして登録する第１の登録手段と、
   前記第１の登録手段により登録されたテンプレートを用いて、供給された画像の部分領域と照合し、照合する部分領域を変化させて、類似度が高い又は相違度が低い領域を推定する第１のマッチング手段と、
   供給される画像のうちの所定の画像における被写体を示す部分画像のヒストグラムを登録する第２の登録手段と、
   前記第２の登録手段により登録されたヒストグラムを用いて、供給された画像の部分領域のヒストグラムと照合し、照合する部分領域を変化させて、類似度が高い又は相違度が低い領域を推定する第２のマッチング手段と、
   前記第１のマッチング手段および前記第２のマッチング手段による推定の結果に基づいて、被写体領域を決定する被写体領域決定手段としてコンピュータを機能させ、
   前記被写体領域決定手段は、
   前記第２のマッチング手段による推定領域と前記第１のマッチング手段による推定領域の距離が所定範囲であれば、前記第１のマッチング手段による推定領域を被写体領域として採用し、
   前記第２のマッチング手段による推定領域と前記第１のマッチング手段による推定領域の距離が所定範囲でなければ、前記第２のマッチング手段による推定領域を被写体領域として採用することを特徴とするプログラム。

Images