JP5029647B2 - 被写体追尾装置、およびカメラ - Google Patents

Description

本発明は、被写体追尾装置、およびカメラに関する。

次のような物体追跡装置が知られている。この物体追跡装置は、正規化相関という演算手法を用いてテンプレートと画像間の類似度を算出して、被写体の追尾を行う（例えば、特許文献１）。

特許第３７６８０７３号公報

しかしながら、従来の物体追跡装置で用いられるような類似度算出の一般的な手法に置いては、輝度や色差などの画像成分ごとに異なるゲインがかかっている場合には、算出される類似度の精度が低下するという問題があった。

請求項１に記載の被写体追尾装置は、輝度成分および色差成分を有する入力画像と、輝度成分および色差成分を有するテンプレート画像とを比較して、前記入力画像と前記テンプレート画像との前記輝度成分の類似度および前記色差成分の類似度をそれぞれ算出する第１の類似度算出手段と、前記第１の類似度算出手段により算出される前記輝度成分および前記色差成分のそれぞれの類似度を正規化する正規化手段と、前記正規化手段による正規化結果を加算することによって、前記入力画像と前記テンプレート画像との類似度を算出する第２の類似度算出手段とを備えることを特徴とする。
請求項２に記載の被写体追尾装置は、請求項１に記載の被写体追尾装置において、前記正規化手段は、前記複数成分の特徴量の類似度に、各成分の特徴量の類似度を均一化するための正規化値をかけることによって正規化を行うことを特徴とする。
請求項３に記載の被写体追尾装置は、複数成分の特徴量を有する入力画像と、複数成分の特徴量を有するテンプレート画像とを比較して、前記入力画像と前記テンプレート画像との類似度を前記複数成分の特徴量ごとに算出する第１の類似度算出手段と、前記第１の類似度算出手段により算出される前記複数成分の特徴量の類似度に、各成分の特徴量の類似度を均一化するための正規化値をかけることによって正規化する正規化手段と、前記正規化後の類似度に、前記入力画像の特徴に応じた重み付けを行う重み付け手段と、前記重み付け手段による重み付け結果を加算することによって、前記入力画像と前記テンプレート画像との類似度を算出する第２の類似度算出手段とを備えることを特徴とする。
請求項４に記載の被写体追尾装置は、請求項２または３に記載の被写体追尾装置において、前記正規化値は、あらかじめ算出されて記憶媒体に記録されており、前記正規化手段は、前記記憶媒体から前記正規化値を読み出して正規化を行うことを特徴とする。
請求項５に記載のカメラは、請求項１〜４のいずれか一項に記載の被写体追尾装置を備えることを特徴とする。

本発明によれば、画像成分ごとに異なるゲインがかかっている場合であっても、正規化を行って精度高く類似度を算出することができる。

カメラ１００の一実施の形態の構成を示すブロック図である。 テンプレートマッチング処理の流れを示すフローチャート図である。 正規化を行わずに算出した類似度の具体例を模式的に示した図である。 正規化を行って算出した類似度の具体例を模式的に示した図である。 正規化後に重み付けを行って算出した類似度の具体例を模式的に示した図である。

―第１の実施の形態―
図１は、第１の実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。レンズ１０２を構成するレンズには、ズーム倍率を変更するためのズームレンズや、焦点調節を行うための焦点調節用レンズ（ＡＦレンズ）等が含まれる。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、制御装置１０４は、撮像素子１０３から入力されるスルー画の各フレームに対して、あらかじめ用意したテンプレート画像を用いたテンプレートマッチング処理を行うことによって、フレーム内からテンプレート画像と類似する画像領域を被写体領域として特定する。そして、制御装置１０４は、特定した被写体領域をフレーム間で追跡することによって、被写体追尾処理を行う。

以下、図２に示すフローチャートを用いて、本実施の形態におけるテンプレートマッチング処理の詳細について説明する。なお、図２に示す処理は、スルー画撮影が開始されると起動するプログラムとして、制御装置１０４によって実行される。

ステップＳ１において、制御装置１０４は、入力された画像（以下、「入力画像」と呼ぶ）をマッチング対象として、ステップＳ２へ進む。ステップＳ２では、制御装置１０４は、入力画像内からテンプレート画像と同じサイズの画像を切り出してこれを比較用画像とする。その後、ステップＳ３へ進み、制御装置１０４は、切り出した比較用画像とテンプレート画像とを比較して、類似度の算出を行う。なお、本実施の形態での類似度の算出方法については後述する。その後、ステップＳ４へ進む。

ステップＳ４では、制御装置１０４は、探索領域、例えば入力画像全体内の全領域、または入力画像内に設定された所定の領域内を対象として、比較用画像の切り出しと類似度の算出が完了したか否かを判断する。ステップＳ４で否定判断した場合には、ステップＳ２へ戻って処理を繰り返す。なお、処理を繰り返す際には、制御装置１０４は、ステップ２において比較用領域の切り出す位置を前回の切り出し位置からずらすことにより、最終的には探索領域内の全体についてテンプレート画像と比較用画像との類似度の算出が行われることになる。これに対して、ステップＳ４で肯定判断した場合には、ステップＳ４１へ進む。

ステップＳ４１では、制御装置１０４は、ステップＳ３で算出した類似度に基づいて、テンプレート画像との類似度が最も高い比較用画像の入力画像内における切り出し位置を特定し、特定した切り出し位置を被写体位置として特定する。なお、後述する手法による類似度算出においては、テンプレート画像と比較用画像との類似度が高いほど、算出される類似度の値は小さくなるので、ステップＳ４１では、制御装置１０４は、算出された類似度の値が最小となる比較用画像の切り出し位置を被写体位置として特定する。その後、ステップＳ５へ進む。

ステップＳ５では、制御装置１０４は、ステップＳ４１で被写体位置として特定する際に用いた最小類似度が、所定の閾値（以下、「更新閾値」と呼ぶ）以下であるか否かを判断する。ステップＳ５で否定判断した場合には、後述するステップＳ７へ進む。これに対して、ステップＳ５で肯定判断した場合には、ステップＳ６へ進む。

ステップＳ６では、制御装置１０４は、最小類似度が算出された比較用画像を新たなテンプレート画像として、テンプレート画像の更新を行なって、ステップＳ７へ進む。このように現在のテンプレート画像との類似度が極めて高い切り出し画像を新たなテンプレート画像として更新していくことによって、被写体の形状が時々刻々と変化していく場合であっても、被写体を見失うことなく追尾を継続できるようになる。

ステップＳ７では、制御装置１０４は、全フレームの処理が完了したか、すなわちスルー画の入力が停止したか否かを判断する。ステップＳ７で否定判断した場合には、ステップＳ１へ戻って処理を繰り返す。これに対して、ステップＳ７で肯定判断した場合には、処理を終了する。

次に、本実施の形態におけるテンプレート画像と比較用画像との類似度の算出方法について説明する。ここでは、類似度の算出方法の１つであるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ／絶対差分和）を用いて類似度を算出する方法について説明する。なお、ＳＡＤとは、テンプレート画像と比較用画像とを画素ごとに比較して絶対差分和を算出し、その和を計算することにより類似度を算出する手法である。

まず、ＳＡＤを用いた一般的な類似度の算出方法について説明する。テンプレート画像と比較用画像がいずれも輝度成分Ｙと色差成分Ｃｂ、Ｃｒとの３成分からなるＹＣｂＣｒ表色系で表される画像である場合には、各成分の類似度は、次式（１）〜（３）により算出される。なお、次式（１）〜（３）においては、Ｙ成分の類似度をＳＡＤ_Ｙ、Ｃｒ成分の類似度をＳＡＤ_Ｃｒ、Ｃｂ成分の類似度をＳＡＤ_Ｃｂと表している。また、比較用画像の各成分をＹ_画像、Ｃｒ_画像、Ｃｂ_画像とそれぞれ表し、テンプレート画像の各成分をＹ_{テンプレート}、Ｃｒ_{テンプレート}、Ｃｂ_{テンプレート}とそれぞれ表している。

そして、テンプレート画像と比較用画像の類似度（ＳＡＤ）は、一般的には、次式（４）に示すように、式（１）〜（３）により算出した各成分の類似度を加算することにより算出される。

しかしながら、上記の式（１）〜（４）を用いて類似度を算出した場合、各成分の類似度のゲインは、画素情報を反映してそれぞれ異なるものとなる。例えば、各画素がＹ，Ｃｂ、Ｃｒの各成分を有している場合、式（１）により算出されるＳＡＤ_Ｙは、式（２）に算出されるＳＡＤ_Ｃｒや式（３）により算出されるＳＡＤ_Ｃｂよりも４倍〜６倍ほど大きな値となる。式（４）に示すように、類似度ＳＡＤは、ＳＡＤ_ＹとＳＡＤ_ＣｒとＳＡＤ_Ｃｂとを加算することによって算出されるので、ゲインの異なる成分が１つでも存在すると、類似度ＳＡＤの算出において各成分が均等に評価されなくなる。

例えば、図３（ａ）に示すように、Ｙ成分の類似度（ＳＡＤ_Ｙ）のゲインがＳＡＤ_ＣｒやＳＡＤ_Ｃｂのゲインと比べて大きい場合には、ＳＡＤ_ＣｒとＳＡＤ_Ｃｂとが正確な被写体位置である切り出し位置３ａで最小となっていたとしても、ＳＡＤ_Ｙが異なる切り出し位置３ｂで最小になっている場合には、図３（ｂ）に示すように、式（４）による類似度ＳＡＤの算出結果はＳＡＤ_Ｙの影響を受けて切り出し位置３ｂで最小となり、当該切り出し位置３ｂがこのフレームにおける被写体位置として特定されてしまう。

このような問題点を解消するために、本実施の形態では、制御装置１０４は、各成分の類似度（ＳＡＤ_Ｙ、ＳＡＤ_Ｃｒ、ＳＡＤ_Ｃｂ）を正規化してから類似度ＳＡＤを算出するようにする。このために、カメラ１００のフラッシュメモリには、各成分の類似度を正規化するための類似度正規化値、例えばＳＡＤ_Ｙを正規化するための類似度正規化値Ｎ_ｙ、ＳＡＤ_Ｃｒを正規化するための類似度正規化値Ｎ_Ｃｒ、ＳＡＤ_Ｃｂを正規化するための類似度正規化値Ｎ_Ｃｂがあらかじめ記録されているものとする。

ここで、各成分ごとの類似度正規化値Ｎ_ｙ、Ｎ_Ｃｒ、Ｎ_Ｃｂの算出方法について説明する。まず、被写体の追尾を行う標準的なシーンで撮影した動画像データを用いて、次式（５）〜（７）により、各成分ごとの類似度平均値を算出する。

なお、「標準的なシーン」とは、例えばモノクロ撮影等の標準的でないシーンを除いたシーンであることを意味している。また、式（５）〜（７）においては、シーンの動画像サンプルがｎ種類ある場合の類似度平均値の算出例を示している。

そして、次式（８）〜（１０）により、式（５）〜（７）で算出した各成分の類似度平均値の逆数を類似度正規化値Ｎ_ｙ、Ｎ_Ｃｒ、Ｎ_Ｃｂとして算出する。本実施の形態では、次式（８）〜（１０）により算出された類似度正規化値Ｎ_ｙ、Ｎ_Ｃｒ、Ｎ_Ｃｂがカメラ１００のフラッシュメモリに記録されているものとする。

本実施の形態では、制御装置１０４は、フラッシュメモリに記録されている類似度正規化値Ｎ_ｙ、Ｎ_Ｃｒ、Ｎ_Ｃｂを読み出し、各成分の類似度、すなわちＳＡＤ_Ｙ、ＳＡＤ_Ｃｒ、およびＳＡＤ_Ｃｂのそれぞれに読み出した類似度正規化値Ｎ_ｙ、Ｎ_Ｃｒ、Ｎ_Ｃｂを乗じることにより、各成分の類似度を正規化してテンプレート画像と比較用画像の類似度ＳＡＤを算出する。

具体的には、制御装置１０４は、次式（１１）により各成分の類似度を正規化してフレームとテンプレート画像との類似度ＳＡＤを算出することができる。なお、次式（１１）においては、ＳＡＤの成分がＳＡＤ_Ｙ，ＳＡＤ_Ｃｒ、ＳＡＤ_Ｃｂの３成分あるため、全体を３で割っている。

式（１１）に示すように、各成分のＳＡＤを正規化してからＳＡＤを算出することによって、各成分の重みが均一になり、また出力される各成分の類似度（各成分のＳＡＤ）のゲインも一定となる。その結果、特定の成分の類似度が大きなゲインを持つ場合であっても、その成分の類似度の影響を受けてフレーム内における被写体位置が誤って特定されるのを防ぐことができる。

例えば、図３（ａ）に示したように、ＳＡＤ_ＹのゲインがＳＡＤ_ＣｒやＳＡＤ_Ｃｂのゲインと比べて大きい場合であっても、正規化によって図４（ａ）に示すように各成分の類似度のゲインを均一化することができる。これにより、正規化後の各成分の類似度を加算した結果は、図４（ｂ）に示すように、正確な被写体位置を示す切り出し位置４ａで最小となり、被写体位置を正確に特定することができるようになる。

本実施の形態では、上述した図２のステップＳ３において、制御装置１０４は、式（１１）を用いてテンプレート画像と比較用画像の類似度を算出すればよい。そして、入力画像の全体について類似度の算出が終わった後に（ステップＳ４で肯定判断した後に）、ＳＡＤが最小となる比較用画像の切り出し位置を被写体位置として特定することによって、入力画像内の被写体位置を特定することができる。制御装置１０４は、当該処理を複数フレームにわたって繰り返し行うことにより、各フレーム内で被写体位置を特定して、被写体追尾を行うことができる。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、スルー画のフレームとテンプレート画像とを画像の特徴量である輝度成分（Ｙ成分）と色差成分（Ｃｒ成分、Ｃｂ成分）ごとに比較して、各成分ごとの類似度ＳＡＤ_Ｙ，ＳＡＤ_Ｃｒ，ＳＡＤ_Ｃｂを算出した。そして、制御装置１０４は、算出した各成分の類似度に類似度正規化値をかけて正規化を行うようにした。そして、制御装置１０４は、正規化後の各成分の類似度に基づいて、フレームとテンプレート画像との類似度ＳＡＤを算出するようにした。これによって、各成分の類似度を正規化して、被写体の追尾性能を向上させることができる。

（２）各成分の類似度値を均一化するための類似度正規化値をあらかじめ算出しておき、制御装置１０４は、この類似度正規化値を用いて、各成分の類似度値が均一になるように正規化を行うようにした。これによって、特定の成分の類似度が大きなゲインを持つ場合であっても、その成分の類似度算出結果の影響を受けてフレーム内における被写体位置が誤って特定されるのを防ぐことができる。

―第２の実施の形態―
上述した第１の実施の形態では、各成分の類似度値、すなわちＳＡＤ_Ｙ、ＳＡＤ_Ｃｒ、およびＳＡＤ_Ｃｂに類似度正規化値Ｎ_ｙ、Ｎ_Ｃｒ、Ｎ_Ｃｂを乗じることで各成分の類似度を正規化して、フレームとテンプレート画像との類似度ＳＡＤを算出することによって被写体の追尾性能を向上させる例について説明した。

これに対して、第２の実施の形態では、第１の実施の形態の場合と同様に、各成分の類似度を正規化した上で、さらに正規化後の輝度成分の類似度（ＳＡＤ_Ｙ）、または色差成分の類似度（ＳＡＤ_Ｃｒ、ＳＡＤ_Ｃｂ）に重み付けを行って類似度（ＳＡＤ）を算出することによって、被写体の追尾性能を向上させる方法について説明する。なお、第２の実施の形態においては、図１〜図３の各図は第１の実施の形態と同様のため説明を省略し、第１の実施の形態との相違点を中心に説明する。

本実施の形態では、制御装置１０４は、マッチング対象のフレームの彩度に基づいて、正規化後の各成分に対する重み付けを行う。例えば、マッチング対象のフレームの彩度が高い場合には、輝度成分よりも色差成分を評価の対象として類似度を算出した方が追尾性能を向上することができるため、正規化後の色差成分の類似度（ＳＡＤ_Ｃｒ、ＳＡＤ_Ｃｂ）にかける重みが重くなるように重み付けを行ってＳＡＤを算出する。逆に、マッチング対象のフレームの彩度が低い場合には、色差成分よりも輝度成分を評価の対象として類似度を算出した方が追尾性能を向上することができるため、正規化後の輝度成分の類似度（ＳＡＤ_Ｙ）にかける重みが重くなるように重み付けを行ってＳＡＤを算出する。

例えば、制御装置１０４は、正規化後の各成分の類似度にパラメータαを用いた重み付けを行う場合には、次式（１２）によりＳＡＤを算出する。

なお、本実施の形態におけるパラメータαは、０＜α＜１の範囲をとる彩度を示すパラメータに対応し、例えば、ｘ＝（１／画素数）・Σ（｜Ｃｒ｜＋｜Ｃｂ｜）とすると、α＝１／（１＋ｅ^{−ａｘ＋ｂ}）と示される関数形になる。

このように、正規化した各成分の類似度にパラメータαを用いた重み付けを行うことにより、類似度のゲインを一定とした上で、画像の彩度に応じた成分の類似度に重み付けを行ってＳＡＤを算出することができ、さらに被写体追尾の性能を向上させることができる。

例えば、マッチング対象のフレームの彩度が高い場合、すなわち該フレームが有彩色系である場合には、パラメータαの値を大きく設定することにより、輝度成分よりも色差成分を重く評価して類似度を算出することができ、追尾性能を向上することができる。

例えば、マッチング対象のフレームが有彩色系である場合には、α＝０．８とすることにより、図５（ａ）に示すように、式（１２）により輝度成分のＳＡＤ_Ｙには０．２×２がかけられ、色差成分のＳＡＤ_Ｃｒ，ＳＡＤ_Ｃｂには０．８がかけられることになり、類似度ＳＡＤの算出に際して輝度成分のＳＡＤ_Ｙの影響を低下させることができる。これにより、図５（ｂ）に示すように、ＳＡＤの算出結果はＳＡＤ_Ｙの影響を低減させて正確な被写体位置を示す切り出し位置５ａで最小となり、被写体位置を正確に特定することができるようになる。

これに対して、マッチング対象のフレームの彩度が低い場合、すなわち該フレームが無彩色系である場合には、パラメータαの値を小さく設定することにより、例えば、α＝０．２とすることにより、色差成分よりも輝度成分を重く評価して類似度を算出することができ、追尾性能を向上することができる。

例えば、マッチング対象のフレームが無彩色系である場合には、α＝０．２とすることにより、図５（ｃ）に示すように、式（１２）により輝度成分のＳＡＤ_Ｙには０．８×２がかけられ、色差成分のＳＡＤ_Ｃｒ，ＳＡＤ_Ｃｂには０．２がかけられることになり、類似度ＳＡＤの算出に際して色差成分のＳＡＤ_Ｃｒ，ＳＡＤ_Ｃｂの影響を低下させることができる。これにより、図５（ｄ）に示すように、ＳＡＤの算出結果はＳＡＤ_Ｃｒ，ＳＡＤ_Ｃｂの影響を低減させて正確な被写体位置を示す切り出し位置５ｂで最小となり、被写体位置を正確に特定することができるようになる。

以上説明した第２の実施の形態によれば、制御装置１０４は、各成分のＳＡＤを正規化した上で、さらに正規化後の輝度成分の類似度（ＳＡＤ_Ｙ）、または色差成分の類似度（ＳＡＤ_Ｃｒ、ＳＡＤ_Ｃｂ）にフレームの彩度に基づく重み付けを行って類似度（ＳＡＤ）を算出するようにした。これによって、被写体の追尾性能を向上することができるという効果を得ることができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した第１および第２の実施の形態では、制御装置１０４は、類似度の算出方法の１つであるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ／絶対差分和）を用いて類似度を算出する方法について説明した。しかしながら、ＳＡＤ以外の他の手法、例えば、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）や色ヒストグラムを用いて類似度を算出する場合にも、本発明は適用可能である。

（２）上述した第１および第２の実施の形態では、制御装置１０４は、スルー画を対象として被写体追尾を行う例について説明した。しかしながら、カメラ１００が動画撮影機能を備えている場合には、制御装置１０４は、スルー画ではなく、撮影済みの動画のフレーム間で被写体追尾を行うようにしてもよい。

（３）上述した第１および第２の実施の形態では、カメラ１００が供える制御装置１０４が図２に示す処理を実行して被写体追尾を行う例について説明した。しかしながら、図２に示す処理を実行するためのプログラムをパソコンなどその他の端末に記録して、それらの端末上で処理を実行することも可能である。この場合、カメラで撮影した動画像データを端末側に取り込んで、これを対象に処理を行うようにすれば、動画のフレーム間で被写体追尾を行うことが可能となる。また、本発明はカメラ付き携帯電話などに適用することも可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

Claims (5)

1. 輝度成分および色差成分を有する入力画像と、輝度成分および色差成分を有するテンプレート画像とを比較して、前記入力画像と前記テンプレート画像との前記輝度成分の類似度および前記色差成分の類似度をそれぞれ算出する第１の類似度算出手段と、
   前記第１の類似度算出手段により算出される前記輝度成分および前記色差成分のそれぞれの類似度を正規化する正規化手段と、
   前記正規化手段による正規化結果を加算することによって、前記入力画像と前記テンプレート画像との類似度を算出する第２の類似度算出手段とを備えることを特徴とする被写体追尾装置。
2. 請求項１に記載の被写体追尾装置において、
   前記正規化手段は、前記複数成分の特徴量の類似度に、各成分の特徴量の類似度を均一化するための正規化値をかけることによって正規化を行うことを特徴とする被写体追尾装置。
3. 複数成分の特徴量を有する入力画像と、複数成分の特徴量を有するテンプレート画像とを比較して、前記入力画像と前記テンプレート画像との類似度を前記複数成分の特徴量ごとに算出する第１の類似度算出手段と、
   前記第１の類似度算出手段により算出される前記複数成分の特徴量の類似度に、各成分の特徴量の類似度を均一化するための正規化値をかけることによって正規化する正規化手段と、
   前記正規化後の類似度に、前記入力画像の特徴に応じた重み付けを行う重み付け手段と、
   前記重み付け手段による重み付け結果を加算することによって、前記入力画像と前記テンプレート画像との類似度を算出する第２の類似度算出手段とを備えることを特徴とする被写体追尾装置。
4. 請求項２または３に記載の被写体追尾装置において、
   前記正規化値は、あらかじめ算出されて記憶媒体に記録されており、
   前記正規化手段は、前記記憶媒体から前記正規化値を読み出して正規化を行うことを特徴とする被写体追尾装置。
5. 請求項１〜４のいずれか一項に記載の被写体追尾装置を備えるカメラ。
   

Images