JP7458723B2

JP7458723B2 - 画像処理装置、撮像装置、制御方法、およびプログラム

Info

Publication number: JP7458723B2
Application number: JP2019158516A
Authority: JP
Inventors: 暁彦上田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-08-30
Filing date: 2019-08-30
Publication date: 2024-04-01
Anticipated expiration: 2039-08-30
Also published as: JP2021040178A

Description

本発明は、被写体追跡を実行可能な画像処理装置、撮像装置、制御方法、およびプログラムに関する。

被写体の動きに追従して連続的に合焦を実行する被写体追跡に関する技術が提案されている。特許文献１には、撮影画像に含まれる被写体である人物の顔を検出する技術において、顔検出時に撮影画像を拡大するか否かを切替可能な構成が開示されている。

特開２００８－１７２３６８号公報

近年の被写体追跡においては、より小さな被写体を追尾することが求められている。ところが、小さな被写体を精度良く追尾するために撮影画像の解像度を増大させると、処理すべきデータの容量も増大してしまう。結果として、被写体追跡のための計算負荷が増大するので、適時な被写体追跡が困難になると共に消費電力も増大するという課題がある。

以上の事情に鑑み、本発明は、被写体追跡において適切なトリミングを実行可能な画像処理装置、撮像装置、制御方法、およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、被写体追跡を実行する画像処理装置であって、撮像素子から出力された画像に対応する色情報と距離情報を含む評価用画像とを用いて前記被写体追跡の対象である被写体領域を特定し、特定された前記被写体領域から抽出された特徴量を用いて前記被写体追跡を実行する追跡手段と、被写体を示す位置が指定されている場合、前記指定された位置を含むように前記評価用画像の領域を設定する設定手段と、被写体像を前記撮像素子に結像させる撮像光学系に関する光学情報に基づいてトリミングサイズを設定し、設定された前記トリミングサイズに従って前記評価用画像をトリミングするトリミング手段と、を備え、前記追跡手段は、トリミングされた前記評価用画像内の前記被写体領域から前記特徴量を抽出する、ことを特徴とする。

本発明によれば、被写体追跡において適切なトリミングを実行することができる。

本発明の実施形態に係る撮像装置の一例であるデジタルカメラの全体的な機能構成を示すブロック図である。本発明の実施形態に係る撮像素子の画素配列の例を示す説明図である。本発明の実施形態に係る追跡部の機能構成の例を示すブロック図である。本発明の実施形態におけるテンプレートマッチングに関する説明図である。本発明の実施形態におけるヒストグラムマッチングに関する説明図である。本発明の実施形態における被写体距離の取得手法に関する説明図である。本発明の実施形態における被写体領域の特定手法に関する説明図である。本発明の実施形態のメイン処理のフローチャートである。本発明の実施形態のサブ処理である焦点検出処理のフローチャートである。本発明の実施形態のサブ処理である被写体検出処理のフローチャートである。本発明の実施形態のサブ処理である被写体検出時のトリミング処理（第１トリミング処理）のフローチャートである。本発明の実施形態の第１トリミング処理における撮影倍率とトリミング倍率に関する図である。本発明の実施形態のサブ処理である被写体領域の特定処理のフローチャートである。本発明の実施形態のサブ処理である被写体追跡処理のフローチャートである。本発明の実施形態のサブ処理である被写体追跡時のトリミング処理（第２トリミング処理）のフローチャートである。本発明の実施形態の第２トリミング処理における被写体領域とトリミング倍率に関する図である。

以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。以下に説明される各実施形態は、本発明を実現可能な構成の一例に過ぎない。以下の各実施形態は、本発明が適用される装置の構成や各種の条件に応じて適宜に修正または変更することが可能である。また、以下の各実施形態に含まれる要素の組合せの全てが本発明を実現するのに必須であるとは限られず、要素の一部を適宜に省略することが可能である。したがって、本発明の範囲は、以下の各実施形態に記載される構成によって限定されるものではない。また、相互に矛盾のない限りにおいて実施形態内に記載された複数の構成を組み合わせた構成も採用可能である。

以下の実施形態においては撮像装置としてデジタルカメラが例示されるが、本実施形態の構成は撮影機能を有さない電子機器（画像処理装置）に対しても適用可能である。例えば、そのような電子機器として、スマートフォンを含む携帯電話機、タブレット端末、ゲーム機、パーソナルコンピュータ、ナビゲーションシステム、家電製品、ロボットが非限定的に例示される。

（撮像装置の構成）
図１は、本発明の実施形態に係る撮像装置の一例であるデジタルカメラ１００の全体的な機能構成を示すブロック図である。

概略的には、デジタルカメラ１００は、動画および静止画を撮影して記録することができる。図示の通り、デジタルカメラ１００が有する要素は、バス１６０を介して互いに通信可能であるように接続されている。デジタルカメラ１００の動作は、主制御部１５１によって統合的に制御される。

デジタルカメラ１００は、デジタルカメラ１００から撮影した被写体までの距離に関する距離情報を取得することができる。以上の距離情報は、例えば、各画素値が、その画素値に対応する被写体までの距離を示す距離画像であってよい。本実施形態の距離情報は、視差画像に基づいて取得されるが、他の手法によって距離情報が取得されてよい。本実施形態の視差画像は、１つのマイクロレンズを共有する複数の光電変換素子の組を有する撮像素子１４１を用いて取得されるが、他の手法によって視差画像が取得されてよい。例えば、デジタルカメラ１００がステレオカメラのような多眼カメラとして機能して視差画像を取得してもよいし、任意の手法によって取得され記憶されている視差画像のデータを読み込んでその視差画像を取得してもよい。

デジタルカメラ１００は、指定された特定の被写体領域と類似する領域の探索を継続的に実行することによって被写体追跡機能を実現する追跡部（追跡手段）１６１を有する。追跡部１６１は、視差画像から生成した距離情報を用いて以上の被写体領域の探索を実行する。追跡部１６１の構成および動作の詳細については後述される。

撮影レンズ１０１（レンズユニット）は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１、ズームモータ１１２、絞りモータ１０４、およびフォーカスモータ１３２を含む撮像光学系である。固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、およびフォーカスレンズ１３１が、撮像光学系を主として構成する。なお、便宜上、レンズ１０２、１１１、１２１、１３１は、それぞれ１枚のレンズとして図示されているが、それぞれ複数のレンズで構成されてもよい。また、撮影レンズ１０１は、デジタルカメラ１００と一体的に構成されてもよく、デジタルカメラ１００の本体に着脱可能な交換レンズとして構成されてもよい。

絞り制御部１０５は、絞り１０３を駆動する絞りモータ１０４の動作を制御して絞り１０３の開口径を変更する。

ズーム制御部１１３は、ズームレンズ１１１を駆動するズームモータ１１２の動作を制御して撮影レンズ１０１の焦点距離（画角）を変更する。

フォーカス制御部１３３は、撮像素子１４１から得られる１対の焦点検出用信号（Ａ像およびＢ像）の位相差に基づいて、撮影レンズ１０１（フォーカスレンズ１３１）のデフォーカス量およびデフォーカス方向を算出する。そして、フォーカス制御部１３３は、デフォーカス量およびデフォーカス方向をフォーカスモータ１３２の駆動量および駆動方向に変換する。以上の変換によって取得した駆動量および駆動方向に基づいて、フォーカス制御部１３３は、フォーカスモータ１３２の動作を制御してフォーカスレンズ１３１を駆動することにより、撮影レンズ１０１の焦点状態を制御する。このようにして、フォーカス制御部１３３は位相差検出方式の自動焦点検出（ＡＦ）を実施する。なお、フォーカス制御部１３３は、撮像素子１４１から得られる画像信号から得られるコントラスト評価値に基づくコントラスト検出方式のＡＦを実行してもよい。

撮影レンズ１０１によって撮像素子１４１の結像面に形成される被写体像は、撮像素子１４１に２次元的に配置された複数の画素がそれぞれ有する光電変換素子により電気信号（画像信号）に変換される。本実施形態では、撮像素子１４１に、水平方向にｍ行、垂直方向にｎ列（ｍ，ｎは２以上の整数）の画素が行列状に配置されており、各画素には２つの光電変換素子（光電変換領域）が設けられている。撮像素子１４１からの信号読み出しは、主制御部１５１からの指示に従ってセンサ制御部１４３が制御する。

（撮像素子の画素配列）
図２を参照して、本実施形態に係る撮像素子１４１の画素配列について説明する。図２は、本実施形態に係る撮像素子１４１における画素２００の配置例を模式的に示す図であり、水平方向（行方向）に４画素、垂直方向（列方向）に４画素の合計１６画素からなる領域を代表的に示している。撮像素子１４１の各画素２００には、１つのマイクロレンズ２１０と、マイクロレンズ２１０を介して受光する２つの光電変換素子２０１、２０２とが設けられている。図２の例では、水平方向に２つの光電変換素子２０１、２０２が配置されているため、各画素２００は撮影レンズ１０１の瞳領域を水平方向に分割する機能を有する。なお、光電変換素子は、垂直方向に分割配置されてもよいし、光電変換素子の分割方向が異なる画素２００が撮像素子１４１内に混在していてもよい。また、光電変換素子は、垂直および水平の両方向に分割されていてもよい。光電変換素子が、同一方向において３つ以上に分割されていてもよい。

撮像素子１４１には、水平方向２画素×垂直方向２画素の４画素を繰り返し単位とする原色ベイヤー配列のカラーフィルタが設けられている。カラーフィルタは、Ｒ（赤）およびＧ（緑）が水平方向に繰り返し配置される行と、ＧおよびＢ（青）が水平方向に繰り返し配置される行とが交互に配置された構成を有する。以下の説明では、赤フィルタが設けられた画素２００Ｒを赤画素、Ｇ（緑）フィルタが設けられた画素２００Ｇを緑画素、Ｂ（青）フィルタが設けられた画素２００Ｂを青画素と呼ぶことがある。

以下の説明では、１つの画素２００にそれぞれ含まれる第１の光電変換素子２０１をＡ画素、第２の光電変換素子２０２をＢ画素と呼び、Ａ画素から読み出される画像信号をＡ信号、Ｂ画素から読み出される画像信号をＢ信号と呼ぶことがある。ある領域に含まれる複数の画素２００から得られるＡ信号で構成される画像（Ａ像）と、Ｂ信号で構成される画像（Ｂ像）とが、１組の視差画像を構成する。したがって、デジタルカメラ１００は、１回の撮影によって２つの視差画像を生成することができる。また、画素ごとにＡ信号とＢ信号とを加算すると、瞳分割機能を持たない一般的な画素と同様の信号を得ることができる。以下の説明では、このＡ信号とＢ信号とを加算した加算信号をＡ＋Ｂ信号と呼び、Ａ＋Ｂ信号から構成される画像を撮像画像と呼ぶことがある。

以上のように、１つの画素２００から、第１の光電変換素子２０１の出力（Ａ信号）、第２の光電変換素子２０２の出力（Ｂ信号）、および第１の光電変換素子２０１と第２の光電変換素子２０２の加算出力（Ａ＋Ｂ信号）という３種類の信号を読み出せる。なお、Ａ信号は、第１の光電変換素子２０１からの読出しに代えて、Ａ＋Ｂ信号からＢ信号を減ずることによっても求められる。Ｂ信号についても同様である。

図１に戻って、引き続き、デジタルカメラ１００の全体的な構成について説明する。撮像素子１４１から読み出された画像信号は、信号処理部１４２に供給される。撮像手段としての信号処理部１４２は、ノイズ低減処理、Ａ／Ｄ変換処理、自動利得制御処理などの信号処理を画像信号に対して適用し、適用後の画像信号をセンサ制御部１４３に出力する。センサ制御部１４３は、信号処理部１４２から受信した画像信号を揮発性の記憶媒体であるＲＡＭ（Random Access Memory）１５４に蓄積する。

画像処理部１５２は、ＲＡＭ１５４に蓄積された画像データに対して所定の画像処理を適用（実行）する。画像処理部１５２が適用する画像処理には、ホワイトバランス調整処理、色補間（デモザイク）処理、ガンマ補正処理といった所謂現像処理の他、信号形式変換処理、スケーリング処理、被写体検出処理、被写体認識処理などの処理が非限定的に含まれる。また、画像処理部１５２は、自動露出制御（ＡＥ）に用いられる被写体輝度に関する情報を生成することができる。画像処理部１５２は、被写体検出処理や被写体認識処理の結果を他の画像処理（例えば、ホワイトバランス調整処理）に利用してもよい。なお、デジタルカメラ１００がコントラスト検出方式のＡＦを行う場合、画像処理部１５２がＡＦ評価値を生成してもよい。画像処理部１５２は、画像処理を適用した画像データ（視差画像、撮像画像）をＲＡＭ１５４に保存する。

加えて、画像処理部１５２は、トリミング手段として機能することができ、被写体検出時に用いる評価用画像のトリミングを実行する。トリミングの詳細については後述される。

主制御部１５１は、記憶部１５５等に記憶されたプログラムをＲＡＭ１５４に展開し実行することでデジタルカメラ１００の各要素を統合的に制御して、デジタルカメラ１００の各機能を実現する。主制御部１５１は、以上のプログラムを実行する１つ以上のＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のプログラマブルプロセッサを有する。

また、主制御部１５１は、被写体輝度の情報に基づいて露出条件（シャッタースピード、蓄積時間、絞り値、感度等）を自動的に決定するＡＥ（Automatic Exposure）処理を実行する。被写体輝度の情報は、例えば、画像処理部１５２から取得することができる。主制御部１５１は、例えば、人物の顔など、特定被写体を含む領域を基準として露出条件を決定することもできる。主制御部１５１は、動画撮影時には絞り値を固定し、電子シャッタスピード（蓄積時間）とゲインの大きさとで露出を制御する。主制御部１５１は、決定した蓄積時間とゲインの大きさとをセンサ制御部１４３に通知する。センサ制御部１４３は、通知された露出条件に従った撮影が行われるように撮像素子１４１の動作を制御する。

本実施形態では、１回の撮影によって、１組（２枚）の視差画像と、撮像画像との計３つの画像が取得可能である。画像処理部１５２は、１回の撮影によって取得された各画像に対して画像処理を適用し、ＲＡＭ１５４に書き込む。追跡部１６１は、１組の視差画像から被写体の距離情報を取得して、撮像画像を対象とした被写体追跡処理に利用する。被写体追跡に成功した場合、追跡部１６１は、撮像画像内の被写体領域の位置についての情報と、その位置の信頼度に関する情報を出力する。

被写体追跡の結果は、例えば、焦点検出領域の自動設定に用いることができる。結果として、特定の被写体領域に対する追跡ＡＦ機能を実現できる。また、焦点検出領域の輝度情報に基づいてＡＥ処理を行ったり、焦点検出領域の画素値に基づいて画像処理（例えば、ガンマ補正処理やホワイトバランス調整処理など）を行ったりすることもできる。なお、主制御部１５１は、現在の被写体領域の位置を表す指標（例えば、領域を囲む矩形枠）を、表示部１５０に表示される表示画像に重畳的に表示させてもよい。

記憶部１５５は、主制御部１５１が実行するプログラム、プログラムの実行に必要な設定値、ＧＵＩデータ、ユーザ設定値などのデータを記憶する。操作部１５６の操作によって電源ＯＦＦ状態から電源ＯＮ状態への移行がユーザから指示されると、記憶部１５５に格納されたプログラムがＲＡＭ１５４の一部に読み込まれ、主制御部１５１がプログラムを実行する。

表示部１５０は、ＲＡＭ１５４に格納された画像データや露出条件、トリミング倍率等の設定情報を表示装置に表示させる要素である。表示装置として、例えば、液晶ディスプレイや有機ＥＬディスプレイが用いられる。画像データを表示する際に、主制御部１５１は、表示部１５０による表示サイズに適合するように画像処理部１５２に画像データをスケーリングさせ、スケーリング後の画像データをＲＡＭ１５４内のビデオメモリ領域（ＶＲＡＭ領域）に書き込ませる。表示部１５０は、ＲＡＭ１５４のＶＲＡＭ領域に格納された表示用の画像データを読み出して表示装置に表示させる。

表示部１５０は、デジタルカメラ１００による動画撮影時（撮影スタンバイ状態または動画記録状態）に、撮影された動画を表示装置に即時に表示することによって、表示装置を電子ビューファインダー（ＥＶＦ）として機能させることができる。表示部１５０がＥＶＦを実現している際に表示される動画像およびそのフレーム画像は、ライブビュー画像またはスルー画像と呼ばれる。表示部１５０は、デジタルカメラ１００による静止画撮影時、直前に撮影された静止画を表示装置に一定時間に亘って表示することによって、ユーザが撮影結果を確認できるようにする。以上の動画および静止画の表示動作は、主制御部１５１が表示部１５０を制御することによって実現される。

操作部１５６は、ユーザがデジタルカメラ１００に対して指示を入力するための要素であって、例えば、スイッチ、ボタン、キー、タッチパネル等を含む。操作部１５６に対して入力された指示はバス１６０を介して主制御部１５１に供給され、主制御部１５１は入力された指示に応じた動作を実現するために各要素を制御する。

記録媒体１５７は、画像データ等のデータを記録する記録媒体であって、例えば、デジタルカメラ１００に着脱可能なメモリカードである。主制御部１５１は、ＲＡＭ１５４に保存されている画像データを記録媒体１５７に記録するに際して、所定のデータを画像データに付する等の処理を実行して、ＪＰＥＧ等の記録形式に応じたデータファイルを生成する。以上のデータファイル生成において、主制御部１５１は、圧縮解凍部１５３に画像データを符号化させて情報量を圧縮してもよい。

バッテリ１５９は、電源管理部１５８により管理される電源であって、デジタルカメラ１００の全体に電力を供給する。

（追跡部の構成および動作）
図３は、本実施形態に係る追跡部１６１の機能構成の例を示すブロック図である。追跡部１６１は、機能ブロックとして、照合部１６１０と、特徴抽出部１６２０と、距離マップ生成部１６３０とを有する。概略的には、追跡部１６１は、指定された位置から追跡を行う画像領域（被写体領域）を特定し、特定された被写体領域から特徴量を抽出する。追跡部１６１は、画像処理部１５２から供給される個々の撮像画像に対して、先に抽出した特徴量と類似度の高い領域を被写体領域として探索する。また、追跡部１６１は、１対の視差画像から距離情報（評価用画像）を取得し、被写体領域の特定に利用する。以下、追跡部１６１（照合部１６１０、距離マップ生成部１６３０、特徴抽出部１６２０）が実行する処理について詳細に説明する。

（照合部）
照合部１６１０は、特徴抽出部１６２０から供給される被写体領域の特徴量を用いて、画像処理部１５２から供給される画像内の被写体領域を探索する。照合部１６１０は、任意の手法によって画像の特徴量による領域探索を実行できるが、例えば、テンプレートマッチングおよびヒストグラムマッチングの少なくとも一方が領域探索手法として用いられると好適である。テンプレートマッチングおよびヒストグラムマッチングについて、以下に説明する。

テンプレートマッチングは、画素パターンをテンプレートとして設定し、設定されたテンプレートとの類似度が最も高い領域を画像内で探索する技術である。テンプレートと画像領域との類似度としては、対応画素間の差分絶対値和のような相関量を用いることができる。

図４は、本発明の実施形態におけるテンプレートマッチングの説明図である。図４（ａ）は、テンプレート３０１とその詳細構成３０２を模式的に例示する説明図である。テンプレートマッチングを行う場合、特徴抽出部１６２０は、テンプレートとして用いる画素パターンを特徴量として照合部１６１０に供給する。本例では、照合部１６１０が、水平画素数Ｗ、垂直画素数Ｈの大きさを有するテンプレート３０１に含まれる画素の輝度値を特徴量Ｔとして用いてパターンマッチングを行う。照合部１６１０は、必要に応じて画素データをＲＧＢ形式からＹＵＶ形式に変換してよい。パターンマッチングに用いるテンプレート３０１の特徴量Ｔ（ｉ，ｊ）は、テンプレート３０１内の座標を図４（ａ）に示すような座標系で表した場合、以下の式（１）で表現される。
T(i,j) = {T(0,0), T(1,0), ..., T(W-1,H-1)} （１）

図４（ｂ）は、被写体領域に含まれる探索領域３０３とその詳細構成３０５を模式的に例示する説明図である。探索領域３０３は、画像内でパターンマッチングを実行する対象となる範囲であって、画像の全体または一部であってよい。以下、探索領域３０３内の座標を、（ｘ，ｙ）のように表記する。比較領域３０４は、テンプレート３０１と同じ大きさ（水平画素数Ｗ、垂直画素数Ｈ）を有する領域であって、テンプレート３０１との類似度を算出する対象となる画像内の領域である。照合部１６１０は、比較領域３０４に含まれる画素の輝度値と、テンプレート３０１に含まれる輝度値とを比較して類似度を算出する。パターンマッチングに用いる比較領域３０４の特徴量Ｓ（ｉ，ｊ）は、比較領域３０４内の座標を図４（ｂ）に示すような座標系で表した場合、以下の式（２）で表現される。
S(i,j) = {S(0,0), S(1,0), ..., S(W-1,H-1)} （２）

照合部１６１０は、テンプレート３０１と比較領域３０４との類似性を表す評価値Ｖ（ｘ，ｙ）として、以下の式（３）に示す差分絶対値和（Sum of Absolute Difference, ＳＡＤ）を算出する。２組のデータにおいて、差分絶対値和が低いほど類似度が高い。Ｖ（ｘ，ｙ）は、探索領域３０３内を移動する比較領域３０４の左上頂点座標（ｘ，ｙ）における評価値として扱われる。

照合部１６１０は、比較領域３０４を１画素ずつ移動させながら、探索領域３０３内の各位置において評価値Ｖ（ｘ，ｙ）を取得する。より具体的には、照合部１６１０は、比較領域３０４を、探索領域３０３の左上座標（０，０）から開始して右方向に１画素ずつ移動させながら評価値Ｖ（ｘ，ｙ）を取得する。比較領域３０４の右端が探索領域３０３の右端ｘ＝（Ｘ－１）－（Ｗ－１）に到達すると、照合部１６１０は、比較領域３０４を左端に戻すと共に下方向に１画素だけ移動させる。そして、照合部１６１０は、再び左端から開始して右方向に１画素ずつ比較領域３０４を移動させながら評価値Ｖ（ｘ，ｙ）を取得する。

評価値Ｖが小さいほど類似度が高いので、評価値Ｖ（ｘ，ｙ）が最小値を示す座標（ｘ，ｙ）が、テンプレート３０１と最も類似した画素パターンを有する探索領域３０３内の比較領域３０４の位置を示す。照合部１６１０は、評価値Ｖ（ｘ，ｙ）が最小値を示す位置の比較領域３０４を、探索領域３０３内に存在する被写体領域として検出する。なお、照合部１６１０は、以上の探索結果の信頼性が低い場合（例えば、評価値Ｖ（ｘ，ｙ）の最小値が所定の閾値を上回る場合）には、被写体領域が未検出であると判定してもよい。

本例では、特徴量として輝度値を用いてパターンマッチングを実行しているが、複数の値（例えば、明度、色相、および彩度）を特徴量として用いてもよい。また、本例では、パターンマッチングにおける類似度の評価値として差分絶対値和を用いているが、他の評価値、例えば、正規化相互相関（Normalized Cross-Correlation, ＮＣＣ）やＺＮＣＣを用いてもよい。

次いで、他のマッチング手法であるヒストグラムマッチングについて説明する。図５は、本発明の実施形態におけるヒストグラムマッチングの説明図である。

図５（ａ）は、基準領域４０１とそのヒストグラム４０２を模式的に例示する説明図である。ヒストグラムマッチングを行う場合、特徴抽出部１６２０は、基準領域４０１の輝度ヒストグラムを特徴量として照合部１６１０に供給する。本例の基準領域４０１のヒストグラムｐ（ｍ）４０２は、階級の数を示すビン数がＭ（Ｍは２以上の整数）であって、以下の式（４）で表現される。なお、本実施形態において、ヒストグラムｐ（ｍ）は正規化された正規化ヒストグラムである。
p(m) = {p(0), p(1), ..., p(M-1)} （４）

図５（ｂ）は、被写体領域に含まれる探索領域４０３とその特徴量（輝度ヒストグラム４０５）を模式的に例示する説明図である。図４の例では、探索領域３０３内を比較領域３０４が移動しながらパターンマッチングが実行されるが、図５の例では、探索領域４０３内を比較領域４０４が移動しながらヒストグラムマッチングが実行される。図４の例では、比較領域３０４に含まれる画素の輝度値とテンプレート３０１に含まれる輝度値とが比較される。図５の例では、照合部１６１０が、比較領域４０４の輝度ヒストグラムｑ（ｍ）４０５と、基準領域４０１の輝度ヒストグラムｐ（ｍ）４０２とを比較して類似度を算出する。他の動作については、図４の例と図５の例とで同様である。本例の比較領域４０４のヒストグラムｑ（ｍ）４０５は、階級の数を示すビン数がＭ（Ｍは２以上の整数）であって、以下の式（５）で表現される。なお、本実施形態において、ヒストグラムｑ（ｍ）は正規化された正規化ヒストグラムである。
q(m) = {q(0), q(1), ..., q(M-1)} （５）

照合部１６１０は、基準領域４０１のヒストグラムｐ（ｍ）と比較領域４０４のヒストグラムｑ（ｍ）との類似性を表す評価値Ｄ（ｘ，ｙ）として、以下の式（６）に示すBhattacharyya係数を算出する。２つのヒストグラムにおいて、Bhattacharyya係数が高いほど類似度が高い。Ｄ（ｘ，ｙ）は、探索領域４０３内を移動する比較領域４０４の左上頂点座標（ｘ，ｙ）における評価値として扱われる。

照合部１６１０は、図４のテンプレートマッチングと同様に、比較領域４０４を１画素ずつ移動させながら、探索領域４０３内の各位置において評価値Ｖ（ｘ，ｙ）を取得する。

評価値Ｄが大きいほど類似度が高いので、評価値Ｄ（ｘ，ｙ）が最大値を示す座標（ｘ，ｙ）が、基準領域４０１と最も類似した画素パターンを有する探索領域４０３内の比較領域４０４の位置を示す。照合部１６１０は、評価値Ｄ（ｘ，ｙ）が最大値を示す位置の比較領域４０４を、探索領域４０３内に存在する被写体領域として検出する。

本例では、特徴量として輝度値を用いてヒストグラムマッチングを実行しているが、複数の値（例えば、明度、色相、および彩度）を特徴量として用いてもよい。また、本例では、ヒストグラムマッチングにおける類似度の評価値としてBhattacharyya係数を用いているが、他の評価値、例えば、ヒストグラムインタセクションを用いてもよい。

（距離マップ生成部）
距離マップ生成部１６３０は、１組の視差画像から被写体距離を算出して距離マップ（評価用画像）を生成する。距離マップは、複数の画素の各々における被写体距離を示す距離情報の一種であって、他に、デプスマップ、奥行き画像、距離画像と称されることのある情報である。なお、距離マップ生成部１６３０は、視差画像を用いずに、複数の画素の各々についてコントラスト評価値が極大となるフォーカスレンズ１３１の位置を求めることで被写体距離を算出して距離マップを生成してもよい。被写体距離の算出について、図６を参照して以下に説明する。

図６は、本発明の実施形態における被写体距離の取得手法に関する説明図である。図６において、まず、前述した１組の視差画像であるＡ像１１５１ａとＢ像１１５１ｂとが取得されていると想定する。撮影レンズ１０１の焦点距離、および、フォーカスレンズ１３１と撮像素子１４１との距離情報を用いると、図６の実線に示されるように光束が屈折することを求めることができる。以上のように光束を求めた結果、ピントの合った被写体が位置１１５２ａに位置していることを求めることができる。同様にして、１組の視差画像であるＡ像１１５１ａとＢ像１１５１ｃとが取得されている場合には、ピントの合った被写体が位置１１５２ｂに位置していることを求めることができる。また、１組の視差画像であるＡ像１１５１ａとＢ像１１５１ｄとが取得されている場合には、ピントの合った被写体が位置１１５２ｃに位置していることを求めることができる。上記したように、各画素において、その画素のＡ像と、そのＡ像に対応するＢ像との相対的な位置関係に基づいて、その画素の位置における被写体距離を求めることができる。

以上の原理に基づいて、距離マップ生成部１６３０が、各画素についての１組の視差画像（Ａ像およびＢ像）から被写体距離を求めて距離マップを生成する。距離マップ生成部１６３０は、１組の視差画像であるＡ像１１５１ａとＢ像１１５１ｄとが取得されている場合、ＡＢ像間の像ずれ量の半分に相当する中間点の画素１１５４から被写体位置１１５２ｃまでの距離１１５３を、画素１１５４の画素値として取得する。距離マップ生成部１６３０は、以上のような処理を各画素について実行することによって距離マップを生成して、特徴抽出部１６２０に供給する。距離マップ生成部１６３０は、画像全体に亘って距離マップを生成してもよいし、特徴量を抽出するために指定された部分領域のみに亘って距離マップを生成してもよい。なお、距離マップ生成部１６３０は、画素１１５４から被写体位置１１５２ｃまでの距離１１５３に代えて、距離１１５３に相当するデフォーカス量を画素１１５４の画素値として取得してもよい。

距離マップ生成部１６３０は、距離マップの生成対象領域を分割した微小領域ごとにデフォーカス量を算出して距離マップを生成してもよい。より具体的には、距離マップ生成部１６３０は、各微小領域に含まれる複数の画素からＡ像およびＢ像を生成し、ＡＢ像間の位相差（像ずれ量）を相関演算によって求めてデフォーカス量に変換する。以上のように距離マップを生成する場合、同じ微小領域に含まれる複数の画素は、それぞれ同じ被写体距離を示すこととなる。

（特徴抽出部）
特徴抽出部１６２０は、被写体領域を追跡（探索）するのに用いる特徴量を被写体領域から抽出する。テンプレートマッチングを用いて追跡が実行される場合、特徴抽出部１６２０は、テンプレートとして用いる画像領域（テンプレート画像）を特徴量として抽出する。また、ヒストグラムマッチングを用いて追跡が実行される場合、特徴抽出部１６２０は、基準領域に対応するヒストグラムを特徴量として抽出する。なお、特徴抽出部１６２０は、追跡手法に対応する任意の特徴量を抽出することができる。

一般に、被写体追跡を実行する場合、実行に先立って、追跡対象とすべき被写体の画像内での位置をユーザが指定する。本実施形態のデジタルカメラ１００では、撮影スタンバイ状態において、表示部１５０が表示装置に表示させている画像内での対象被写体の位置を、ユーザが操作部１５６を操作して指定する。主制御部１５１は、ユーザが指定した指定位置の座標を取得して、特徴抽出部１６２０に供給する。以上の指定位置の座標は、例えば、タッチパネルとしての操作部１５６においてタップされた位置の座標や、操作部１５６の操作に従って画像上を移動するカーソルによって指定された位置の座標である。

図７を参照して、特徴量を抽出すべき被写体領域を特定する手法について説明する。概略的には、本実施形態の特徴抽出部１６２０は、色情報と距離情報とに基づいて被写体領域を特定する。

図７（ａ）は、画像処理部１５２から入力される撮像画像の例を示す。図７（ａ）の撮像画像には、人物の顔５０１と背景５０２とが含まれている。指定位置５０３は、人物の顔５０１の範囲内の点の座標を示す値であって、例えば、操作部１５６を用いたユーザの操作によって指定される位置である。本例において、背景５０２の色情報と人物の顔５０１の色情報とが類似していると想定する。

特徴抽出部１６２０は、まず、指定位置５０３を含む指定領域（例えば、指定位置５０３を中心とする所定サイズの矩形領域）を仮被写体領域として設定し、仮被写体領域についての色ヒストグラムＨ_ｉｎを生成する。加えて、特徴抽出部１６２０は、仮被写体領域の周辺領域において、仮被写体領域と同じ大きさを有する参照領域についての色ヒストグラムＨ_ｏｕｔを生成する。色ヒストグラムは、生成対象領域における色の頻度を表すグラフであって、本例の色ヒストグラムは、ＲＧＢ色空間からＨＳＶ色空間に変換された生成対象領域の画素値のうち色相（Hue）の頻度を表すグラフである。なお、他の手法によって色ヒストグラムが取得されてもよい。

次いで、特徴抽出部１６２０は、以下の式（７）に従って情報量Ｉ（ａ）を取得する。
I(a) = -log₂（H_in(a)/H_out(a)）（７）

ここで、式（７）中のａは、色ヒストグラムに含まれるビンの項番を示す整数である。情報量Ｉ（ａ）の絶対値は、仮被写体領域に含まれる画素の色頻度と参照領域に含まれる画素の色頻度との差が大きいほど大きい。特徴抽出部１６２０は、色ヒストグラムに含まれる全てのビンについて情報量Ｉ（ａ）を算出する。特徴抽出部１６２０は、参照領域の位置を変更しながら周辺領域の全体について色ヒストグラムＨ_ｏｕｔの生成および情報量Ｉ（ａ）の算出を実行する。なお、仮被写体領域自体については、特徴抽出部１６２０は、全てのビンの情報量Ｉ（ａ）を０とする。

特徴抽出部１６２０は、周辺領域の全体について算出した情報量Ｉ（ａ）の各々を、特定範囲（例えば、８ビット値（０～２５５）の範囲）内の値にマッピングする。以上のマッピングにおいて、特徴抽出部１６２０は、情報量Ｉ（ａ）の絶対値が小さいほどマッピング後の値（マッピング値）が大きくなるように処理を実行する。次いで、特徴抽出部１６２０は、周辺領域に含まれる各画素を、当該画素を含む参照領域の色ヒストグラムにおいて当該画素を含むビンＨ_ｏｕｔ（ａ）に対応する情報量Ｉ（ａ）のマッピング値を輝度値とする画素に置換する。特徴抽出部１６２０は、仮被写体領域に含まれる各画素を、情報量Ｉ（ａ）＝０のマッピング値（本例では、２５５）を輝度値とする画素に置換する。

以上の処理によって、特徴抽出部１６２０が、色情報に基づく被写体マップ（色マップ）を生成する。図７（ｂ）は、以上のように生成された色情報に基づく被写体マップ（色マップ）の例である。図７（ｂ）の被写体マップは、画素の示す色が白に近い（値が大きい）ほど被写体に対応する画素である確からしさが高く、画素の示す色が黒に近いほど（値が小さい）ほど被写体に対応する画素である確からしさが低いことを示す。説明の簡単のため、図７（ｂ）では被写体マップが２値画像として示されているが、実際の色情報に基づく被写体マップは多値で表現される多階調画像である。

本例では、撮像画像の背景５０２の一部の色が人物の顔５０１の色と類似しているので、以上の色情報に基づく被写体マップ（色マップ）においては人物の顔５０１が背景５０２と十分に識別されていない。図７（ｃ）に示される矩形領域５０４は、色情報に基づく被写体マップに基づいて特定された被写体領域を示している。以上の矩形領域５０４は、例えば、色マップにおいてマッピング後の画素値（マッピング値）が所定閾値以上である領域に基づいて設定される（更新される）。

図７（ｃ）に示すように、本例において、色情報に基づく被写体マップのみに従って設定された被写体領域（矩形領域５０４）は人物の顔５０１でない不要な領域を含んでいる。以上のような被写体領域から抽出した特徴量を用いて被写体領域を追跡しても、対象物である人物の顔５０１を精度よく追跡することは困難である。したがって、本実施形態では、色情報に基づく被写体マップ（色マップ）に加えて、距離マップ生成部１６３０が生成した距離マップも使用して被写体領域の特定精度を向上させる。

図７（ｄ）は、図７（ａ）の撮像画像について距離マップ生成部１６３０が生成した距離マップ内の各被写体距離を、指定位置５０３に相当する被写体距離を基準として特徴抽出部１６２０が変換した後の距離マップを示す。図７（ｄ）においては、基準となる被写体距離（指定位置５０３の被写体距離）との差が小さい被写体距離ほどより白く、差が大きい被写体距離ほどより黒く表示されるように変換されている。説明の簡単のため、図７（ｄ）では距離マップが２値画像として示されているが、実際の変換後の距離マップは多値で表現される多階調画像である。

特徴抽出部１６２０は、色情報に距離情報を加味した被写体マップを、例えば、色情報に基づく被写体マップ（色マップ）の画素値（図７（ｂ））と距離マップの画素値（図７（ｄ））とをそれぞれ乗算することによって生成する。図７（ｅ）は、色情報に距離情報を加味した被写体マップ（すなわち、色情報と距離情報との双方に基づく被写体マップ）の例である。図７（ｅ）に示すように、色情報および距離情報に基づく被写体マップでは、人物の顔５０１と背景５０２とが精度良く区別されている。図７（ｆ）に示される矩形領域５０５は、色情報および距離情報に基づく被写体マップに基づいて特定された被写体領域を示している。以上の矩形領域５０５は、例えば、図７（ｅ）の被写体マップにおける画素値が所定閾値以上である領域に基づいて設定され、より具体的には、画素値によって特定された対象物（本例では人物の顔５０１）の領域に外接するように設定される。

図７（ｆ）に示すように、色情報および距離情報に基づく被写体マップに従って設定された被写体領域（矩形領域５０５）においては、人物の顔５０１以外の画素（背景５０２の画素）が矩形領域５０４と比較して少ない。したがって、以上のような被写体領域から抽出した特徴量を用いて被写体領域を追跡すると、対象物である人物の顔５０１を精度よく追跡することができる。

上記したように、指定位置を含む所定の範囲に関する色情報と距離情報との双方を参照することによって、被写体領域をより精度良く特定することができ、ひいては高精度の被写体追跡を実現するのに適した特徴量を抽出することができる。

なお、ユーザによって追跡対象とすべき被写体の位置が指定された時点において、指定位置およびその近傍領域の有効な距離情報（参照するに足りる信頼性を有する距離情報）が取得されていないケースも想定される。例えば、距離マップの生成が特定領域（例えば、焦点検出領域）のみについて実行されており指定位置がその特定領域に含まれていないケースや、指定位置においてピントが合っておらず距離情報の信頼性が低いケース等が想定され得る。

以上のようなケースに対応するため、指定位置近傍（仮被写体領域）について参照するに足りる信頼性を有する距離情報が取得されている場合、特徴抽出部１６２０は、前述のように、色情報に加えて距離情報を参照して被写体領域を特定する。他方、指定位置近傍（仮被写体領域）について参照するに足りる信頼性を有する距離情報が取得されていない場合、特徴抽出部１６２０は、距離情報を参照せずに色情報に基づいて被写体領域を特定する。「参照するに足りる信頼性を有する距離情報」とは、例えば、仮被写体領域が合焦状態または合焦に近い状態（すなわち、デフォーカス量が所定閾値以下である状態）において取得された距離情報である。なお、他の条件に従って「参照するに足りる信頼性を有する距離情報」が取得されてもよい。

（フローチャート）
図８から図１６を参照して、本発明の実施形態に係るデジタルカメラ１００によって実行される撮像画像（動画）における被写体検出および被写体追跡の詳細な流れについて説明する。図８は、本実施形態のメイン処理（メインルーチン）を示すメインフローチャートである。図９から図１１および図１３から図１５は、それぞれ、メイン処理または他のサブ処理（サブルーチン）に含まれるサブ処理を示すサブフローチャートである。

図８を参照して、本実施形態の被写体検出および被写体追跡のメイン処理について説明する。以下のメイン処理は、典型的には主制御部１５１によって実行されるが、一部または全部の処理が画像処理部１５２によって実行されてもよい。

ステップＳ８０１において、主制御部１５１は、ユーザによって焦点検出領域の位置指定が行われるか否かを判定する。ユーザが指定位置を指定しない場合（Ｓ８０１：ＮＯ）、主制御部１５１は、ステップＳ８０２をスキップして処理をステップＳ８０３に進める。他方、ユーザが指定位置を指定する場合、主制御部１５１は、処理をステップＳ８０２に進める。

ユーザが指定位置を指定しない（検出対象の被写体を指定しない）場合、主制御部１５１は、所定の手法に従って自動的に対象被写体および焦点検出位置を特定してもよい。例えば、主制御部１５１は、瞳認識によって認識された瞳を含む人間の顔を対象被写体として特定してもよいし、連続する画像内で動いている物体を対象被写体として特定してもよい。以上の特定処理は、ステップＳ８０１でＮＯと判定された後から実行されてもよいし、後述するステップＳ８０３で焦点検出が指示されてから実行されてもよい。

ステップＳ８０２において、主制御部１５１は、ユーザによって指定された位置を焦点検出位置として設定する。ユーザによって指定された位置とは、例えば、ユーザがタッチパネルとしての操作部１５６においてタップされた位置の座標や、操作部１５６の操作に従って画像上を移動するカーソルによって指定された位置の座標である。

ステップＳ８０３において、主制御部１５１は、焦点検出が指示されているか否かを判定する。ユーザは、例えば、操作部１５６のシャッターボタンの半押し操作や、操作部１５６のタッチパネルのタッチ操作によって、焦点検出を指示することができる。焦点検出が指示されている場合（Ｓ８０３：ＹＥＳ）、主制御部１５１は処理をステップＳ８０４に進める。他方、焦点検出が指示されていない場合（Ｓ８０３：ＮＯ）、主制御部１５１は本処理を終了する。

ステップＳ８０４において、主制御部１５１は、画像処理部１５２やフォーカス制御部１３３等の要素を制御して、後述される焦点検出処理を実行する。

ステップＳ８０５において、主制御部１５１は、追跡対象とすべき被写体が検出されているか否かを判定する。

被写体が検出されていない場合（Ｓ８０５：ＮＯ）、主制御部１５１は、処理をステップＳ８０６に進め、後述される被写体検出処理を実行する。ステップＳ８０６の後、主制御部１５１は処理をステップＳ８０７に進める。

被写体が検出されている場合（Ｓ８０５：ＹＥＳ）、主制御部１５１は、ステップＳ８０６をスキップして処理をステップＳ８０７に進め、後述される被写体追跡処理を実行する。

ステップＳ８０７の被写体追跡処理が終了すると、主制御部１５１は、処理をステップＳ８０３に戻し、焦点検出指示がなされている間に亘ってステップＳ８０３からステップＳ８０７までの処理を繰り返す。

図９を参照して、本実施形態のサブ処理であるステップＳ８０４の焦点検出処理について説明する。

ステップＳ９０１において、フォーカス制御部１３３は、ステップＳ８０２でユーザが指定した位置（または、自動的に特定された位置）に対応する焦点検出領域におけるデフォーカス量を算出する。なお、ステップＳ８０１の判定がＮＯであった場合（位置指定がされない場合）、フォーカス制御部１３３は、複数の焦点検出領域について算出されたデフォーカス量に基づいて、１つまたは同一深度に相当する複数の焦点検出領域を特定する。

ステップＳ９０２において、フォーカス制御部１３３は、ステップＳ９０１で算出したデフォーカス量に基づいてフォーカスレンズ１３１の駆動量を算出する。算出した駆動量に基づいて、フォーカス制御部１３３がフォーカスレンズ１３１を駆動することで、撮影レンズ１０１の焦点合わせを実行する。

ステップＳ９０２が終了すると、本サブ処理がメイン処理に戻される。

図１０を参照して、本実施形態のサブ処理であるステップＳ８０６の被写体検出処理について説明する。

ステップＳ１００１において、主制御部１５１は、被写体検出に用いられる評価用画像に対するトリミング処理（第１トリミング処理）を実行するように画像処理部１５２（トリミング手段）を制御する。本処理の詳細については、図１１および図１２を参照して後述される。

ステップＳ１００２において、主制御部１５１は、図１３を参照して後述される被写体領域の特定処理を実行するように追跡部１６１を制御する。

ステップＳ１００２が終了すると、本サブ処理がメイン処理に戻される。

図１１および図１２を参照して、本実施形態のサブ処理であるステップＳ１００１の被写体検出時のトリミング処理（第１トリミング処理）について説明する。図１１は以上のトリミング処理のフローチャートであり、図１２は以上のトリミング処理におけるトリミング倍率（トリミングサイズ）と撮影倍率との関係を示すグラフである。以下のトリミング処理において、前述したように、画像処理部１５２はトリミング手段として動作する。

ステップＳ１１０１において、画像処理部１５２は、フォーカス制御部１３３を制御して撮影レンズ１０１に関するレンズ情報（光学情報）を取得する。以上のレンズ情報は、フォーカスレンズ１３１の位置に対応する距離、焦点距離、および焦点検出領域のデフォーカス量を含む。

ステップＳ１１０２において、画像処理部１５２は、撮像読出しモードに関するモード情報を取得する。デジタルカメラ１００は、複数の撮像読出しモードのうちユーザによってまたは自動的に選択されている１つのモードに従って動作する。通常の撮像読出しモードでは、画像処理に用いられる撮像素子１４１の有効画素範囲と撮像画像の範囲とが一致する。他方、動画モードや静止画クロップモードでは、通常の撮像読出しモードと比較して撮像素子１４１の有効画素範囲がより狭くなる。画像処理部１５２は、取得したモード情報に基づいて、現在のモードにおいて取得される画像の通常画像に対する拡大率（クロップ倍率）を取得して、以降の撮影倍率の算出に用いる。

ステップＳ１１０３において、画像処理部１５２は撮影倍率を算出する。本例における撮影倍率は、撮影レンズ１０１を介した被写体像の大きさ（撮像面上における像の大きさ）を示す値である。画像処理部１５２は、ステップＳ１１０１にて取得したレンズ情報に含まれる焦点距離とフォーカスレンズ１３１の位置とに対応する距離比に基づいて撮影倍率を概算する。画像処理部１５２は、概算した撮影倍率をステップＳ１１０２にて取得したクロップ倍率によって除算することで、修正後の撮影倍率を取得する。なお、画像処理部１５２は、焦点検出領域においてデフォーカス量が発生している場合には、そのデフォーカス量に基づいて以上の撮影倍率を修正してもよい。

ステップＳ１１０４において、画像処理部１５２は、撮影倍率の逆数（１／撮影倍率）αが第１の閾値Ｔｈ１（例えば、１００）以上であるか否かを判定する。撮影倍率の逆数αが第１の閾値Ｔｈ１以上である場合（Ｓ１１０４：ＹＥＳ）、画像処理部１５２は、処理をステップＳ１１０５に進める。他方、撮影倍率の逆数αが第１の閾値Ｔｈ１未満である場合（Ｓ１１０４：ＮＯ）、画像処理部１５２は、処理をステップＳ１１０８に進める。

ステップＳ１１０５において、画像処理部１５２は、ユーザによって焦点検出領域の位置指定が行われたか否かを判定する。ユーザが指定位置を指定した場合（Ｓ１１０５：ＹＥＳ）、画像処理部１５２は処理をステップＳ１１０６に進める。他方、ユーザが指定位置を指定していなかった場合（Ｓ１１０５：ＮＯ）、画像処理部１５２は、ステップＳ１１０６，Ｓ１１０７をスキップして処理をステップＳ１１０８に進める。本ステップの処理分岐によって、焦点検出領域の位置指定がされた場合には評価用画像のトリミング処理（第１トリミング処理）が実行され、位置指定がされない場合にはトリミング処理が実行されない、という動作が実現される。なお、ステップＳ１１０５の判定に応じてトリミング倍率が変更されてもよい。

ステップＳ１１０６において、画像処理部１５２は、被写体検出に用いられる評価用画像に適用すべき第１トリミング倍率Ｔ１（トリミングサイズ）を算定する。第１トリミング倍率Ｔ１は、撮影倍率の逆数（１／撮影倍率）α、第１の閾値Ｔｈ１、および第１の閾値Ｔｈ１より大きい第２の閾値Ｔｈ２におけるトリミング倍率Ｔｍａｘを用いた以下の式（８）に従って算定される。
T1 = α/Th1 （８）

ただし、算出された第１トリミング倍率Ｔ１は、Ｔ１＞Ｔｍａｘである場合にＴ１＝Ｔｍａｘに設定され、Ｔ１＜１である場合にＴ１＝１に設定される。図１２は、撮影倍率の逆数（１／撮影倍率）αを横軸に、以上の式（８）に従って算定された第１トリミング倍率Ｔ１を縦軸に示すグラフである。

撮影倍率の逆数（１／撮影倍率）αが相対的に大きい場合、すなわち撮影倍率が相対的に小さい場合には、評価用画像において被写体が相対的に小さく撮像される。したがって、評価用画像をトリミングしてからリサイズ（後述）を実行することによって、評価用画像における被写体の解像度を増大させることができる。他方、撮影倍率の逆数（１／撮影倍率）αが相対的に小さい場合、すなわち撮影倍率が相対的に大きい場合には、評価用画像において被写体が相対的に大きく撮像される。したがって、評価用画像をトリミングせずとも（すなわち、第１トリミング倍率Ｔ１＝１と設定しても）、評価用画像における被写体の解像度は十分であると理解できる。

ステップＳ１１０７において、画像処理部１５２は、ステップＳ１１０６にて算出した第１トリミング倍率Ｔ１を用いて評価用画像に対するトリミングを実行する。

ステップＳ１１０８において、画像処理部１５２は評価用画像のリサイズを実行して、本サブ処理を終了する。

図１３を参照して、本実施形態のサブ処理であるステップＳ１００２の被写体領域の特定処理について説明する。

ステップＳ１３０１において、追跡部１６１の特徴抽出部１６２０は、画像処理部１５２から入力される撮像画像を評価用画像として読み込む。

ステップＳ１３０２において、特徴抽出部１６２０は、焦点検出領域にて指定された指定位置に相当する被写体を含む評価用画像内の領域に基づいて、仮テンプレートを作成する。

ステップＳ１３０３において、特徴抽出部１６２０は、焦点検出領域にて指定された指定位置に相当する被写体を含む評価用画像内の領域の情報と、上記した被写体を含まない評価用画像内の領域の情報と、からそれぞれ特徴量を抽出する。

ステップＳ１３０４において、照合部１６１０は、ステップＳ１３０３にて抽出した特徴量に基づいて被写体領域を特定する。より具体的には、照合部１６１０は、特徴量の一致度が高い（例えば、所定閾値以上である）領域を被写体領域として特定して、特定した被写体領域の形状を整形する。被写体領域のサイズは任意に設定され得る。例えば、被写体領域の最小サイズが撮影倍率に応じて変更されてもよい。

ステップＳ１３０５において、照合部１６１０は、ステップＳ１３０４にて特定された被写体領域に基づいて被写体領域のテンプレートを作成して、本サブ処理を終了する。

図１４を参照して、本実施形態のサブ処理であるステップＳ８０７の被写体追跡処理について説明する。

ステップＳ１４０１において、主制御部１５１は、被写体検出に用いられる被写体追跡時のトリミング処理（第２トリミング処理）を実行するように画像処理部１５２（トリミング手段）を制御する。本処理の詳細については、図１５および図１６を参照して後述される。

ステップＳ１４０２において、画像処理部１５２は、被写体検出時の撮影倍率（ステップＳ１１０３）の逆数αが第１の閾値Ｔｈ１以上であるか否かを判定する。撮影倍率の逆数αが第１の閾値Ｔｈ１以上である場合（Ｓ１４０２：ＹＥＳ）、画像処理部１５２は、処理をステップＳ１４０３に進める。他方、撮影倍率の逆数αが第１の閾値Ｔｈ１未満である場合（Ｓ１４０２：ＮＯ）、画像処理部１５２は、処理をステップＳ１４０５に進める。

ステップＳ１４０３において、画像処理部１５２は、被写体追跡中の現在のフレームの撮影倍率の逆数βが第１の閾値Ｔｈ１以下であるか否かを判定する。撮影倍率の逆数βが第１の閾値Ｔｈ１以下である場合（Ｓ１４０３：ＹＥＳ）、画像処理部１５２は、処理をステップＳ１４０４に進める。他方、撮影倍率の逆数βが第１の閾値Ｔｈ１を上回る場合（Ｓ１４０３：ＮＯ）、画像処理部１５２は、処理をステップＳ１４０５に進める。

ステップＳ１４０４において、前述した被写体検出処理（ステップＳ８０７、図１０）が実行される。ここで被写体検出を再び実行するのは、被写体検出時の撮影倍率が低く（Ｓ１４０２：ＹＥＳ）かつ現在の撮影倍率が高い（Ｓ１４０３：ＹＥＳ）ので、検出時よりも現在の方が画像における被写体像が拡大していることが多いからである。

ステップＳ１４０５において、追跡部１６１の特徴抽出部１６２０は、前述のように、ユーザが追跡対象として指定した被写体の指定位置およびその近傍領域の有効な（すなわち、参照するに足りる信頼性を有する）距離情報が取得されているか否かを判定する。有効な距離情報が取得されていない場合（Ｓ１４０５：ＮＯ）、特徴抽出部１６２０は処理をステップＳ１４０６に進める一方、有効な距離情報が取得されている場合（Ｓ１４０５：ＹＥＳ）、特徴抽出部１６２０は処理をステップＳ１４０７に進める。

ステップＳ１４０６において、特徴抽出部１６２０は、図７を参照して前述したように、距離情報を参照せずに色情報のみに基づいて被写体領域を特定し、被写体領域の特徴量（例えば、テンプレート画像、ヒストグラム）を抽出する。

ステップＳ１４０７において、特徴抽出部１６２０は、図７を参照して前述したように、色情報と距離情報との双方に基づいて被写体領域を特定し、被写体領域の特徴量（例えば、テンプレート画像、ヒストグラム）を抽出する。

ステップＳ１４０８において、照合部１６１０は、図５を参照して前述したように、ステップＳ１４０６またはステップＳ１４０７にて抽出された特徴量を用いて、撮像画像の探索領域（追跡領域）に対してマッチング処理を実行する。以上のマッチング処理によって、照合部１６１０（追跡部１６１）は、特徴量の類似度が最も高い領域（被写体領域）を検出する。

ステップＳ１４０９において、照合部１６１０は、検出された被写体領域の形状を整形した後、整形後の被写体領域の位置および大きさに関する情報を主制御部１５１に供給する。なお、本ステップの被写体領域の形状の整形はスキップされてもよい。

図１５および図１６を参照して、本実施形態のサブ処理であるステップＳ１４０１の被写体追跡時のトリミング処理（第２トリミング処理）について説明する。図１５は以上のトリミング処理のフローチャートであり、図１６は以上のトリミング処理におけるトリミング倍率と被写体領域の水平サイズとの関係を示すグラフである。以下のトリミング処理において、前述したように、画像処理部１５２はトリミング手段として動作する。

ステップＳ１５０１において、画像処理部１５２は、被写体領域の水平方向および垂直方向のサイズ（例えば、画素数）を取得する。

ステップＳ１５０２において、画像処理部１５２は、被写体追跡に用いられる評価用画像に適用すべき第２トリミング倍率Ｔ２（トリミングサイズ）を算定する。第２トリミング倍率Ｔ２は、被写体領域の水平方向におけるサイズＨ（水平サイズ）、第３の閾値Ｔｈ３、および上述した第２の閾値Ｔｈ２におけるトリミング倍率Ｔｍａｘを用いた以下の式（９）に従って算定される。
T2 = Tmax×Th3/H （９）

ただし、算出された第２トリミング倍率Ｔ２は、Ｔ２＞Ｔｍａｘである場合にＴ２＝Ｔｍａｘに設定され、Ｔ２＜１である場合にＴ２＝１に設定される。図１６は、被写体領域の水平サイズを横軸に、以上の式（９）に従って算定された第２トリミング倍率Ｔ２を縦軸に示すグラフである。

ステップＳ１５０３において、画像処理部１５２は、ステップＳ１５０２にて算出した第２トリミング倍率Ｔ２を用いて評価用画像に対するトリミングを実行する。

ステップＳ１５０４において、画像処理部１５２は評価用画像のリサイズを実行して、本サブ処理を終了する。

上記したように、本実施形態の構成では、評価用画像を用いて被写体追跡の対象である被写体領域が特定され、特定された被写体領域から抽出された特徴量を用いて被写体追跡が実行される。以上の被写体追跡において、種々の条件（位置指定、撮影倍率等）に従ってトリミング倍率が変更され、トリミングされた評価用画像に基づいて被写体追跡が実行される。すなわち、被写体追跡において適切なトリミングが実行されるので、より精度の高い被写体追跡を実現することができる。

（その他の実施形態）
以上の実施形態は多様に変形される。具体的な変形の態様を以下に例示する。以上の実施形態および以下の例示から任意に選択された２以上の態様は、相互に矛盾しない限り適宜に併合され得る。

上記した実施形態においては、種々の条件に従ってトリミングサイズの一種であるトリミング倍率が変更され、トリミングが実行される。しかしながら、上述した種々の条件に従って変更されるのは、トリミング倍率に限定されず、トリミングサイズに関する任意の設定が変更され得る。

上記した実施形態においては、動画撮影における被写体検出および被写体追跡の処理について説明されている。しかしながら、上記した実施形態による構成を、連写やインターバル撮影等の時系列的に複数の画像を撮影する際または再生する際に適用してもよい。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００デジタルカメラ（撮像装置）
１０１撮影レンズ
１３３フォーカス制御部
１４１撮像素子
１５１主制御部
１５２画像処理部（トリミング手段）
１６１追跡部（追跡手段）

Claims

被写体追跡を実行する画像処理装置であって、
撮像素子から出力された画像に対応する色情報と距離情報を含む評価用画像とを用いて前記被写体追跡の対象である被写体領域を特定し、特定された前記被写体領域から抽出された特徴量を用いて前記被写体追跡を実行する追跡手段と、
被写体を示す位置が指定されている場合、前記指定された位置を含むように前記評価用画像の領域を設定する設定手段と、
被写体像を前記撮像素子に結像させる撮像光学系に関する光学情報に基づいてトリミングサイズを設定し、設定された前記トリミングサイズに従って前記評価用画像をトリミングするトリミング手段と、を備え、
前記追跡手段は、トリミングされた前記評価用画像内の前記被写体領域から前記特徴量を抽出する、ことを特徴とする画像処理装置。
前記トリミング手段は、前記被写体を示す位置が指定されている場合に前記トリミングサイズを設定する、ことを特徴とする請求項１に記載の画像処理装置。
前記光学情報は、前記撮像光学系のフォーカスレンズの位置および焦点距離の情報を含む、ことを特徴とする請求項１または請求項２に記載の画像処理装置。
前記トリミング手段は、前記光学情報および前記撮像素子の結像面に形成される被写体像の大きさに基づいて前記トリミングサイズを設定する、ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
前記トリミング手段は、前記撮像光学系による撮影倍率に基づいて前記トリミングサイズを設定する、ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
前記トリミング手段は、前記撮影倍率が小さいほど前記トリミングサイズを大きく設定する、ことを特徴とする請求項５に記載の画像処理装置。
前記トリミング手段は、前記撮影倍率の逆数がＴｈ１以下となった場合に、前記評価用画像の領域のトリミング倍率を１とし、前記撮影倍率の逆数がＴｈ２（＞Ｔｈ１）以上となった場合に、前記評価用画像の領域のトリミング倍率をＴｍａｘ（＝Ｔｈ２／Ｔｈ１）とすることを特徴とする請求項５または請求項６に記載の画像処理装置。
前記トリミング手段は、前記撮像素子の有効画素範囲に対応するクロップ倍率に基づいて前記トリミングサイズを設定する、ことを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。
前記トリミング手段は、前記設定されたトリミングサイズに従って前記評価用画像をトリミングした後に、前記追跡手段が特定した前記被写体領域に基づいて前記トリミングサイズを変更する、ことを特徴とする請求項１から請求項８のいずれか１項に記載の画像処理装置。
前記トリミングサイズに関する情報を表示する表示装置をさらに備える、ことを特徴とする請求項１から請求項９のいずれか１項に記載の画像処理装置。
撮像光学系と、
請求項１から請求項１０のいずれか１項に記載の画像処理装置とを備える、ことを特徴とする撮像装置。
撮像素子から出力された画像に対応する色情報と距離情報を含む評価用画像とを用いて被写体追跡の対象である被写体領域を特定し、特定された前記被写体領域から抽出された特徴量を用いて前記被写体追跡を実行することと、
被写体を示す位置が指定されている場合、前記指定された位置を含むように前記評価用画像の領域を設定することと、
被写体像を前記撮像素子に結像させる撮像光学系に関する光学情報に基づいてトリミングサイズを設定することと、
設定された前記トリミングサイズに従って前記評価用画像をトリミングすることと、を備え、
前記評価用画像がトリミングされた場合、トリミングされた前記評価用画像内の前記被写体領域から前記特徴量が抽出される、ことを特徴とする制御方法。
請求項１から請求項１０のいずれか１項に記載の画像処理装置の各手段をコンピュータに実行させることを特徴とするプログラム。