JP2014017665A - 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】顔の主要エリアの視認の妨げとならないように、追尾対象に選択された顔の一部の領域を示す。
【解決手段】デジタルカメラ１００は、画像から顔の領域および前記顔に含まれるパーツの領域を示す情報を取得し、顔のパーツのいずれかを選択し、画像を表示するとともに、取得手段で取得された顔の領域を示す顔枠を画像に重畳して表示し、選択手段が選択したパーツが何であるか示す表示を顔枠の内側を使わずに行うように制御するシステム制御部５０および表示部２８を有する。
【選択図】図１

Description

本発明は、撮像画像から特定の被写体を検出し、検出された被写体に合わせた撮影制御を行う表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体に関する。

焦点（ピント）、露出、ホワイトバランス、露出などを、撮像されている画像から検出された人物の顔や動物の顔などの特定の被写体に合わせて自動的に設定する撮像装置が提案されている。
特許文献１には、撮像画像から、人物の顔や、犬や猫などの動物の顔を検出し、検出された顔の領域に合わせてＡＦ処理を行う撮像装置が開示されている。
特許文献２には、撮像画像から検出された顔から、更に目、鼻、口を認識し、撮像画像に重畳して、認識された目、鼻、口の各位置に矩形を表示し、目、鼻、口の中から、ユーザー操作に応じて所望の位置を測距エリアとして選択できる撮像装置が提案されている。

特開２０１２−３７５５６号公報 特開２００３−１０７３３５号公報

顔を撮影する場合などでは、顔のどの部分に焦点を合わせるか、逆に顔のどの部分をぼかすかも、撮像される画像の質・雰囲気において重要な要素である（特に顔をアップにして撮影された画像では顕著である）。そのため、顔の中でもどの部分に合わせて焦点調節を行うかを撮影者が確認あるいは選択できることが好ましい。再生時においても、顔のどの部分に合わせて焦点調節されたかが確認できると好ましい。しかしながら、特許文献２のように、顔の目、鼻、口などの部分に直接ＡＦエリアを示すＡＦ枠を重畳表示してしまうと、顔の主要エリアにＡＦ枠が重畳表示されることになるため、目つぶりや顔の表情を視認する妨げとなり、撮影の邪魔となるおそれがある。
そこで本発明では、顔の主要エリアの視認の妨げとならないように、選択された顔の一部の領域を示すことが可能な表示制御装置を提供することを目的とする。

本発明にかかる表示制御装置は、画像から顔の領域および前記顔に含まれるパーツの領域を示す情報を取得する取得手段と、前記顔のパーツのいずれかを選択する選択手段と、前記画像を表示するとともに、前記取得手段で取得された顔の領域を示す枠を前記画像に重畳して表示し、前記枠の内側を使わずに、前記選択手段が選択したパーツが何であるか示す表示を行うように制御する表示制御手段とを有することを特徴とする。

本発明によれば、顔の主要エリアの視認の妨げとならないように、選択された顔の一部の領域を示すことができる。

図１（ａ）はデジタルカメラの前面斜視図であり、図１（ｂ）はデジタルカメラの背面斜視図である。 図２は、本実施形態によるデジタルカメラの構成例を示すブロック図である。 図３は、デジタルカメラにおける撮影処理を示すフローチャートである。 図４は、デジタルカメラにおける撮影処理を示すフローチャートである。 図５は、表示部の表示例を模式的に示す図である。

以下、図面を参照して本発明の好適な実施形態を説明する。
図１（ａ）、（ｂ）に本発明の表示制御装置の一例としてのデジタルカメラの外観図を示す。図１（ａ）はデジタルカメラ１００の前面斜視図であり、図１（ｂ）はデジタルカメラ１００の背面斜視図である。図１において、表示部２８は、画像や各種情報を表示する表示部である。シャッターボタン６１は、ユーザーがデジタルカメラ１００に撮影指示を行うための操作部である。モードダイヤル６０は、各種モードを切り替えるための操作部である。端子カバー４０は、コネクタ（不図示）を保護するカバーである。コネクタには、外部機器との接続ケーブルとデジタルカメラ１００とを接続する接続ケーブル等を接続できる。

メイン電子ダイヤル７１は、操作部７０に含まれる回転操作部材である。メイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。
電源スイッチ７２は、デジタルカメラ１００の電源のＯＮとＯＦＦを切り替える操作部材である。
サブ電子ダイヤル７３は、操作部７０に含まれる回転操作部材である。サブ電子ダイヤル７３の操作によって、選択枠の移動や画像送りなどを行える。
十字キー７４は、操作部７０に含まれる操作部材であり、上、下、左、右部分をそれぞれ押し込み可能な十字キーである。ユーザーは、十字キー７４の押した部分に応じた操作が可能である。
ＳＥＴボタン７５は、操作部７０に含まれる押しボタンであり、主に選択項目の決定などに用いられる。
ＬＶボタン７６は、操作部７０に含まれる操作部材である。ＬＶボタン７６の操作によって、静止画撮影モードにおいてライブビュー（以下、ＬＶ）のＯＮとＯＦＦを切り替え、動画撮影モードにおいては、動画撮影（記録）の開始、停止を指示する。
拡大ボタン７７は、操作部７０に含まれる操作部材である。拡大ボタン７７は、撮影モードのライブビュー表示において、拡大モードのＯＮ、ＯＦＦ，および拡大モード中の拡大率の変更を行うための操作ボタンである。拡大ボタン７７は、再生モードにおいては再生画像を拡大する（拡大率を増加させる）ための拡大ボタンとして機能する。
再生ボタン７８は、操作部７０に含まれる操作部材であり、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７８が押下されると、デジタルカメラ１００は再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８に表示させることができる。
クイックリターンミラー１２は、システム制御部５０の制御によって、不図示のアクチュエータによりアップダウンされる。

通信端子１０は、デジタルカメラ１００が着脱可能なレンズユニット１５０と通信を行う為の通信端子である。
接眼ファインダー１６は、覗き込み型のファインダーである。ユーザーは、接眼ファインダー１６を通じてフォーカシングスクリーン１３を観察することで、レンズユニット１５０を通して得た被写体の光学像の焦点や構図の確認を行うことができる。
蓋２０２は、記録媒体２００が格納されるスロットの蓋である。
グリップ部９０は、ユーザーがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。

図２は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。
図２において、レンズユニット１５０は、撮影レンズ１０３が搭載され、交換可能なレンズユニットである。
撮影レンズ１０３は、通常、複数枚のレンズによって構成されるが、ここでは簡略して一枚のレンズのみで示している。
通信端子６は、レンズユニット１５０がデジタルカメラ１００側と通信を行うための通信端子である。通信端子１０は、デジタルカメラ１００がレンズユニット１５０側と通信を行うための通信端子である。レンズユニット１５０は、これらの通信端子６，１０を介してシステム制御部５０と通信する。そして、レンズユニット１５０は、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１０２を制御し、ＡＦ駆動回路３を介して撮影レンズ１０３の位置を変位させることで焦点を合わせる。
ＡＥセンサー１７は、レンズユニット１５０を通した被写体の輝度を測光する。
焦点検出部１１は、システム制御部５０にデフォーカス量情報を出力する。システム制御部５０は、デフォーカス量に基づいてレンズユニット１５０を制御し、位相差ＡＦを行う。

クイックリターンミラー１２（以下、ミラー１２）は、露光、ライブビュー撮影、動画撮影の際に、不図示のアクチュエータによりアップダウンされる。アクチュエータは、システム制御部５０から指示されて、ミラー１２をアップダウンさせる。ミラー１２は、撮影レンズ１０３から入射した光束を、接眼ファインダー１６側に導くか撮像部２２側に導くかを切替えるためのミラーである。ミラー１２は、通常時は接眼ファインダー１６へと光束を導くよう反射させるように配されている。そして、撮影が行われる場合やライブビュー表示が行われる場合には、ミラー１２は撮像部２２へと光束を導くように上方に跳ね上がり、光束中から待避する（ミラーアップ）。また、ミラー１２は、その中央部が光の一部を透過できるハーフミラーとなっており、光束の一部を、焦点検出を行うための焦点検出部１１に入射するように透過させる。
ユーザーは、ペンタプリズム１４と接眼ファインダー１６を介して、フォーカシングスクリーン１３を観察することで、レンズユニット１５０を通して得た被写体の光学像の焦点や構図の確認が可能となる。

シャッター１０１は、システム制御部５０の制御により撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。

Ａ／Ｄ変換部２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。
画像処理部２４は、Ａ／Ｄ変換部２３からのデータ、または、メモリ制御部１５からのデータに対し、所定の画素補間、縮小といったリサイズ処理や、色変換処理を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算処理結果に基づいて、システム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４は、更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算処理結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
Ａ／Ｄ変換部２３からの出力データは、画像処理部２４およびメモリ制御部１５を介して、または、メモリ制御部１５を介して、メモリ３２に直接書き込まれる。

メモリ３２は、撮像部２２によって得られＡ／Ｄ変換部２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。
Ｄ／Ａ変換部２６は、メモリ３２に格納されている画像表示用のデータを、アナログ信号に変換し、表示部２８に供給する。
こうして、メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換部２６を介して表示部２８により表示される。

表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換部２６からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換部２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号を、Ｄ／Ａ変換部２６においてアナログ変換し、表示部２８に逐次転送して表示する。これにより、表示部２８は、電子ビューファインダとして機能し、スルー画像表示（ライブビュー表示）を行える。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルカメラ１００全体を制御する。システム制御部５０は、不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。システムメモリ５２には、たとえばＲＡＭが用いられる。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換部２６、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ（モードダイヤル）６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４は、操作部７０に含まれる操作手段であり、システム制御部５０に各種の動作指示を入力する。
モード切替スイッチ（モードダイヤル）６０は、システム制御部５０の動作モードを、静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。さらに静止画記録モードには、以下のモードがある。オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等。ユーザーは、モード切替スイッチ（モードダイヤル）６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えることができる。または、モード切替スイッチ６０で、動作モードを静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると、システム制御部５０は、各種の設定可能なメニュー画面を表示部２８に表示する。ユーザーは、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

操作部７０は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、少なくとも以下の操作部が含まれる。シャッターボタン６１、モード切替スイッチ（モードダイヤル）６０、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、ＬＶボタン７６、拡大ボタン７７、再生ボタン７８。なお、図２においては、シャッターボタン６１、モード切替スイッチ（モードダイヤル）６０、電源スイッチ７２以外の操作部材は省略してある。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果およびシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。
記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。
記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

上述したデジタルカメラ１００は、中央１点ＡＦや顔ＡＦを用いた撮影が可能である。
中央１点ＡＦとは、撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。

ここで、顔検出機能について説明する。システム制御部５０は、顔検出対象の画像データを画像処理部２４に送る。システム制御部５０の制御下で、画像処理部２４は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部５０の制御下で、画像処理部２４は、処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平および垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
その後、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対であると判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部５０は、絞り込まれた目の候補群と、それに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付けることで顔を検出する。または、システム制御部５０は、絞り込まれた目の候補群と、予め設定された非顔条件フィルタを通すことで、顔を検出する。システム制御部５０は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数、各顔を形成する各パーツ（右目、左目、鼻、口、耳）の位置と大きさなどの特徴量を、システムメモリ５２に記憶する（取得する）。

以上のように、システム制御部５０は、ライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量（情報）を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。
なお、顔ＡＦと同時に顔ＡＥ，顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。

デジタルカメラ１００は、操作部７０の一つとして、表示部２８に対する接触を検知可能なタッチパネルを有する。タッチパネルと表示部２８とは、一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部２８の表示を妨げないように構成し、表示部２８の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部２８上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。
そして、システム制御部５０はタッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れたこと（以下、タッチダウンと称する）。タッチパネルを指やペンで触れている状態であること（以下、タッチオンと称する）。タッチパネルを指やペンで触れたまま移動していること（以下、ムーブと称する）。タッチパネルへ触れていた指やペンを離したこと（以下、タッチアップと称する）。タッチパネルに何も触れていない状態（以下、タッチオフと称する）。これらの操作や、タッチパネル上に指やペンが触れている位置座標は内部バスを通じてシステム制御部５０に通知される。そして、システム制御部５０は、通知された情報に基づいて、タッチパネル上にどのような操作が行なわれたかを判定する。ムーブについては、タッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作である。換言すると、フリックは、タッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。
タッチパネルには、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

次に、上述のように構成されたデジタルカメラ１００における撮影処理（制御方法）について、図３と図４のフローチャートと図５の表示例とを用いて説明する。図３と図４は、デジタルカメラ１００における撮影処理を示すフローチャートである。図３と図４のフローチャートに示す撮影処理は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開してシステム制御部５０が実行することにより実現される。図５は、撮影処理における表示部２８の表示例を模式的に示す図である。

デジタルカメラ１００は、電源がＯＮにされ、ライブビューでの撮影が可能な撮影モードが起動されて撮影可能状態となると、図３に示すライブビュー撮影処理を開始する。

Ｓ３０１では、システム制御部５０は、撮像部２２を用いたスルー画像（ライブビュー画像）を撮像して取得する。

Ｓ３０２では、システム制御部５０は、連続して生成されるスルー画像データを用いて、顔検出を行う。

Ｓ３０３では、システム制御部５０は、表示部２８にスルー画像を動画像としてリアルタイムで表示するライブビュー表示を行う。

Ｓ３０４では、システム制御部５０は、表示部２８のうち、スルー画像を表示している領域に対するタッチダウンがあったか否かを判定する。タッチダウンがあった場合はＳ３０５に進み、タッチダウンが無い場合はＳ３２１に進む。ユーザーは、スルー画像上に表示された追尾したい被写体にタッチすることで（追尾したい被写体の表示された領域を指定することで）、追尾したい被写体（ＡＦを合わせたい被写体）を指定することができる。図５の表示例５−１は、追尾したい被写体を指定する操作における表示例を示す。なお、本実施形態ではタッチ操作によって追尾したい被写体を指定する例を示すが、追尾したい被写体をユーザー操作に応じて指定できる方法であれば他の方法でもよい。例えば、スルー画像全体で検出された複数の顔に対してそれぞれ顔枠（枠）を表示しておき、その中から十字キーの操作に応じて任意の顔枠を選択することで、追尾したい被写体を選択する構成としてもよい。

Ｓ３０５では、システム制御部５０は、Ｓ３０４で指定された位置（タッチダウン位置）から所定の範囲内で顔が検出されたか否かを判定する。指定位置から所定範囲内で顔が検出された場合はＳ３０６へ進み、指定位置から所定範囲内で顔が検出されない場合は非顔検出ＡＦモードへ進む。

Ｓ３０６では、システム制御部５０は、スルー画像に重畳して、Ｓ３０５で検出された、指定位置から所定範囲内で検出された顔であって、指定位置に最も近い顔の位置に、顔の全体を含むような顔枠（枠）を点滅表示する。点滅表示するのは、システム制御部５０が追尾対象の自動選択の処理途中であり、追尾対象がまだ確定していないことを示すためである。図５の表示例５−２に、このときの表示例を示す。顔検出処理では、システム制御部５０は、それぞれの顔について目、鼻、口などの顔の各パーツの位置も検出し、システムメモリ５２に保持する。システム制御部５０は、表示部２８に、顔枠を、顔の全体を含むように（検出されている顔のパーツ（目、鼻、口）を含むように）表示させる。なお、横顔などであるために、顔のパーツ（目、鼻、口）の全てが検出されていない場合はこの限りではない。この場合には、システム制御部５０は、表示部２８に、検出できている分の顔の各パーツの位置から、検出できていない目、鼻、口も全て含まれるであろうサイズと位置を算出して顔枠を表示させる。

Ｓ３０７では、システム制御部５０は、Ｓ３０６で枠を表示した顔が所定サイズ以上であるか否かを判定する。所定サイズ以上である場合はＳ３０８に進む。一方、所定サイズ未満の場合はＳ３１３に進む。Ｓ３１３に進んだ場合には、システム制御部５０は、顔のパーツではなく、顔の全体を追尾対象に決定（選択）する。これは、検出された顔が所定サイズ未満であると、顔のパーツが小さすぎて、パーツ別のＡＦ領域の設定が困難なためである。

Ｓ３０８では、システム制御部５０は、顔の各パーツ（部位）の座標位置と大きさから、各パーツ位置のデフォーカス量またはレンズ駆動によるコントラスト評価値を取得し、各パーツの距離情報（デジタルカメラ１００からの距離情報）を算出する。この方法としては、次のような方法がある。顔の中心部に一度フォーカスを合わせ、位相差情報により、顔のそれぞれのパーツ毎のデフォーカス量を算出する方法。コントラスト方式により、事前にフォーカスを動作させ顔のそれぞれのパーツ毎のデフォーカス量を算出する方法。なお、本発明の実施形態においては、どちらの方法を用いても良い。

Ｓ３０９では、システム制御部５０は、検出された顔のパーツの中で、デジタルカメラ１００からの距離が最至近のパーツと最遠のパーツを特定する。

Ｓ３１０では、システム制御部５０は、Ｓ３０１で得られたスルー画像から測光値を算出する。

Ｓ３１１では、システム制御部５０は、測光値に基づき、現在選択されている撮影モードのプログラム線図に従い、絞り値、シャッター速度、ＩＳＯ感度を設定する。

Ｓ３１２では、Ｓ３１１で設定された絞り値に対し、Ｓ３０９で特定された最至近・最遠のパーツが、合焦範囲内（合焦する被写界深度内）か否か判定する。合焦する被写界深度内であればＳ３１３に進み、そうでなければＳ３１６に進む。

Ｓ３１３では、システム制御部５０は、顔のパーツではなく、顔全体を追尾対象に決定（選択）する。

Ｓ３１４では、システム制御部５０は、表示部２８に、顔全体に対する顔枠を点灯表示させる。図５の表示例５−５と５−９は、このときの表示例を示す。顔枠の示す範囲は、目、鼻、口を全て含むと推測される範囲である。

Ｓ３１５では、システム制御部５０は、Ｓ３１３で追尾対象に決定された顔全体を追尾する。システム制御部５０は、動画像としてのスルー画像のフレーム間の相関性に基づいて追尾を行う。すなわち、メモリ３２に蓄積された過去の画像（例えば１フレーム前のスルー画像）と現在のスルー画像を比較することで追尾対象の被写体の位置を特定し、追尾対象の被写体を追尾する。これによって、追尾対象の顔の画面内での位置が変わっても、システム制御部５０は、表示部２８に、Ｓ３１４で説明した枠を、追尾対象の顔の位置に表示させる。

Ｓ３１６では、システム制御部５０は、顔全体では無く、顔に含まれるパーツを追尾対象と決定する。ここで、システム制御部５０は、各パーツに測距を行った結果、最もデジタルカメラ１００に近い顔のパーツを、自動的に追尾対象に選択する。なお、位相差での測距であれば、各パーツの距離情報をすばやく取得することができる。これに対して、コントラスト方式の測距では、全ての顔のパーツの距離情報を取得するのに時間がかかる。そこで、この場合には、システム制御部５０は、追尾対象を、デジタルカメラ１００に近いパーツに自動的に決定するのではなく、撮像された画像の中心に最も近くにあるパーツに自動的に決定してもよい。このような方法あれば、システム制御部５０は、各パーツの測距情報が無くとも、追尾対象を決定できる。

Ｓ３１７では、表示部２８は、システム制御部５０の制御によって、スルー画像に重畳してＳ２１４で追尾対象に選択された顔のパーツがどれであるかを示す表示を行う。この際、顔の全体を示す顔枠より内側にパーツを示す表示を行うと、顔の主要部の視認の妨げとなる。そこで、表示部２８は、顔枠の内側を使わずに、顔枠の外側に顔のパーツを示す表示を行う（表示制御手段）。図５の表示例５−３は、左目が追尾対象となった場合の表示例を示す。この例では、顔枠の表示はそのままで、顔枠の外側である画面右上に、「左目」との文字列を表示する。これによってユーザーは、顔の主要部を視認しながらも、顔枠に含まれる顔の各パーツのうち、左目が追尾対象となっていることを識別することができる。図５の表示例５−７に、この場合における他の表示例を示す。顔枠の表示はそのままで、顔枠のうち左上の頂点を二重にすることで、他の頂点とは識別可能に表示している。これによってユーザーは、顔の主要部を視認しながらも、顔枠に含まれる顔の各パーツのうち、左目が追尾対象となっていることを識別することができる。このように、システム制御部５０は、追尾対象に指定された顔のパーツと、顔枠の頂点の位置とを対応付ける。そして、システム制御部５０は、表示部２８に、対応付けられた顔枠の頂点を他の頂点と識別可能に表示させる。また、表示部２８は、顔枠の頂点を二重にする表示と、「左目」の文字列の表示の両方を行ってもよい。なお、追尾対象のパーツに対応する頂点（左目の場合には左上頂点）を二重に表示することに代えて、色を変えるなどの他の方法で表示形態が他の頂点と異なっていることを示してもよい。

追尾対象として右目を選択した場合の表示例を図５の表示例５−４と５−８に示す。図５の表示例５−４は、顔枠の表示はそのままで、顔枠の外側である画面右上に、「右目」との文字列を表示する例を示す。顔枠の右上の頂点が、追尾対象としての右目に対応付けられている。図５の表示例５−８は、顔枠の表示はそのままで、顔枠のうち右上の頂点を二重にすることで、他の頂点とは識別可能に表示している。追尾対象として口が選択された場合の表示例を、図５の表示例５−６と５−１０に示す。図５の表示例５−６は、顔枠の表示はそのままで、顔枠の外側である画面右上に、「口」との文字列を表示する例を示す。顔枠の下側の２頂点が、追尾対象としての口に対応付けられている。図５の表示例５−８は、顔枠の表示はそのままで、顔枠のうち下側の２頂点を二重にすることで、他の頂点とは識別可能に表示している。

追尾対象として顔全体を指定した場合の表示例を、図５の５−５と５−９に示す。図５の表示例５−５は、顔枠の表示はそのままで、顔枠の外側である画面右上に、「顔全体」との文字列を表示する例を示す。
なお、顔枠の「右上」「左上」「下」等の方向は、顔を正面から見た場合の通常の姿勢における上下方向を基準としている。このため、横向きの顔が検出された場合は、デジタルカメラ１００の上下方向と顔の上下方向とが異なる場合がある。例えば、右に９０度傾いた顔があった場合は、顔の左上はデジタルカメラ１００の上下方向（重力に対して正位置であるものとする）における右上となる。いずれも、顔枠内の目や口といったパーツ自体には枠表示を行わないため、目つぶりや顔の表情を確認しやすくなり、この表示状態でシャッターボタンを操作するタイミングをはかることができる。したがって、ユーザーは、被写体がユーザーの意図した状態であるときに撮影することが可能となる。
図５（ｂ）は、追尾対象に選択されている顔のパーツと、表示される文字列および顔枠の関係を模式的に示す表である。前記表示例をまとめると、図５（ｂ）のようになる。

Ｓ３１８では、システム制御部５０は、追尾対象と決定された顔のパーツを、複数フレームにわたって追尾する（追尾手段）。そして、システム制御部５０は、顔および顔のパーツが移動しても、Ｓ３１７で表示した顔枠と顔のパーツを示す表示を、追尾対象の顔に対して表示し続けるように制御する。

Ｓ３１９では、システム制御部５０は、ユーザーからの指定部位変更操作があったか否かを判定する。指定部位変更操作があった場合はＳ３２０に進み、そうでない場合はＳ３２１に進む。指定部位変更操作としては、たとえば、サブ電子ダイヤル７３に対する回転操作が適用される。この場合には、システム制御部５０は、サブ電子ダイヤル７３が時計回りに１クリック回転される毎に、Ｓ３１６で自動的に選択された自動選択部位から、左目、右目、口、顔中心、顔全体、自動選択パーツへと、順次指定部位を変更する。サブ電子ダイヤル７３が反時計周りに操作された場合には、システム制御部５０は、これとは逆の順序で順次指定部位を変更する。なお、口にピントを合わせたいケースは少ないと想定して、口は選択できないようにしてもよい（上記選択順序から口を省いてもよい）。

Ｓ３２０では、システム制御部５０は、指定部位変更操作に応じて追尾対象の部位を変更する。そして、Ｓ３１７に進み、システム制御部５０は、変更された指定部位（追尾対象）を示すように表示部２８の表示を更新し、Ｓ３１８で変更された指定部位を追尾するように制御する。

Ｓ３２１では、システム制御部５０は、撮影処理を行う。撮影処理については図４を用いて後述する。
図４に、図３のＳ３２１で前述した撮影処理のフローチャートを示す。

Ｓ４０１では、システム制御部５０は、第１シャッタースイッチ６２がＯＮとなったか否か（シャッターボタン６１が半押しされたか否か）を判定し、ＯＮとなった場合はＳ４０２に進む。

Ｓ４０２では、システム制御部５０は、顔を検出できている状態か否かを判定する。顔を検出できていればＳ４０３に進み、そうでない場合はＳ４０５に進む。

Ｓ４０３では、システム制御部５０は、前述した図３での追尾が行われている状態か否かを判定する。追尾中である場合はＳ４０６へ進み、そうでない場合はＳ４０４へ進む。

Ｓ４０４では、システム制御部５０は、顔に対する自動的なＡＦ領域設定を行う。検出されている顔のうち、主顔と判定される顔に対して、前述したＳ３０６〜Ｓ３１４、Ｓ３１６、Ｓ３１７と同様の処理を行う。ただし、ここでは、システム制御部５０は、主顔を追尾対象として決定するのではなく、ＡＦ領域として決定する。この処理により、システム制御部５０は、ＡＦを行うべき領域として、主顔全体または主顔に含まれる顔のパーツ（部位）を自動的に選択して、表示部２８にＡＦ領域として設定してＡＦ枠を表示させる。

Ｓ４０５では、システム制御部５０は、非顔ＡＦモードでのＡＦ枠設定を行う。これは、複数のＡＦ候補領域のなかから自動的にＡＦ領域を決定する処理などである。

Ｓ４０６では、システム制御部５０は、Ｓ４０４またはＳ４０５で設定されたＡＦ領域、または追尾していた領域を対象としてＡＦを行い、Ｓ４０７でＡＥ処理を行う。

Ｓ４０８では、システム制御部５０は、ＡＦ領域として顔の部位（パーツ）が設定されている場合に、ＡＦ領域とする顔の部位を変更する指定部位変更操作があったか否かを判定する。この処理は、Ｓ３１９で前述した処理と同様である。指定部位変更操作があった場合にはＳ４０９に進み、システム制御部５０は、指定部位を変更する。そして、システム制御部５０は、Ｓ４０６とＳ４０７で、変更後の指定部位を対象としてＡＦ，ＡＥを行う。一方、指定部位変更操作が無かった場合はＳ４１０に進む。

Ｓ４１０では、システム制御部５０は、第２シャッタースイッチ６４がＯＮとなったか否か（シャッターボタン６１が全押しされたか否か）を判定する。ＯＮとなったと判定した場合はＳ４１２に進み、そうでない場合はＳ４１1に進む。

Ｓ４１１では、システム制御部５０は、第１シャッタースイッチ６２のＯＮが継続されているか否か（シャッターボタン６１が半押しされたままか否か）を判定する。ＯＮが継続されている場合はＳ４０６に進み、そうでない場合はＳ４０１に進む。

Ｓ４１２では、システム制御部５０は、撮影を行い、撮影された画像ファイルに、ＡＦ領域がどこであったかの情報を付加して記録媒体２００に記録し、撮影処理を終了する。

図４を用いて説明した表示例は、撮影済みの画像を、当該デジタルカメラ１００や、他の再生機器で再生する際のピント確認表示の際に行ってもよい。画像ファイルに記録されたＡＦ領域がどこであったかの情報にもとづいて、顔のどのパーツに対してオートフォーカスが行われたかを図４のように表示することが可能である。目などのパーツに枠の表示が重ならないことで、顔の表情や目つぶりの状態を視認しやすくなる。

なお、システム制御部５０の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず、撮像手段を有する機器や、撮像した画像を表示できる機器であれば適用可能である。すなわち、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末などに適用可能である。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。

本発明は、表示制御装置、表示制御装置の制御方法に好適な技術である。また、本発明は、撮像手段を有する機器や、撮像した画像を表示できる機器であれば適用可能である。

Claims (19)

1. 画像から顔の領域および前記顔に含まれるパーツの領域を示す情報を取得する取得手段と、
   前記顔のパーツのいずれかを選択する選択手段と、
   前記画像を表示するとともに、前記取得手段で取得された顔の領域を示す枠を前記画像に重畳して表示し、前記枠の内側を使わずに、前記選択手段が選択したパーツが何であるか示す表示を行うように制御する表示制御手段と、
   を有することを特徴とする表示制御装置。
2. 前記表示制御手段は、前記枠の外側に文字列を表示することにより前記選択手段が選択したパーツが何であるか示すことを特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御手段は、前記枠の一部を他の部分と識別可能に表示することによって前記選択手段が選択したパーツが何であるかを示すことを特徴とする請求項１または２に記載の表示制御装置。
4. 前記表示制御手段は、前記選択手段が選択したパーツに対応する前記枠の頂点を他の頂点と識別可能に表示することによって前記選択手段が選択したパーツが何であるか示すことを特徴とする請求項３に記載の表示制御装置。
5. 前記表示制御手段は、前記選択手段が選択したパーツに対応する前記枠の頂点を二重に表示することで他の頂点と識別可能に表示することを特徴とする請求項４に記載の表示制御装置。
6. 前記表示制御手段は、前記選択手段が選択したパーツに対応する前記枠の頂点を他の頂点と異なる色で示すことを特徴とする請求項４または５に記載の表示制御装置。
7. 前記選択手段が選択したパーツが左目である場合は、対応する前記前記枠の頂点は顔の上下方向から見た左上の頂点であり、前記選択手段が選択したパーツが右目である場合は、対応する前記前記枠の頂点は顔の上下方向から見た右上の頂点であることを特徴とする請求項４から６のいずれか１項に記載の表示制御装置。
8. 前記選択手段が選択したパーツが口である場合は、対応する前記前記枠の頂点は顔の上下方向から見た下の２頂点であることを特徴とする請求項４から７のいずれか１項に記載の表示制御装置。
9. 前記画像は動画像であり、前記前記選択手段が選択したパーツを複数フレームに渡って追尾するように制御する追尾手段を更に有することを特徴とする請求項１から８のいずれか１項に記載の表示制御装置。
10. 前記選択手段は、ユーザーの操作に基づいてユーザーに指定されたパーツを選択することを特徴とする請求項１から９のいずれか１項に記載の表示制御装置。
11. 撮像手段と、
    前記前記選択手段が選択したパーツに対してオートフォーカスを行うＡＦ手段を更に有することを特徴とする請求項１から１０のいずれか１項に記載の表示制御装置。
12. 前記選択手段は、前記取得手段で取得された顔のパーツのうち、表示制御装置に最も近い位置にあるパーツを自動的に選択することを特徴とする請求項１１に記載の表示制御装置。
13. 前記選択手段は、前記取得手段で取得された顔のパーツのうち、前記画像の中心に最も近い位置にあるパーツを自動的に選択することを特徴とする請求項１１または１２に記載の表示制御装置。
14. 前記選択手段は、前記取得手段で取得された顔のパーツが、合焦する被写界深度内にある場合には、前記顔のパーツではなく、顔を全体として選択することを特徴とする請求項１１から１３のいずれか１項に記載の表示制御装置。
15. 前記選択手段は、前記取得手段で取得された顔のサイズが所定サイズ未満である場合には、前記顔のパーツではなく、顔を全体として選択することを特徴とする請求項１１から１４のいずれか１項に記載の表示制御装置。
16. 前記画像を再生する再生手段を有し、
    前記選択手段は、前記再生手段で再生された画像に関連付けられた情報に基づいて前記顔のパーツのいずれかを選択し、
    前記表示制御手段は、前記再生手段で再生された画像を表示することを特徴とする請求項１から１５のいずれか１項に記載の表示制御装置。
17. 画像から顔の領域および前記顔に含まれるパーツの領域を示す情報を取得する取得ステップと、
    前記顔のパーツのいずれかを選択する選択ステップと、
    前記画像を表示するとともに、前記取得ステップで取得された顔の領域を示す枠を前記画像に重畳して表示し、前記枠の内側を使わずに、前記選択ステップにおいて選択したパーツが何であるか示す表示を行うように制御する表示制御ステップと、
    を有することを特徴とする表示制御装置の制御方法。
18. コンピュータを、請求項１から１６のいずれか１項に記載の表示制御装置の各手段として機能させることを特徴とするプログラム。
19. コンピュータを、請求項１から１６のいずれか１項に記載の表示制御装置の各手段として機能させるプログラムを格納したことを特徴とするコンピュータが読み取り可能な記録媒体。

Images