JP2014017665A - Display control unit, control method for display control unit, program, and recording medium - Google Patents
Display control unit, control method for display control unit, program, and recording medium Download PDFInfo
- Publication number
- JP2014017665A JP2014017665A JP2012153779A JP2012153779A JP2014017665A JP 2014017665 A JP2014017665 A JP 2014017665A JP 2012153779 A JP2012153779 A JP 2012153779A JP 2012153779 A JP2012153779 A JP 2012153779A JP 2014017665 A JP2014017665 A JP 2014017665A
- Authority
- JP
- Japan
- Prior art keywords
- face
- display control
- unit
- image
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像画像から特定の被写体を検出し、検出された被写体に合わせた撮影制御を行う表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体に関する。 The present invention relates to a display control device that detects a specific subject from a captured image and performs photographing control according to the detected subject, a control method for the display control device, a program, and a recording medium.
焦点(ピント)、露出、ホワイトバランス、露出などを、撮像されている画像から検出された人物の顔や動物の顔などの特定の被写体に合わせて自動的に設定する撮像装置が提案されている。
特許文献1には、撮像画像から、人物の顔や、犬や猫などの動物の顔を検出し、検出された顔の領域に合わせてAF処理を行う撮像装置が開示されている。
特許文献2には、撮像画像から検出された顔から、更に目、鼻、口を認識し、撮像画像に重畳して、認識された目、鼻、口の各位置に矩形を表示し、目、鼻、口の中から、ユーザー操作に応じて所望の位置を測距エリアとして選択できる撮像装置が提案されている。
There has been proposed an imaging apparatus that automatically sets the focus (focus), exposure, white balance, exposure, etc. according to a specific subject such as a human face or animal face detected from the captured image. .
Patent Document 1 discloses an imaging apparatus that detects a human face or an animal face such as a dog or a cat from a captured image and performs AF processing in accordance with the detected face area.
In
顔を撮影する場合などでは、顔のどの部分に焦点を合わせるか、逆に顔のどの部分をぼかすかも、撮像される画像の質・雰囲気において重要な要素である(特に顔をアップにして撮影された画像では顕著である)。そのため、顔の中でもどの部分に合わせて焦点調節を行うかを撮影者が確認あるいは選択できることが好ましい。再生時においても、顔のどの部分に合わせて焦点調節されたかが確認できると好ましい。しかしながら、特許文献2のように、顔の目、鼻、口などの部分に直接AFエリアを示すAF枠を重畳表示してしまうと、顔の主要エリアにAF枠が重畳表示されることになるため、目つぶりや顔の表情を視認する妨げとなり、撮影の邪魔となるおそれがある。
そこで本発明では、顔の主要エリアの視認の妨げとならないように、選択された顔の一部の領域を示すことが可能な表示制御装置を提供することを目的とする。
When shooting a face, which part of the face should be focused on, and which part of the face should be blurred, is also an important factor in the quality and atmosphere of the captured image (especially with the face up) Is noticeable in the rendered image). Therefore, it is preferable that the photographer can confirm or select which part of the face should be adjusted in focus. Even during playback, it is preferable that it can be confirmed to which part of the face the focus has been adjusted. However, as shown in
Therefore, an object of the present invention is to provide a display control device that can show a partial region of a selected face so as not to hinder the visual recognition of the main area of the face.
本発明にかかる表示制御装置は、画像から顔の領域および前記顔に含まれるパーツの領域を示す情報を取得する取得手段と、前記顔のパーツのいずれかを選択する選択手段と、前記画像を表示するとともに、前記取得手段で取得された顔の領域を示す枠を前記画像に重畳して表示し、前記枠の内側を使わずに、前記選択手段が選択したパーツが何であるか示す表示を行うように制御する表示制御手段とを有することを特徴とする。 The display control device according to the present invention includes an acquisition unit that acquires information indicating a face region and a part region included in the face from an image, a selection unit that selects one of the facial parts, and the image. And displaying a frame indicating the face area acquired by the acquisition unit superimposed on the image, and indicating what the part selected by the selection unit is without using the inside of the frame. Display control means for controlling to perform.
本発明によれば、顔の主要エリアの視認の妨げとならないように、選択された顔の一部の領域を示すことができる。 According to the present invention, it is possible to show a partial region of the selected face so as not to hinder the visual recognition of the main area of the face.
以下、図面を参照して本発明の好適な実施形態を説明する。
図1(a)、(b)に本発明の表示制御装置の一例としてのデジタルカメラの外観図を示す。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。図1において、表示部28は、画像や各種情報を表示する表示部である。シャッターボタン61は、ユーザーがデジタルカメラ100に撮影指示を行うための操作部である。モードダイヤル60は、各種モードを切り替えるための操作部である。端子カバー40は、コネクタ(不図示)を保護するカバーである。コネクタには、外部機器との接続ケーブルとデジタルカメラ100とを接続する接続ケーブル等を接続できる。
Preferred embodiments of the present invention will be described below with reference to the drawings.
FIGS. 1A and 1B are external views of a digital camera as an example of the display control apparatus of the present invention. FIG. 1A is a front perspective view of the
メイン電子ダイヤル71は、操作部70に含まれる回転操作部材である。メイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。
電源スイッチ72は、デジタルカメラ100の電源のONとOFFを切り替える操作部材である。
サブ電子ダイヤル73は、操作部70に含まれる回転操作部材である。サブ電子ダイヤル73の操作によって、選択枠の移動や画像送りなどを行える。
十字キー74は、操作部70に含まれる操作部材であり、上、下、左、右部分をそれぞれ押し込み可能な十字キーである。ユーザーは、十字キー74の押した部分に応じた操作が可能である。
SETボタン75は、操作部70に含まれる押しボタンであり、主に選択項目の決定などに用いられる。
LVボタン76は、操作部70に含まれる操作部材である。LVボタン76の操作によって、静止画撮影モードにおいてライブビュー(以下、LV)のONとOFFを切り替え、動画撮影モードにおいては、動画撮影(記録)の開始、停止を指示する。
拡大ボタン77は、操作部70に含まれる操作部材である。拡大ボタン77は、撮影モードのライブビュー表示において、拡大モードのON、OFF,および拡大モード中の拡大率の変更を行うための操作ボタンである。拡大ボタン77は、再生モードにおいては再生画像を拡大する(拡大率を増加させる)ための拡大ボタンとして機能する。
再生ボタン78は、操作部70に含まれる操作部材であり、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン78が押下されると、デジタルカメラ100は再生モードに移行し、記録媒体200に記録された画像のうち最新の画像を表示部28に表示させることができる。
クイックリターンミラー12は、システム制御部50の制御によって、不図示のアクチュエータによりアップダウンされる。
The main
The
The sub
The
The
The
The
The
The
通信端子10は、デジタルカメラ100が着脱可能なレンズユニット150と通信を行う為の通信端子である。
接眼ファインダー16は、覗き込み型のファインダーである。ユーザーは、接眼ファインダー16を通じてフォーカシングスクリーン13を観察することで、レンズユニット150を通して得た被写体の光学像の焦点や構図の確認を行うことができる。
蓋202は、記録媒体200が格納されるスロットの蓋である。
グリップ部90は、ユーザーがデジタルカメラ100を構えた際に右手で握りやすい形状とした保持部である。
The
The
A
The
図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。
図2において、レンズユニット150は、撮影レンズ103が搭載され、交換可能なレンズユニットである。
撮影レンズ103は、通常、複数枚のレンズによって構成されるが、ここでは簡略して一枚のレンズのみで示している。
通信端子6は、レンズユニット150がデジタルカメラ100側と通信を行うための通信端子である。通信端子10は、デジタルカメラ100がレンズユニット150側と通信を行うための通信端子である。レンズユニット150は、これらの通信端子6,10を介してシステム制御部50と通信する。そして、レンズユニット150は、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り102を制御し、AF駆動回路3を介して撮影レンズ103の位置を変位させることで焦点を合わせる。
AEセンサー17は、レンズユニット150を通した被写体の輝度を測光する。
焦点検出部11は、システム制御部50にデフォーカス量情報を出力する。システム制御部50は、デフォーカス量に基づいてレンズユニット150を制御し、位相差AFを行う。
FIG. 2 is a block diagram illustrating a configuration example of the
In FIG. 2, a
The
The communication terminal 6 is a communication terminal for the
The
The focus detection unit 11 outputs defocus amount information to the
クイックリターンミラー12(以下、ミラー12)は、露光、ライブビュー撮影、動画撮影の際に、不図示のアクチュエータによりアップダウンされる。アクチュエータは、システム制御部50から指示されて、ミラー12をアップダウンさせる。ミラー12は、撮影レンズ103から入射した光束を、接眼ファインダー16側に導くか撮像部22側に導くかを切替えるためのミラーである。ミラー12は、通常時は接眼ファインダー16へと光束を導くよう反射させるように配されている。そして、撮影が行われる場合やライブビュー表示が行われる場合には、ミラー12は撮像部22へと光束を導くように上方に跳ね上がり、光束中から待避する(ミラーアップ)。また、ミラー12は、その中央部が光の一部を透過できるハーフミラーとなっており、光束の一部を、焦点検出を行うための焦点検出部11に入射するように透過させる。
ユーザーは、ペンタプリズム14と接眼ファインダー16を介して、フォーカシングスクリーン13を観察することで、レンズユニット150を通して得た被写体の光学像の焦点や構図の確認が可能となる。
The quick return mirror 12 (hereinafter, mirror 12) is raised and lowered by an actuator (not shown) during exposure, live view shooting, and moving image shooting. The actuator is instructed by the
By observing the focusing screen 13 via the
シャッター101は、システム制御部50の制御により撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。
The
The
A/D変換部23は、アナログ信号をデジタル信号に変換する。A/D変換部23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
画像処理部24は、A/D変換部23からのデータ、または、メモリ制御部15からのデータに対し、所定の画素補間、縮小といったリサイズ処理や、色変換処理を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、得られた演算処理結果に基づいて、システム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24は、更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算処理結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
A/D変換部23からの出力データは、画像処理部24およびメモリ制御部15を介して、または、メモリ制御部15を介して、メモリ32に直接書き込まれる。
The A /
The
Output data from the A /
メモリ32は、撮像部22によって得られA/D変換部23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ32は、画像表示用のメモリ(ビデオメモリ)を兼ねている。
D/A変換部26は、メモリ32に格納されている画像表示用のデータを、アナログ信号に変換し、表示部28に供給する。
こうして、メモリ32に書き込まれた表示用の画像データは、D/A変換部26を介して表示部28により表示される。
The
The D /
Thus, the display image data written in the
表示部28は、LCD等の表示器上に、D/A変換部26からのアナログ信号に応じた表示を行う。A/D変換部23によって一度A/D変換されメモリ32に蓄積されたデジタル信号を、D/A変換部26においてアナログ変換し、表示部28に逐次転送して表示する。これにより、表示部28は、電子ビューファインダとして機能し、スルー画像表示(ライブビュー表示)を行える。
The
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
The
システム制御部50は、デジタルカメラ100全体を制御する。システム制御部50は、不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等が展開される。システムメモリ52には、たとえばRAMが用いられる。また、システム制御部50はメモリ32、D/A変換部26、表示部28等を制御することにより表示制御も行う。
The
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ(モードダイヤル)60、第1シャッタースイッチ62、第2シャッタースイッチ64は、操作部70に含まれる操作手段であり、システム制御部50に各種の動作指示を入力する。
モード切替スイッチ(モードダイヤル)60は、システム制御部50の動作モードを、静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。さらに静止画記録モードには、以下のモードがある。オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等。ユーザーは、モード切替スイッチ(モードダイヤル)60で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えることができる。または、モード切替スイッチ60で、動作モードを静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
The
The mode changeover switch (mode dial) 60, the
A mode switch (mode dial) 60 switches the operation mode of the
第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると、システム制御部50は、各種の設定可能なメニュー画面を表示部28に表示する。ユーザーは、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。
The
The
Each operation member of the
操作部70は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部70には、少なくとも以下の操作部が含まれる。シャッターボタン61、モード切替スイッチ(モードダイヤル)60、メイン電子ダイヤル71、電源スイッチ72、サブ電子ダイヤル73、十字キー74、SETボタン75、LVボタン76、拡大ボタン77、再生ボタン78。なお、図2においては、シャッターボタン61、モード切替スイッチ(モードダイヤル)60、電源スイッチ72以外の操作部材は省略してある。
The
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果およびシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。
電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。
記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
The
The
The recording medium I /
The
上述したデジタルカメラ100は、中央1点AFや顔AFを用いた撮影が可能である。
中央1点AFとは、撮影画面内の中央位置1点に対してAFを行うことである。顔AFとは顔検出機能によって検出された撮影画面内の顔に対してAFを行うことである。
The above-described
Central one-point AF is to perform AF on one central position in the shooting screen. Face AF is to perform AF on the face in the shooting screen detected by the face detection function.
ここで、顔検出機能について説明する。システム制御部50は、顔検出対象の画像データを画像処理部24に送る。システム制御部50の制御下で、画像処理部24は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部50の制御下で、画像処理部24は、処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平および垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
その後、システム制御部50は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部50は、抽出された目の候補群の中から、予め設定された条件(例えば2つの目の距離、傾き等)を満たすものを、目の対であると判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部50は、絞り込まれた目の候補群と、それに対応する顔を形成する他のパーツ(鼻、口、耳)を対応付けることで顔を検出する。または、システム制御部50は、絞り込まれた目の候補群と、予め設定された非顔条件フィルタを通すことで、顔を検出する。システム制御部50は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数、各顔を形成する各パーツ(右目、左目、鼻、口、耳)の位置と大きさなどの特徴量を、システムメモリ52に記憶する(取得する)。
Here, the face detection function will be described. The
Thereafter, the
以上のように、システム制御部50は、ライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量(情報)を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。
なお、顔AFと同時に顔AE,顔FE、顔WBを行うことができる。顔AEとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔FEとは検出された顔を中心にフラッシュの調光をすることである。顔WBとは、検出された顔の色に合わせて画面全体のWBを最適化することである。
As described above, the
Note that the face AE, the face FE, and the face WB can be performed simultaneously with the face AF. The face AE is to optimize the exposure of the entire screen according to the brightness of the detected face. The face FE is to perform flash dimming around the detected face. The face WB is to optimize the WB of the entire screen according to the detected face color.
デジタルカメラ100は、操作部70の一つとして、表示部28に対する接触を検知可能なタッチパネルを有する。タッチパネルと表示部28とは、一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部28の表示を妨げないように構成し、表示部28の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部28上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部28上に表示された画面を直接的に操作可能であるかのようなGUIを構成することができる。
そして、システム制御部50はタッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れたこと(以下、タッチダウンと称する)。タッチパネルを指やペンで触れている状態であること(以下、タッチオンと称する)。タッチパネルを指やペンで触れたまま移動していること(以下、ムーブと称する)。タッチパネルへ触れていた指やペンを離したこと(以下、タッチアップと称する)。タッチパネルに何も触れていない状態(以下、タッチオフと称する)。これらの操作や、タッチパネル上に指やペンが触れている位置座標は内部バスを通じてシステム制御部50に通知される。そして、システム制御部50は、通知された情報に基づいて、タッチパネル上にどのような操作が行なわれたかを判定する。ムーブについては、タッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作である。換言すると、フリックは、タッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。
タッチパネルには、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
The
The
The touch panel can be any of various types of touch panels such as a resistive film type, a capacitance type, a surface acoustic wave type, an infrared type, an electromagnetic induction type, an image recognition type, and a photo sensor type. good.
次に、上述のように構成されたデジタルカメラ100における撮影処理(制御方法)について、図3と図4のフローチャートと図5の表示例とを用いて説明する。図3と図4は、デジタルカメラ100における撮影処理を示すフローチャートである。図3と図4のフローチャートに示す撮影処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することにより実現される。図5は、撮影処理における表示部28の表示例を模式的に示す図である。
Next, photographing processing (control method) in the
デジタルカメラ100は、電源がONにされ、ライブビューでの撮影が可能な撮影モードが起動されて撮影可能状態となると、図3に示すライブビュー撮影処理を開始する。
The
S301では、システム制御部50は、撮像部22を用いたスルー画像(ライブビュー画像)を撮像して取得する。
In S301, the
S302では、システム制御部50は、連続して生成されるスルー画像データを用いて、顔検出を行う。
In S302, the
S303では、システム制御部50は、表示部28にスルー画像を動画像としてリアルタイムで表示するライブビュー表示を行う。
In S303, the
S304では、システム制御部50は、表示部28のうち、スルー画像を表示している領域に対するタッチダウンがあったか否かを判定する。タッチダウンがあった場合はS305に進み、タッチダウンが無い場合はS321に進む。ユーザーは、スルー画像上に表示された追尾したい被写体にタッチすることで(追尾したい被写体の表示された領域を指定することで)、追尾したい被写体(AFを合わせたい被写体)を指定することができる。図5の表示例5−1は、追尾したい被写体を指定する操作における表示例を示す。なお、本実施形態ではタッチ操作によって追尾したい被写体を指定する例を示すが、追尾したい被写体をユーザー操作に応じて指定できる方法であれば他の方法でもよい。例えば、スルー画像全体で検出された複数の顔に対してそれぞれ顔枠(枠)を表示しておき、その中から十字キーの操作に応じて任意の顔枠を選択することで、追尾したい被写体を選択する構成としてもよい。
In S <b> 304, the
S305では、システム制御部50は、S304で指定された位置(タッチダウン位置)から所定の範囲内で顔が検出されたか否かを判定する。指定位置から所定範囲内で顔が検出された場合はS306へ進み、指定位置から所定範囲内で顔が検出されない場合は非顔検出AFモードへ進む。
In S305, the
S306では、システム制御部50は、スルー画像に重畳して、S305で検出された、指定位置から所定範囲内で検出された顔であって、指定位置に最も近い顔の位置に、顔の全体を含むような顔枠(枠)を点滅表示する。点滅表示するのは、システム制御部50が追尾対象の自動選択の処理途中であり、追尾対象がまだ確定していないことを示すためである。図5の表示例5−2に、このときの表示例を示す。顔検出処理では、システム制御部50は、それぞれの顔について目、鼻、口などの顔の各パーツの位置も検出し、システムメモリ52に保持する。システム制御部50は、表示部28に、顔枠を、顔の全体を含むように(検出されている顔のパーツ(目、鼻、口)を含むように)表示させる。なお、横顔などであるために、顔のパーツ(目、鼻、口)の全てが検出されていない場合はこの限りではない。この場合には、システム制御部50は、表示部28に、検出できている分の顔の各パーツの位置から、検出できていない目、鼻、口も全て含まれるであろうサイズと位置を算出して顔枠を表示させる。
In S306, the
S307では、システム制御部50は、S306で枠を表示した顔が所定サイズ以上であるか否かを判定する。所定サイズ以上である場合はS308に進む。一方、所定サイズ未満の場合はS313に進む。S313に進んだ場合には、システム制御部50は、顔のパーツではなく、顔の全体を追尾対象に決定(選択)する。これは、検出された顔が所定サイズ未満であると、顔のパーツが小さすぎて、パーツ別のAF領域の設定が困難なためである。
In S307, the
S308では、システム制御部50は、顔の各パーツ(部位)の座標位置と大きさから、各パーツ位置のデフォーカス量またはレンズ駆動によるコントラスト評価値を取得し、各パーツの距離情報(デジタルカメラ100からの距離情報)を算出する。この方法としては、次のような方法がある。顔の中心部に一度フォーカスを合わせ、位相差情報により、顔のそれぞれのパーツ毎のデフォーカス量を算出する方法。コントラスト方式により、事前にフォーカスを動作させ顔のそれぞれのパーツ毎のデフォーカス量を算出する方法。なお、本発明の実施形態においては、どちらの方法を用いても良い。
In S308, the
S309では、システム制御部50は、検出された顔のパーツの中で、デジタルカメラ100からの距離が最至近のパーツと最遠のパーツを特定する。
In step S309, the
S310では、システム制御部50は、S301で得られたスルー画像から測光値を算出する。
In S310, the
S311では、システム制御部50は、測光値に基づき、現在選択されている撮影モードのプログラム線図に従い、絞り値、シャッター速度、ISO感度を設定する。
In S311, the
S312では、S311で設定された絞り値に対し、S309で特定された最至近・最遠のパーツが、合焦範囲内(合焦する被写界深度内)か否か判定する。合焦する被写界深度内であればS313に進み、そうでなければS316に進む。 In S312, it is determined whether or not the nearest and farthest part specified in S309 is within the focusing range (within the depth of field to be focused) with respect to the aperture value set in S311. If it is within the depth of field to be focused, the process proceeds to S313; otherwise, the process proceeds to S316.
S313では、システム制御部50は、顔のパーツではなく、顔全体を追尾対象に決定(選択)する。
In S313, the
S314では、システム制御部50は、表示部28に、顔全体に対する顔枠を点灯表示させる。図5の表示例5−5と5−9は、このときの表示例を示す。顔枠の示す範囲は、目、鼻、口を全て含むと推測される範囲である。
In S314, the
S315では、システム制御部50は、S313で追尾対象に決定された顔全体を追尾する。システム制御部50は、動画像としてのスルー画像のフレーム間の相関性に基づいて追尾を行う。すなわち、メモリ32に蓄積された過去の画像(例えば1フレーム前のスルー画像)と現在のスルー画像を比較することで追尾対象の被写体の位置を特定し、追尾対象の被写体を追尾する。これによって、追尾対象の顔の画面内での位置が変わっても、システム制御部50は、表示部28に、S314で説明した枠を、追尾対象の顔の位置に表示させる。
In S315, the
S316では、システム制御部50は、顔全体では無く、顔に含まれるパーツを追尾対象と決定する。ここで、システム制御部50は、各パーツに測距を行った結果、最もデジタルカメラ100に近い顔のパーツを、自動的に追尾対象に選択する。なお、位相差での測距であれば、各パーツの距離情報をすばやく取得することができる。これに対して、コントラスト方式の測距では、全ての顔のパーツの距離情報を取得するのに時間がかかる。そこで、この場合には、システム制御部50は、追尾対象を、デジタルカメラ100に近いパーツに自動的に決定するのではなく、撮像された画像の中心に最も近くにあるパーツに自動的に決定してもよい。このような方法あれば、システム制御部50は、各パーツの測距情報が無くとも、追尾対象を決定できる。
In S316, the
S317では、表示部28は、システム制御部50の制御によって、スルー画像に重畳してS214で追尾対象に選択された顔のパーツがどれであるかを示す表示を行う。この際、顔の全体を示す顔枠より内側にパーツを示す表示を行うと、顔の主要部の視認の妨げとなる。そこで、表示部28は、顔枠の内側を使わずに、顔枠の外側に顔のパーツを示す表示を行う(表示制御手段)。図5の表示例5−3は、左目が追尾対象となった場合の表示例を示す。この例では、顔枠の表示はそのままで、顔枠の外側である画面右上に、「左目」との文字列を表示する。これによってユーザーは、顔の主要部を視認しながらも、顔枠に含まれる顔の各パーツのうち、左目が追尾対象となっていることを識別することができる。図5の表示例5−7に、この場合における他の表示例を示す。顔枠の表示はそのままで、顔枠のうち左上の頂点を二重にすることで、他の頂点とは識別可能に表示している。これによってユーザーは、顔の主要部を視認しながらも、顔枠に含まれる顔の各パーツのうち、左目が追尾対象となっていることを識別することができる。このように、システム制御部50は、追尾対象に指定された顔のパーツと、顔枠の頂点の位置とを対応付ける。そして、システム制御部50は、表示部28に、対応付けられた顔枠の頂点を他の頂点と識別可能に表示させる。また、表示部28は、顔枠の頂点を二重にする表示と、「左目」の文字列の表示の両方を行ってもよい。なお、追尾対象のパーツに対応する頂点(左目の場合には左上頂点)を二重に表示することに代えて、色を変えるなどの他の方法で表示形態が他の頂点と異なっていることを示してもよい。
In step S317, the
追尾対象として右目を選択した場合の表示例を図5の表示例5−4と5−8に示す。図5の表示例5−4は、顔枠の表示はそのままで、顔枠の外側である画面右上に、「右目」との文字列を表示する例を示す。顔枠の右上の頂点が、追尾対象としての右目に対応付けられている。図5の表示例5−8は、顔枠の表示はそのままで、顔枠のうち右上の頂点を二重にすることで、他の頂点とは識別可能に表示している。追尾対象として口が選択された場合の表示例を、図5の表示例5−6と5−10に示す。図5の表示例5−6は、顔枠の表示はそのままで、顔枠の外側である画面右上に、「口」との文字列を表示する例を示す。顔枠の下側の2頂点が、追尾対象としての口に対応付けられている。図5の表示例5−8は、顔枠の表示はそのままで、顔枠のうち下側の2頂点を二重にすることで、他の頂点とは識別可能に表示している。 Display examples when the right eye is selected as the tracking target are shown in display examples 5-4 and 5-8 in FIG. Display example 5-4 of FIG. 5 shows an example in which the character string “right eye” is displayed on the upper right of the screen outside the face frame while the face frame is displayed as it is. The upper right vertex of the face frame is associated with the right eye as the tracking target. In the display example 5-8 in FIG. 5, the face frame is displayed as it is, and the upper right vertex of the face frame is doubled so that it can be distinguished from other vertices. Display examples when the mouth is selected as the tracking target are shown in display examples 5-6 and 5-10 in FIG. Display example 5-6 in FIG. 5 shows an example in which the character string “mouth” is displayed in the upper right of the screen outside the face frame while the face frame is displayed as it is. Two vertices on the lower side of the face frame are associated with the mouth as a tracking target. In display example 5-8 in FIG. 5, the face frame is displayed as it is, and the lower two vertices of the face frame are doubled so that they can be distinguished from other vertices.
追尾対象として顔全体を指定した場合の表示例を、図5の5−5と5−9に示す。図5の表示例5−5は、顔枠の表示はそのままで、顔枠の外側である画面右上に、「顔全体」との文字列を表示する例を示す。
なお、顔枠の「右上」「左上」「下」等の方向は、顔を正面から見た場合の通常の姿勢における上下方向を基準としている。このため、横向きの顔が検出された場合は、デジタルカメラ100の上下方向と顔の上下方向とが異なる場合がある。例えば、右に90度傾いた顔があった場合は、顔の左上はデジタルカメラ100の上下方向(重力に対して正位置であるものとする)における右上となる。いずれも、顔枠内の目や口といったパーツ自体には枠表示を行わないため、目つぶりや顔の表情を確認しやすくなり、この表示状態でシャッターボタンを操作するタイミングをはかることができる。したがって、ユーザーは、被写体がユーザーの意図した状態であるときに撮影することが可能となる。
図5(b)は、追尾対象に選択されている顔のパーツと、表示される文字列および顔枠の関係を模式的に示す表である。前記表示例をまとめると、図5(b)のようになる。
Display examples when the entire face is designated as the tracking target are shown in 5-5 and 5-9 in FIG. Display example 5-5 of FIG. 5 shows an example in which the character string “entire face” is displayed on the upper right of the screen outside the face frame while the face frame is displayed as it is.
Note that directions such as “upper right”, “upper left”, and “lower” of the face frame are based on the vertical direction in a normal posture when the face is viewed from the front. For this reason, when a horizontal face is detected, the vertical direction of the
FIG. 5B is a table schematically showing the relationship between the face part selected as the tracking target, the character string to be displayed, and the face frame. The display examples are summarized as shown in FIG.
S318では、システム制御部50は、追尾対象と決定された顔のパーツを、複数フレームにわたって追尾する(追尾手段)。そして、システム制御部50は、顔および顔のパーツが移動しても、S317で表示した顔枠と顔のパーツを示す表示を、追尾対象の顔に対して表示し続けるように制御する。
In S318, the
S319では、システム制御部50は、ユーザーからの指定部位変更操作があったか否かを判定する。指定部位変更操作があった場合はS320に進み、そうでない場合はS321に進む。指定部位変更操作としては、たとえば、サブ電子ダイヤル73に対する回転操作が適用される。この場合には、システム制御部50は、サブ電子ダイヤル73が時計回りに1クリック回転される毎に、S316で自動的に選択された自動選択部位から、左目、右目、口、顔中心、顔全体、自動選択パーツへと、順次指定部位を変更する。サブ電子ダイヤル73が反時計周りに操作された場合には、システム制御部50は、これとは逆の順序で順次指定部位を変更する。なお、口にピントを合わせたいケースは少ないと想定して、口は選択できないようにしてもよい(上記選択順序から口を省いてもよい)。
In S319, the
S320では、システム制御部50は、指定部位変更操作に応じて追尾対象の部位を変更する。そして、S317に進み、システム制御部50は、変更された指定部位(追尾対象)を示すように表示部28の表示を更新し、S318で変更された指定部位を追尾するように制御する。
In S320, the
S321では、システム制御部50は、撮影処理を行う。撮影処理については図4を用いて後述する。
図4に、図3のS321で前述した撮影処理のフローチャートを示す。
In S321, the
FIG. 4 shows a flowchart of the photographing process described above in S321 of FIG.
S401では、システム制御部50は、第1シャッタースイッチ62がONとなったか否か(シャッターボタン61が半押しされたか否か)を判定し、ONとなった場合はS402に進む。
In S401, the
S402では、システム制御部50は、顔を検出できている状態か否かを判定する。顔を検出できていればS403に進み、そうでない場合はS405に進む。
In S402, the
S403では、システム制御部50は、前述した図3での追尾が行われている状態か否かを判定する。追尾中である場合はS406へ進み、そうでない場合はS404へ進む。
In S403, the
S404では、システム制御部50は、顔に対する自動的なAF領域設定を行う。検出されている顔のうち、主顔と判定される顔に対して、前述したS306〜S314、S316、S317と同様の処理を行う。ただし、ここでは、システム制御部50は、主顔を追尾対象として決定するのではなく、AF領域として決定する。この処理により、システム制御部50は、AFを行うべき領域として、主顔全体または主顔に含まれる顔のパーツ(部位)を自動的に選択して、表示部28にAF領域として設定してAF枠を表示させる。
In S404, the
S405では、システム制御部50は、非顔AFモードでのAF枠設定を行う。これは、複数のAF候補領域のなかから自動的にAF領域を決定する処理などである。
In step S405, the
S406では、システム制御部50は、S404またはS405で設定されたAF領域、または追尾していた領域を対象としてAFを行い、S407でAE処理を行う。
In S406, the
S408では、システム制御部50は、AF領域として顔の部位(パーツ)が設定されている場合に、AF領域とする顔の部位を変更する指定部位変更操作があったか否かを判定する。この処理は、S319で前述した処理と同様である。指定部位変更操作があった場合にはS409に進み、システム制御部50は、指定部位を変更する。そして、システム制御部50は、S406とS407で、変更後の指定部位を対象としてAF,AEを行う。一方、指定部位変更操作が無かった場合はS410に進む。
In S <b> 408, the
S410では、システム制御部50は、第2シャッタースイッチ64がONとなったか否か(シャッターボタン61が全押しされたか否か)を判定する。ONとなったと判定した場合はS412に進み、そうでない場合はS411に進む。
In S410, the
S411では、システム制御部50は、第1シャッタースイッチ62のONが継続されているか否か(シャッターボタン61が半押しされたままか否か)を判定する。ONが継続されている場合はS406に進み、そうでない場合はS401に進む。
In S411, the
S412では、システム制御部50は、撮影を行い、撮影された画像ファイルに、AF領域がどこであったかの情報を付加して記録媒体200に記録し、撮影処理を終了する。
In step S412, the
図4を用いて説明した表示例は、撮影済みの画像を、当該デジタルカメラ100や、他の再生機器で再生する際のピント確認表示の際に行ってもよい。画像ファイルに記録されたAF領域がどこであったかの情報にもとづいて、顔のどのパーツに対してオートフォーカスが行われたかを図4のように表示することが可能である。目などのパーツに枠の表示が重ならないことで、顔の表情や目つぶりの状態を視認しやすくなる。
The display example described with reference to FIG. 4 may be performed during focus confirmation display when a captured image is played back by the
なお、システム制御部50の制御は1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず、撮像手段を有する機器や、撮像した画像を表示できる機器であれば適用可能である。すなわち、本発明は、パーソナルコンピュータやPDA、携帯電話端末などに適用可能である。
The control of the
Although the present invention has been described in detail based on the preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms without departing from the gist of the present invention are also included in the present invention. included. Furthermore, each embodiment mentioned above shows only one embodiment of this invention, and it is also possible to combine each embodiment suitably.
In the above-described embodiment, the case where the present invention is applied to a digital camera has been described as an example. However, the present invention is not limited to this example, and is a device having an imaging unit or a device that can display a captured image. Applicable if available. In other words, the present invention can be applied to personal computers, PDAs, mobile phone terminals, and the like.
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various recording media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program code. It is a process to be executed. In this case, the program and the recording medium storing the program constitute the present invention.
本発明は、表示制御装置、表示制御装置の制御方法に好適な技術である。また、本発明は、撮像手段を有する機器や、撮像した画像を表示できる機器であれば適用可能である。 The present invention is a technique suitable for a display control device and a control method for the display control device. In addition, the present invention is applicable to any device that has an imaging unit or a device that can display a captured image.
Claims (19)
前記顔のパーツのいずれかを選択する選択手段と、
前記画像を表示するとともに、前記取得手段で取得された顔の領域を示す枠を前記画像に重畳して表示し、前記枠の内側を使わずに、前記選択手段が選択したパーツが何であるか示す表示を行うように制御する表示制御手段と、
を有することを特徴とする表示制御装置。 Acquisition means for acquiring information indicating a face area and a part area included in the face from an image;
Selecting means for selecting any of the facial parts;
In addition to displaying the image, a frame indicating the face area acquired by the acquisition unit is displayed superimposed on the image, and what is the part selected by the selection unit without using the inside of the frame? Display control means for controlling to perform display,
A display control device comprising:
前記前記選択手段が選択したパーツに対してオートフォーカスを行うAF手段を更に有することを特徴とする請求項1から10のいずれか1項に記載の表示制御装置。 Imaging means;
The display control apparatus according to claim 1, further comprising an AF unit that performs auto-focusing on the part selected by the selection unit.
前記選択手段は、前記再生手段で再生された画像に関連付けられた情報に基づいて前記顔のパーツのいずれかを選択し、
前記表示制御手段は、前記再生手段で再生された画像を表示することを特徴とする請求項1から15のいずれか1項に記載の表示制御装置。 Replay means for replaying the image;
The selection means selects any of the facial parts based on information associated with the image reproduced by the reproduction means,
The display control apparatus according to claim 1, wherein the display control unit displays an image reproduced by the reproduction unit.
前記顔のパーツのいずれかを選択する選択ステップと、
前記画像を表示するとともに、前記取得ステップで取得された顔の領域を示す枠を前記画像に重畳して表示し、前記枠の内側を使わずに、前記選択ステップにおいて選択したパーツが何であるか示す表示を行うように制御する表示制御ステップと、
を有することを特徴とする表示制御装置の制御方法。 An acquisition step of acquiring information indicating a face area and a part area included in the face from an image;
A selection step of selecting any of the facial parts;
In addition to displaying the image, a frame indicating the face area acquired in the acquisition step is displayed superimposed on the image, and what is the part selected in the selection step without using the inside of the frame? A display control step for controlling the display to be performed;
A display control apparatus control method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012153779A JP2014017665A (en) | 2012-07-09 | 2012-07-09 | Display control unit, control method for display control unit, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012153779A JP2014017665A (en) | 2012-07-09 | 2012-07-09 | Display control unit, control method for display control unit, program, and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014017665A true JP2014017665A (en) | 2014-01-30 |
Family
ID=50111987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012153779A Pending JP2014017665A (en) | 2012-07-09 | 2012-07-09 | Display control unit, control method for display control unit, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014017665A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018067802A (en) * | 2016-10-19 | 2018-04-26 | キヤノン株式会社 | Imaging control apparatus, control method of imaging apparatus, and program |
JP2020118717A (en) * | 2019-01-18 | 2020-08-06 | キヤノン株式会社 | Imaging device and control method therefor |
JP2021021857A (en) * | 2019-07-29 | 2021-02-18 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP2022027841A (en) * | 2017-10-17 | 2022-02-14 | キヤノン株式会社 | Electronic apparatus, program, and storage medium |
CN116528043A (en) * | 2023-04-13 | 2023-08-01 | 荣耀终端有限公司 | Object marking method and electronic equipment |
WO2024095888A1 (en) * | 2022-11-01 | 2024-05-10 | キヤノン株式会社 | Imaging device, control method, and program |
-
2012
- 2012-07-09 JP JP2012153779A patent/JP2014017665A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018067802A (en) * | 2016-10-19 | 2018-04-26 | キヤノン株式会社 | Imaging control apparatus, control method of imaging apparatus, and program |
JP2022027841A (en) * | 2017-10-17 | 2022-02-14 | キヤノン株式会社 | Electronic apparatus, program, and storage medium |
JP2020118717A (en) * | 2019-01-18 | 2020-08-06 | キヤノン株式会社 | Imaging device and control method therefor |
JP7277149B2 (en) | 2019-01-18 | 2023-05-18 | キヤノン株式会社 | Imaging device and its control method |
JP2021021857A (en) * | 2019-07-29 | 2021-02-18 | キヤノン株式会社 | Imaging apparatus and control method thereof |
WO2024095888A1 (en) * | 2022-11-01 | 2024-05-10 | キヤノン株式会社 | Imaging device, control method, and program |
CN116528043A (en) * | 2023-04-13 | 2023-08-01 | 荣耀终端有限公司 | Object marking method and electronic equipment |
CN116528043B (en) * | 2023-04-13 | 2024-03-29 | 荣耀终端有限公司 | Object marking method and electronic equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6748582B2 (en) | Imaging device, control method thereof, program, and recording medium | |
JP6765956B2 (en) | Imaging control device and its control method | |
US9036073B2 (en) | Imaging apparatus and for controlling an automatic focus (AF) area and an enlargement area in a live view | |
JP6602361B2 (en) | Electronic device and control method thereof | |
JP6991033B2 (en) | Electronic devices and their control methods | |
JP6701145B2 (en) | Electronic device and control method thereof | |
JP7129294B2 (en) | Electronics and area selection method | |
JP2014017665A (en) | Display control unit, control method for display control unit, program, and recording medium | |
US9992405B2 (en) | Image capture control apparatus and control method of the same | |
JP2014228629A (en) | Imaging apparatus, control method and program thereof, and storage medium | |
JP6460868B2 (en) | Display control apparatus and control method thereof | |
JP4916403B2 (en) | Image processing apparatus and control method thereof | |
JP2019012900A (en) | Imaging control device, control method, program and storage medium | |
JP6200265B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
JP6768449B2 (en) | Imaging control device, control method and program of imaging device | |
JP6630337B2 (en) | Electronic device and control method thereof | |
JP6393296B2 (en) | IMAGING DEVICE AND ITS CONTROL METHOD, IMAGING CONTROL DEVICE, PROGRAM, AND STORAGE MEDIUM | |
JP6708516B2 (en) | Electronic device, control method thereof, and program | |
JP6200194B2 (en) | Imaging apparatus, control method therefor, and program | |
JP6289107B2 (en) | Image reproduction apparatus, control method thereof, and control program | |
JP2018107560A (en) | Imaging apparatus | |
JP6851788B2 (en) | Focus control device, control method and program of focus control device | |
JP6971709B2 (en) | Imaging device and its control method | |
JP6711599B2 (en) | Imaging device, control method thereof, program, and storage medium | |
JP7034601B2 (en) | Imaging control device and its control method |