本明細書において、属性情報を「更新する」とは、既に生成された属性情報を書き換えることだけでなく、新しく属性情報を生成することも含む。
本発明の実施形態に係る撮像装置100の外観構成について、図1を用いて説明する。図1は、実施形態に係る撮像装置100の外観構成図である。
図1に示すように、撮像装置100は、例えば、デジタルカメラ、カムコーダ、カメラ付き携帯電話などである。撮像装置100は、外観上、以下の構成要素を備える。
28は、表示手段であり、画像や各種情報を表示する。
72は、電源スイッチであり、電源オン状態と電源オフ状態とを切り替えるための指示を利用者から受け付ける。
61は、シャッターボタンであり、顔検出するための指示や静止画撮影するための指示などを利用者から受け付ける。
60は、モード切替スイッチであり、撮像装置100における複数の動作モードを切り替えるためのモード切替指示を利用者から受け付ける。複数の動作モードは、例えば、静止画記録モード、動画記録モード、再生モード等である。
112は、コネクタであり、接続ケーブル111と撮像装置100とを接続する。接続ケーブル111は、撮像装置100と外部機器とを接続する。
70は、操作部であり、各種操作のための指示を利用者から受け付ける。操作部70は、例えば、図示された各種ボタンや、表示手段28の画面に設けられたタッチパネル等の操作部材を有する。操作部70の各種ボタンは、例えば、消去ボタン、メニューボタン、SETボタン、十字に配置された4方向ボタン(上ボタン、下ボタン、右ボタン、左ボタン)、ホイール73等である。
201は、記録媒体スロットであり、記録媒体200を格納する。記録媒体200は、メモリカードやハードディスク等の記録媒体である。記録媒体スロット201に格納された記録媒体200は、撮像装置100との通信が可能となる。
202は、記録媒体スロット201の蓋である。
次に、実施形態に係る撮像装置100の内部構成について、図2を用いて説明する。図2は、実施形態に係る撮像装置100の構成図である。
撮像装置100は、以下の構成要素を備える。
103は、撮影レンズである。
101は、絞り機能を備えるシャッターである。
22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像手段である。撮像手段22は、静止画撮影前に第1画像データを撮像し、静止画撮影時に第2画像データを撮像する。
23は、A/D変換器であり、アナログ信号をデジタル信号に変換する。A/D変換器23は、撮像手段22から出力されるアナログ信号をデジタル信号に変換する場合や、音声制御部11から出力されるアナログ信号をデジタル信号に変換する場合に用いられる。
102は、バリアであり、撮影レンズ103、シャッター101、及び撮像手段22を含む撮像系を覆って、撮像系の汚れや破損を防止する。
12は、タイミング発生部であり、撮像手段22、音声制御部11、A/D変換器23、D/A変換器13にクロック信号や制御信号を供給する。タイミング発生部12は、メモリ制御部15及びシステム制御部50により制御される。
24は、画像処理部であり、A/D変換器23からのデータやメモリ制御部15からのデータに対し所定の画素補間や縮小などのリサイズ処理や色変換処理等を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部50が露光制御や測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
32は、記憶手段である。記憶手段32には、A/D変換器23からの出力データ(画像データ)が、画像処理部24及びメモリ制御部15を介して、或いは、直接メモリ制御部15を介して、書き込まれる。
例えば、記憶手段32は、第1画像データを記憶する。第1画像データは、撮像手段22により静止画撮影前に撮像されたアナログ画像信号に応じたデータであり、表示手段28に表示するための画像データである。あるいは、例えば、記憶手段32は、第2画像データと、後述の判定手段50bが判定した被写体の分類(分類情報)を含む第2画像データの属性情報(ヘッダ情報)とを有する画像ファイルを記憶する。被写体の分類(分類情報)は、被写体が「人物」であるか否かを示す。あるいは、例えば、記憶手段32は、マイク10において録音された音声データ、動画撮影された動画データなどを記憶する。
圧縮/伸張部16は、適応離散コサイン変換(ADCT)等により画像データを圧縮、伸張する。圧縮/伸張部16は、シャッター101の駆動信号をトリガにして記憶手段32に格納された画像データを読み込んで圧縮処理を行い、処理を終えた画像データを記憶手段32に書き込む。また、記録媒体200の記録部19などから記憶手段32に読み込まれた圧縮画像データに対して伸張処理を行い、処理を終えた画像データを記憶手段32に書き込む。圧縮/伸張部16により記憶手段32に書き込まれた画像データは、システム制御部50のファイル部においてファイル化され、画像ファイルとしてインターフェース18を介して記録媒体200に記録される。この画像ファイルは、記憶手段32に記憶される画像ファイルと同様のファイルである。また、記憶手段32は画像表示用のメモリ(ビデオメモリ)を兼ねている。
13は、D/A変換器であり、記憶手段32に格納されている画像表示用のデータをアナログ信号に変換して表示手段28に供給する。
28は、表示手段であり、LCD等の表示器上に、撮像手段22により撮像された画像データ(第1画像データ又は第2画像データ)に応じた表示を行う。例えば、撮像手段22により撮像され記憶手段32に書き込まれた表示用の画像データはD/A変換器13を介してアナログ画像信号に変換されて表示手段28に供給される。これにより、表示手段28は、アナログ画像信号に応じた画像を表示する。
10は、マイクである。マイク10から出力された音声信号は、アンプ等で構成される音声制御部11を介してA/D変換器23に供給され、A/D変換器23においてデジタル信号に変換された後、メモリ制御部15によって記憶手段32に格納される。一方、記録媒体200に記録されている音声データは、記憶手段32に読み込まれた後、D/A変換器13によりアナログ信号に変換される。音声制御部11は、このアナログ信号によりスピーカ39を駆動し、音声出力する。
不揮発性メモリ56は、電気的に消去・記憶可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
50は、システム制御部であり、撮像装置100全体を制御する。システム制御部50は、上述した不揮発性メモリ56に記憶されたプログラムを実行することで、後述する本実施形態の各処理を実現する。また、システム制御部50は、顔検出手段50a、判定手段50b及び更新手段50cを含む。
顔検出手段50aは、第1画像データと第2画像データとのそれぞれに、被写体の顔を検出する顔検出処理を行う。第1画像データは、撮像手段22により静止画撮影前に撮像された画像データである。第2画像データは、撮像手段22により静止画撮影時に撮像された画像データである。顔検出手段50aは、後述の赤目検出が行われる場合、第2画像データに顔検出処理を行う。顔検出手段50aは、赤目検出が行われない場合、第2画像データに顔検出処理を行わない。赤目検出が行われない場合は、例えば、赤目補正がOFF設定されている場合や、静止画撮影時にフラッシュ発光されなかった場合などを含む。
判定手段50bは、第1画像データに顔検出手段50aが顔検出処理を行った結果と、第2画像データに顔検出手段50aが顔検出処理を行った結果とに基づいて、被写体の分類を判定する。例えば、判定手段50bは、第1画像データの中から顔検出手段50aが被写体の顔を検出し、第2画像データの中から顔検出手段50aが被写体の顔を検出したと判断する場合、被写体が「人物」であると判定する。あるいは、例えば、判定手段50bは、顔検出手段50aが第2画像データに顔検出処理を行わない場合、第1画像データに顔検出手段50aが顔検出処理を行った結果に基づいて、被写体の分類を判定する。
更新手段50cは、判定手段50bが判定した結果に基づいて、記憶手段32に記憶された画像ファイルの属性情報を更新する。すなわち、更新手段50cは、第2画像データの画像ファイルのヘッダ情報に含まれる分類情報を新たに作成する。あるいは、更新手段50cは、第2画像データの画像ファイルのヘッダ情報に含まれる分類情報を書き換える。
52は、システムメモリであり、RAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。
60は、モード切替スイッチであり、撮像装置100における複数の動作モードを切り替えるためのモード切替指示を利用者から受け付ける。複数の動作モードは、例えば、静止画記録モード、動画記録モード、再生モード等である。
61は、シャッターボタンであり、顔検出するための指示や静止画撮影するための指示などを利用者から受け付ける。シャッターボタン61には、第1シャッタースイッチ62及び第2シャッタースイッチ64が接続されている。
第1シャッタースイッチ62は、シャッターボタン61が半押しされたことを検知してONされることにより、第1シャッタースイッチ信号SW1を発生してシステム制御部50へ供給する。システム制御部50は、第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61が全押しされたことを検知してONされることにより、第2シャッタースイッチ信号SW2を発生してシステム制御部50へ供給する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像手段22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。
70は、操作部であり、各種操作のための指示を利用者から受け付ける。操作部70は、例えば、図示された各種ボタンや、表示手段28の画面に設けられたタッチパネル等の操作部材を有する。操作部70の各種ボタンは、例えば、消去ボタン、メニューボタン、SETボタン、十字に配置された4方向ボタン(上ボタン、下ボタン、右ボタン、左ボタン)、ホイール73等である。また、操作部70の各操作部材は、表示手段28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種設定が可能なメニュー画面が表示手段28に表示される。利用者は、表示手段28に表示されたメニュー画面と、4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。
72は、電源スイッチであり、電源オン状態と電源オフ状態とを切り替えるための指示を利用者から受け付ける。
80は、電源制御部であり、バッテリー検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、バッテリーの装着の有無、バッテリーの種類、バッテリー残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。
30は、電源部であり、アルカリバッテリーやリチウムバッテリー等の一次バッテリーやNiCdバッテリーやNiMHバッテリー、Liバッテリー等の二次バッテリー、ACアダプター等からなる。33及び34はコネクタであり、電源部30と電源制御部80とを接続する。
40は、RTC(Real Time Clock)であり、日付及び時刻を計時する。RTC40は、電源制御部80とは別に内部に電源を保持しており、電源部30が落ちた状態であっても、計時状態を続ける。システム制御部50は、起動時(電源オフ状態から電源オン状態に切り替わったとき)にRTC40より取得した日時を用いてシステムタイマを設定し、タイマ制御を実行する。
18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。
35は、記録媒体200とインターフェース18との接続のためのコネクタである。記録媒体200は、メモリカードやハードディスク等の記録媒体である。記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部19、撮像装置100とのインターフェース37、及び、記録媒体200と撮像装置100とを接続するためのコネクタ36を備えている。
96は、記録媒体着脱検知部であり、コネクタ35に記録媒体200が装着されているか否かを検知する。
通信部110は、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信、等の各種通信処理を行う。
112は、コネクタであり、接続ケーブル111と撮像装置100とを接続する。接続ケーブル111は、撮像装置100と外部機器とを接続する。コネクタ112は、例えば、無線通信を行うためのアンテナ、有線通信を行うための接続端子などである。
次に、撮像装置100の動作を、図3を用いて説明する。図3は、実施形態に係る撮像装置100の動作を示すフローチャートである。
ステップS301では、システム制御部50が初期設定を行う。すなわち、システム制御部50は、電源オン状態に切り替えるための指示を電源スイッチ72から受け取ると、フラグや制御変数等を初期化する。
ステップS302では、システム制御部50が、記録媒体200に記録されているファイルに関する管理処理を行う。
ステップS303では、システム制御部50が、複数の動作モードを切り替えるためのモード切替指示をモード切替スイッチ60から受け取る。システム制御部50は、モード切替指示に応じて、静止画記録モードが選択されたか否かを判断する。システム制御部50は、静止画記録モードが選択されたと判断する場合、処理をステップS304へ進め、静止画記録モードが選択されていないと判断する場合、処理をステップS305へ進める。
ステップS304では、静止画記録モード処理が行われる。静止画記録モード処理については後述する。
ステップS305では、システム制御部50が、モード切替指示に応じて、動画記録モードが選択されたか否かを判断する。システム制御部50は、動画記録モードが選択されたと判断する場合、処理をステップS306へ進め、動画記録モードが選択されていないと判断する場合、処理をステップS307へ進める。
ステップS306では、動画記録モード処理が行われる。動画記録モード処理については後述する。
ステップS307では、システム制御部50が、モード切替指示に応じて、再生モードが選択されたか否かを判断する。システム制御部50は、再生モードが選択されたと判断する場合、処理をステップS308へ進め、再生モードが選択されていないと判断する場合、処理をステップS309へ進める。
ステップS308では、再生モード処理が行われる。再生モード処理については後述する。
ステップS309では、システム制御部50が、その他の選択されたモードに応じた処理を実行する。その他のモードとしては、例えば、記録媒体200に格納されたファイルの送信を行う送信モード処理、外部機器からファイルを受信して記録媒体200に格納する受信モード処理などが含まれる。
ステップS310では、システム制御部50が、電源スイッチ72の設定位置を判断して、電源オフ状態に切り替えるべきか否かを判断する。例えば、システム制御部50は、電源オフ状態に切り替えるための指示を電源スイッチ72から受け取った場合、電源オフ状態に切り替えるべきであると判断する。システム制御部50は、電源オフ状態に切り替えるべきであると判断する場合、処理をステップS311へ進め、電源オフ状態に切り替えるべきでないと判断する場合、処理をステップS303へ進める。
ステップS311では、システム制御部50が、終了処理を行う。終了処理には、例えば以下の処理が含まれる。すなわち、表示手段28の表示を終了状態に変更し、レンズバリア102を閉じて撮像手段22を保護し、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ56に記録し、電源供給が不要な部分への電源を遮断する。ステップS311の終了処理が完了すると、本処理を終了し、電源部30をOFF状態へ移行する。
次に、静止画記録モード処理(S304)について、図4を用いて説明する。図4は、静止画記録モード処理を示すフローチャートである。なお、図4に示される静止画記録モード処理は、モード切替スイッチ60により他のモードへの切替が行われた場合や電源スイッチ72がOFFにセットされた場合に、割り込み処理等により終了するものとする。
ステップS401では、システム制御部50が、静止画記録モードを開始したことに応じて、撮影モードを確定する。システム制御部50は、例えば、次の(1)又は(2)の動作を制御して、撮影モードを確定する。
(1)不揮発性メモリ56より前回の静止画記録モード終了時における撮影モードを取得してシステムメモリ52に格納する。
(2)利用者により操作部70が操作されて撮影モードの設定入力があった場合に、その設定入力された撮影モードをシステムメモリ52に格納する。
ここで、撮影モードとは、撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等の複数の条件を組み合わせて実現されるモードのことである。本実施形態の撮像装置100は、以下のような複数の撮影モードを有する。
撮影モードは、例えば、オートモードを含む。オートモードは、撮像装置100に組み込まれたプログラムにより、撮像装置100の各種パラメータが、計測された露出値に基づいて自動的に決定されるモードである。
撮影モードは、例えば、マニュアルモードを含む。マニュアルモードは、撮像装置100の各種パラメータを利用者が自由に変更可能なモードである。
撮影モードは、例えば、シーンモードを含む。シーンモードは、撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等の組み合わせが自動で設定されるモードである。なお、シーンモードには以下のような撮影モードが含まれる。
撮影モードは、例えば、ポートレートモードを含む。ポートレートモードは、背景をぼかして人物を浮き立たせるようにして人物撮影に特化したモードである。
撮影モードは、例えば、夜景モードを含む。夜景モードは、人物にストロボ光をあて背景を遅いシャッター速度で記録するモードであり、夜景シーンに特化したモードである。
撮影モードは、例えば、風景モードを含む。風景モードは、広がりのある風景シーンに特化したモードである。
撮影モードは、例えば、ナイト&スナップモードを含む。ナイト&スナップモードは、三脚なしで夜景と人物をきれいに撮るのに適したモードである。
撮影モードは、例えば、キッズ&ペットモードを含む。キッズ&ペットモードは、よく動き回る子供やペットをシャッターチャンスを逃さず撮影可能にしたモードである。
撮影モードは、例えば、新緑&紅葉モードを含む。新緑&紅葉モードは、新緑等の木々や葉を色鮮やかに撮影するのに適したモードである。
撮影モードは、例えば、パーティーモードを含む。パーティーモードは、蛍光灯や電球のもとで、手振れを抑えて被写体に忠実な色味で撮影するモードである。
撮影モードは、例えば、スノーモードを含む。スノーモードは、雪景色をバックにしても人物が暗くならず、青みも残さず撮影するモードである。
撮影モードは、例えば、ビーチモードを含む。ビーチモードは、太陽光の反射の強い海面や砂浜でも、人物などが暗くならずに撮影可能なモードである。
撮影モードは、例えば、花火モードを含む。花火モードは、打ち上げ花火を最適な露出で鮮やかに撮影するためのモードである。
撮影モードは、例えば、水族館モードを含む。水族館モードは、屋内の水槽内の魚などを撮影するのに適した感度、ホワイトバランス、色味を設定するモードである。
撮影モードは、例えば、水中モードを含む。水中モードは、水中に最適なホワイトバランスに設定し、青みを押さえた色合いで撮影するモードである。
ステップS402では、システム制御部50が、表示手段28に対し静止画撮影前に撮像された画像データ(第1画像データ)のスルー表示を行う。スルー表示とは、静止画撮影される前の画像を確認するために行われる表示である。スルー表示では、撮像手段22からの画像データ(第1画像データ)が記録媒体200に記録されずに(スルーして)表示手段28に逐次表示される。
ステップS403では、システム制御部50が、電源制御部80を介して、電源部30のバッテリー残容量等がOKであるか否かを判断する。また、システム制御部50は、記録媒体200の残容量等がOKであるか否かを判断する。システム制御部50は、電源部30のバッテリー残容量等と記録媒体200の残容量等とがともにOKであると判断する場合、処理をステップS405へ進める。システム制御部50は、電源部30のバッテリー残容量等と記録媒体200の残容量等とのいずれかがNGであると判断する場合、処理をステップS404へ進める。
ステップS404では、システム制御部50が、表示手段28を用いて画像や音声により所定の警告表示や警告音声出力を行い、処理をステップS401に戻す。
ステップS405では、システム制御部50が、必要に応じて赤目補正のON/OFF設定を行う。赤目補正ON/OFF設定は、操作部70に含まれるメニューボタンを押すことで表示手段28に表示されるメニュー画面(図示せず)により利用者が任意に設定可能である。例えば、撮影した画像の人の目が赤くなる赤目が発生する可能性が高いと判断されたときに、後述のステップS415で自動で赤目を補正することを希望するものとして、操作部70に赤目補正ON設定が入力されてシステムメモリ52に記憶される。あるいは、例えば、後述のステップS415で自動で赤目を補正することを希望しない場合、操作部70に赤目補正OFF設定が入力されてシステムメモリ52に記憶される。
ステップS406(第1顔検出ステップ)では、顔検出処理が行われる。すなわち、顔検出手段50aは、第1画像データに顔検出処理を行う。顔検出処理の詳細は、図5を用いて後述する。
ステップS407では、システム制御部50が、顔検出処理(ステップS406)において被写体の顔が検出された場合、第1画像データ中において検出した顔の位置座標、サイズ(幅、高さ)、検出個数、信頼性係数等を静止画撮影前の顔情報として特定する。システム制御部50は、静止画撮影前の顔情報をシステムメモリ52に記憶する。一方、システム制御部50は、顔検出処理において顔が検出されなかった場合、システムメモリ52にアクセスして、位置座標、サイズ(幅、高さ)、検出個数、信頼性係数等の情報を0(NULL)に設定して静止画撮影前の顔情報として記憶する。
ステップS408では、システム制御部50が、第1シャッタースイッチ62がONされたかOFFされたかを判断する。システム制御部50は、第1シャッタースイッチ62がOFFされたと判断する場合、処理を終了する。システム制御部50は、第1シャッタースイッチ62がONされたと判断する場合、処理をステップS409へ進める。
ステップS409では、システム制御部50が、測距処理を行って撮影レンズ103の焦点を被写体に合わせるとともに、測光処理を行って絞り値及びシャッター時間(シャッタースピード)を決定してその設定値をシステムメモリ52へ記憶する。なお、システム制御部50は、測光処理において、必要であればフラッシュの設定も行ってその設定値をシステムメモリ52へ記憶する。このとき、システム制御部50は、顔検出処理(ステップS406)において被写体の顔が検出されていれば、検出した顔の範囲で測距を行うようにすることも可能である。
ステップS410では、システム制御部50が、第2シャッタースイッチ64がONされたかOFFされたかを判断する。システム制御部50は、第2シャッタースイッチ64がOFFされたと判断する場合、処理をステップS411へ進める。システム制御部50は、第1シャッタースイッチ62がONされたと判断する場合、処理をステップS412へ進める。
ステップS411では、システム制御部50が、第1シャッタースイッチ62がONされたかOFFされたかを判断する。システム制御部50は、第1シャッタースイッチ62がOFFされたと判断する場合、処理を終了する。システム制御部50は、第1シャッタースイッチ62がONされたと判断する場合、処理をステップS410へ進める。
ステップS412では、システム制御部50が、表示手段28の表示状態をスルー表示状態から固定色表示状態に変えるように制御する。
ステップS413では、撮影処理(静止画撮影)が行われる。撮影処理の詳細は、図6を用いて後述する。
ステップS414では、システム制御部50が、表示手段28に対し撮影処理(S413)で撮像された画像データ(第2画像データ)のクイックレビュー表示(レックレビュー表示)を行う。クイックレビュー表示とは、静止画撮影された画像を確認するために行われる表示である。クイックレビュー表示では、被写体の静止画撮影後に画像データ(第2画像データ)が記録媒体200へ記録される前に、予め決められた時間(レビュー時間)だけ画像データが表示手段28に表示される。
ステップS415では、赤目処理が行われる。赤目処理の詳細は、図7を用いて後述する。
ステップS416では、記録処理が行われる。記録処理の詳細は、図8を用いて後述する。
ステップS417では、システム制御部50が、第2シャッタースイッチ64がONされたかOFFされたかを判断する。システム制御部50は、第2シャッタースイッチ64がOFFされたと判断する場合、クイックレビューの表示(ステップS414参照)を終了させ、処理をステップS418へ進める。システム制御部50は、第1シャッタースイッチ62がONされたと判断する場合、クイックレビューの表示を継続させ、処理をステップS417へ進める。このように構成することにより、利用者は、シャッターボタン61の全押し状態を継続することで、クイックレビューを用いた撮影画像データの確認を入念に行うことが可能となる。
ステップS418では、システム制御部50が、図示しないタイマーを参照し、予め定められたミニマムレビュー時間が経過したか否かを判断する。システム制御部50は、ミニマムレビュー時間が経過したと判断する場合、処理をステップS419へ進め、ミニマムレビュー時間が経過していないと判断する場合、処理をステップS418へ進める。
ステップS419では、システム制御部50が、表示手段28の表示状態をクイックレビュー表示状態からスルー表示状態に戻すように設定する。
ステップS420では、システム制御部50が、第1シャッタースイッチ62がONされたかOFFされたかを判断する。システム制御部50は、第1シャッタースイッチ62がOFFされたと判断する場合、一連の撮影動作を終えて撮影待機状態に戻るために、処理を終了する。システム制御部50は、第1シャッタースイッチ62がONされたと判断する場合、処理をステップS410へ進める。
次に、顔検出処理(S406又は後述のS703)について、図5を用いて説明する。図5は、顔検出処理を示すフローチャートである。
ステップS501では、システム制御部50が、顔検出対象の画像データ(第1画像データ又は第2画像データ)を画像処理部24に供給する。
ステップS502では、システム制御部50の制御下で、画像処理部24が、画像データ(第1画像データ又は第2画像データ)に水平方向バンドパスフィルタ(水平BPF)を作用させる。
ステップS503では、システム制御部50の制御下で、画像処理部24が、ステップS502で処理された画像データに垂直方向バンドパスフィルタ(垂直BPF)を作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データ(第1画像データ又は第2画像データ)の中からエッジ成分が検出される。
ステップS504では、システム制御部50(顔検出手段50a)が、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。
ステップS505では、システム制御部50(顔検出手段50a)が、ステップS504で抽出された目の候補群の中から、予め設定された条件(例えば2つの目の距離、傾き等)を満たすものを、目の対と判断する。そして、システム制御部50(顔検出手段50a)は、目の対があるもののみ目の候補群として絞り込む。
ステップS506では、システム制御部50(顔検出手段50a)が、ステップS505で絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ(鼻、口、耳)とを対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。
ステップS507では、システム制御部50が、ステップS506による顔の検出結果に応じて、上記顔情報を出力し、処理を終了する。
以上のように、静止画撮影前の画像データ(第1画像データ)や静止画撮影時の画像データ(第2画像データ)を用いて、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施形態では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目検出結果等の様々な情報がある。
なお、本発明における顔検出に関しては、公知の顔検出技術を用いてもよい。公知の顔検出技術としては、ニューラルネットワークに代表される学習を用いた手法、目や鼻や口といった形状に特徴のある部位を、画像領域からテンプレートマッチングを用い探し出し類似度が高ければ顔とみなす手法があげられる。また、他にも、肌の色や目の形といった画像特徴量を検出し統計的解析を用いた手法等、多数提案されており、一般的にはこれらの手法を複数組み合わせて顔認識するのが一般的である。
具体的な例としては、特開平2002−251380号公報に記載のウェーブレット変換と画像特徴量とを利用して顔検出する方法などが挙げられる。
次に、撮影処理(S413)について、図6を用いて説明する。図6は、撮影処理を示すフローチャートである。
ステップS601では、システム制御部50が、撮影開始時にその日時をシステムタイマより取得し、システムメモリ52に記憶する。
ステップS602では、システム制御部50が、測距処理及び測光処理(ステップS409参照)で決定されたシステムメモリ52に記憶された設定値(絞り値等)に従い、絞り機能を有するシャッター101を開放する。
ステップS603では、システム制御部50が、測距処理及び測光処理(ステップS409参照)で決定されたシステムメモリ52に記憶された設定値に従って、撮像手段22を含む撮像系を制御して、露光を開始する。ここで、システム制御部50は、必要に応じて、図示しないストロボを制御して、フラッシュ発光する。システム制御部50は、フラッシュ発光した場合、フラッシュ発光した旨の情報をシステムメモリ52へ記憶する。
ステップS604では、システム制御部50が、図示しないタイマーを参照して、ステップS409で決定された露光時間が経過したか否かを判断することにより、露光を終了すべきか否かを判断する。システム制御部50は、露光を終了すべきであると判断する場合、処理をステップS605へ進め、露光を終了すべきでないと判断する場合、処理をステップS604へ進める。
ステップS605では、システム制御部50が、シャッター101を閉じる。
ステップS606では、システム制御部50が、撮像手段22から静止画撮影時に撮像された電荷信号を読み出しA/D変換器23で変換して、第2画像データを生成する。A/D変換器23から出力された第2画像データは、画像処理部24、メモリ制御部15を介して、記憶手段32に記憶される。あるいは、A/D変換器23から出力された第2画像データは、直接メモリ制御部15を介して、記憶手段32に記憶される。
なお、記憶手段32には、第2画像データそのものが記憶される代わりに、第2画像データと、デフォルトの情報に設定された属性情報(ヘッダ情報)とを有する画像ファイルが記憶されてもよい。
以上、ステップS601〜S606が露光処理に対応する。
ステップS607では、システム制御部50が、メモリ制御部15そして必要に応じて画像処理部24を用いて、記憶手段32に書き込まれた画像データを読み出して画像処理を順次施す。この画像処理は、例えば、ホワイトバランス処理や、圧縮/伸張部16を用いた圧縮処理等が含まれる。処理を終えた画像データは記憶手段32に書き込まれる。
ステップS608では、システム制御部50が、記憶手段32から画像データを読み出し、これを圧縮/伸張部16を用いて伸張し、表示手段28の表示用にリサイズする。そして、システム制御部50は、メモリ制御部15を介してリサイズされた画像データを表示手段28に表示するべくD/A変換器13に転送する。一連の処理を終えたならば、撮影処理を終了する。
次に、赤目処理(S415)について、図7を用いて説明する。図7は、赤目処理を示すフローチャートである。
ステップS701では、システム制御部50が、システムメモリ52を参照し、赤目補正がONに設定されているかOFFに設定されているかを判断する。システム制御部50は、赤目補正がONに設定されていると判断する場合、処理をステップS702へ進める。システム制御部50は、赤目補正がOFFに設定されていると判断する場合、赤目補正の必要がないと判断して、処理を終了する。
ステップS702では、システム制御部50が、システムメモリ52にフラッシュ発光した旨の情報が記憶されているか否かを判断することにより、静止画撮影時にフラッシュ発光が行われたか否かを判断する。システム制御部50は、フラッシュ発光が行われたと判断する場合、処理をステップS707へ進める。システム制御部50は、フラッシュ発光が行われなかったと判断する場合、赤目補正の必要がないと判断して、処理を終了する。
ステップS707では、赤目検出処理が行われる。この赤目検出処理(ステップS707)は、次に示すステップS703〜S706の処理を含む。
ステップS703(第2顔検出ステップ)では、顔検出処理が行われる。すなわち、顔検出手段50aは、赤目検出処理(S707)の一部として、第2画像データに対する顔検出処理を行う。顔検出処理の詳細は、図5を用いて前述したとおりである。
ステップS704では、システム制御部50が、顔検出処理(ステップS703)において被写体の顔が検出された場合、第2画像データ中において検出した顔の位置座標、サイズ(幅、高さ)、検出個数、信頼性係数等を静止画撮影時の顔情報として特定する。システム制御部50は、静止画撮影時の顔情報をシステムメモリ52に記憶する。一方、システム制御部50は、顔検出処理において顔が検出されなかった場合、システムメモリ52にアクセスして、位置座標、サイズ(幅、高さ)、検出個数、信頼性係数等の情報を0(NULL)に設定して静止画撮影時の顔情報として記憶する。
ステップS705では、システム制御部50が、赤目検出を行う。すなわち、システム制御部50は、ステップS704で記憶された顔の情報、例えば目の位置などの情報に基づいて、第2画像データの中から赤目を検出する。
ステップS706では、システム制御部50が、ステップS705で検出した結果に基づいて、第2画像データにおける赤目の補正を行う。
なお、赤目の検出・補正処理の詳細に関しては広く知られており、ここでは特に説明しない。例えば、特開平10−233929で開示されている。
次に、記録処理(S416)について、図8を用いて説明する。図8は、記録処理を示すフローチャートである。
ステップS801では、システム制御部50が、図10により後述するファイル名生成ルールに則り、記録対象の第2画像データに対するファイル名を生成する。
ステップS802では、システム制御部50が、図6に示すステップS601でシステムメモリ52に記憶した日時情報を取得する。
ステップS803では、システム制御部50が、記憶手段32を参照して、記録対象の第2画像データのデータサイズを取得する。
ステップS804では、システム制御部50が、記録媒体200にアクセスして、第2画像データから生成する画像ファイルを格納すべきディレクトリが記録媒体200の記録部19に存在するか否かを判断する。システム制御部50は、ディレクトリが存在しないと判断する場合、処理をステップS805に進め、ディレクトリが存在すると判断する場合、処理をステップS806に進める。
ステップS805では、システム制御部50が、画像ファイルを格納するためのディレクトリを生成する。なお、ディレクトリ名の生成ルールは図10を用いて後述する。例えば、ディレクトリ「100CANON」(図10に示すディレクトリ502)が作成される。
ステップS806では、ヘッダ作成処理が行われる。ヘッダ作成処理では、システム制御部50が、第2画像データに対するヘッダ情報を作成する。ヘッダ作成処理の詳細は、図9を用いて後述する。
なお、第2画像データと、デフォルトに設定された属性情報(ヘッダ情報)とを有する画像ファイルが記憶手段32に記憶されている場合、システム制御部50が、デフォルトに設定された属性情報(ヘッダ情報)を書き換えても良い。
ステップS807では、システム制御部50が、ステップS801で取得したファイル名及びステップS802で取得した日時情報からディレクトリエントリ(管理情報)を生成する。また、システム制御部50は、第2画像データとヘッダ情報(ステップS806参照)とを有する画像ファイルを生成して記憶手段32に記憶させる。システム制御部50は、その画像ファイルを、記憶手段32から読み出して、記録媒体200の記録部19においてディレクトリエントリに対応したディレクトリに記録する。
次に、ヘッダ生成処理(S806)について、図9を用いて説明する。図9は、ヘッダ生成処理を示すフローチャートである。
ステップS901では、システム制御部50(判定手段50b)が、システムメモリ52を参照して、ステップS704(図7参照)で静止画撮影時の顔情報を取得(記憶)したかどうかを判断する。システム制御部50は、ステップS704(図7参照)で静止画撮影時の顔情報を取得(記憶)したと判断した場合、処理をステップS902へ進める。システム制御部50は、ステップS704(図7参照)で静止画撮影時の顔情報を取得(記憶)していない(例えば、赤目補正が行われていない)と判断した場合、処理をステップS903へ進める。
ステップS902では、システム制御部50(判定手段50b)が、システムメモリ52を参照して、ステップS704(図7参照)で記憶された静止画撮影時の顔情報(における顔の位置座標等)がNULLでないか否かを判断する。システム制御部50は、静止画撮影時の顔情報がNULLでないと判断する場合、処理をステップS904へ進め、静止画撮影時の顔情報がNULLであると判断する場合、処理をステップS905へ進める。
ステップS903では、システム制御部50(判定手段50b)が、システムメモリ52を参照して、図4に示すステップS407で記憶された静止画撮影前の顔情報(における顔の位置座標等)がNULLでないか否かを判断する。システム制御部50は、静止画撮影前の顔情報がNULLでないと判断する場合、処理をステップS904へ進め、静止画撮影前の顔情報がNULLであると判断する場合、処理をステップS905へ進める。
ステップS904(判定ステップ)では、システム制御部50(判定手段50b)が、被写体の分類を「人物」に判定する。そして、システム制御部50(更新手段50c)は、判定手段50bが判定した結果に基づいて、第2画像データの属性情報を更新する。すなわち、システム制御部50(更新手段50c)は、被写体の分類を判定手段50bが「人物」に判定したことに基づいて、分類情報「人物」を属性情報(ヘッダ情報)に含めるように更新する。
ステップS905では、システム制御部50が、静止画撮影前の顔情報をヘッダ情報に含める。
ステップS906では、システム制御部50が、静止画撮影時の顔情報をヘッダ情報に含める。
ステップS907では、システム制御部50が、その他の分類情報をヘッダ情報に含める。その他の分類情報は、例えば、「風景」、「イベント」などである。
ステップS908では、システム制御部50が、分類情報以外のその他のヘッダ情報を作成して、処理を終了する。
以上、述べたように赤目補正処理において得られる静止画撮影時の顔情報を元に静止画撮影された画像に顔があるかどうかを判断し、分類情報「人物」を付与するようにしているため、正確な分類情報「人物」を付与することが可能となる。これにより、静止画撮影された画像に顔が無いにも関わらず分類情報「人物」が付与されている、あるいは、静止画撮影された画像に顔があるにも関わらず分類情報「人物」が付与されていない、という不一致がなくなる。この結果、静止画撮影された画像を正確に分類することができる。
同時に、赤目補正時に顔を検出するついでに撮影画像に顔があるかどうかを判断し、赤目補正を行わないときは、撮影画像に顔があるかどうかの検出を行わないことによって、赤目補正を行わないときは撮影間隔(レリーズタイムラグ)の短縮を図っている。
次に、ディレクトリ及びファイル構成について、図10を用いて説明する。
図10は、前述した記録処理の結果、記録媒体200に記録されるディレクトリ構成例を示したものである。以下、図10を用いて、ディレクトリ名及びファイル名の生成ルールについて説明する。
ルートディレクトリ501がディレクトリ名「DCIM」で生成され、その下には6〜8文字のディレクトリ名でサブディレクトリ502,503が生成される。サブディレクトリ502,503が保持するサブディレクトリ名は、先頭3文字が数字で残り3〜5文字が英字で構成される。先頭3文字の数字は100から始まり、ディレクトリを生成する毎に1ずつインクリメントされる。図10では、サブディレクトリ502のディレクトリ名が「100CANON」、サブディレクトリ503のディレクトリ名が「101CANON」になる。サブディレクトリ502には、所定のファイル名で画像ファイル504〜509が記録される。ここで生成されるファイル名は、「.」の前までの部分である識別子と、「.」以降の部分である拡張子とを含む。識別子は、「_」の前までの部分(IMG、MVI)がデータの種類を示し、「_」以降の部分(0001〜0006)が整理番号を示す。拡張子は、静止画の場合に例えばJPGが付与され、動画の場合に例えばAVIが付与される。また、拡張子は、管理情報を記録するサムネイルファイルの場合にTHMが付与される。
次に、記録処理(図8参照)において記録媒体200に記録する画像ファイルのデータ構造例について、図11を用いて説明する。図11は、画像ファイルのデータ構造を示す図である。
画像ファイル701は、マーカ(SOI)702、ヘッダ部HD、画像データ(第2画像データ)IM、及びマーカ(EOI)717を含む。マーカ(SOI)702は、画像ファイル701の先頭に配置され、画像ファイルの始まりを示す。マーカ(EOI)717は、画像ファイル701の最後に配置され、画像ファイルの終わりを示す。
ヘッダ部HDには、上記の属性情報(ヘッダ情報)が記録される。ヘッダ部HDには、703〜710の項目が含まれる。
703は、ヘッダ部HDの開始を示すアプリケーションマーカ(APP1)が記録される。
704は、画像ファイル701のサイズを示すサイズ情報(APP1 Length)が記録される。
705は、アプリケーションマーカ703の識別コード(APP1 Identifier Code)である。
706は、画像データの作成日時(Date Time)である。
707は、画像データが生成された日時(Date Time Original)である。
718は、第2画像データに対する分類情報である。
719は、静止画撮影前の顔情報である。
720は、静止画撮影時の顔情報である。
709は、その他の撮影情報である。その他の撮影情報709は、撮像手段22による静止画撮影の条件を含む。撮像手段による静止画撮影の条件は、複数の撮影モード及び複数のシャッター速度の少なくとも一方を含む。
710は、前述したサムネイル画像(Thumbnail Data)である。
画像データIMは、量子化テーブル(DQT)712、ハフマンテーブル(DHT)713、フレーム開始マーカ(SOF)714、スキャン開始マーカ(SOS)715及び圧縮データ716が含まれる。圧縮データ716は、第2画像データが圧縮されたものである。
ここで、ヘッダ部HDの分類情報718は、図9を用いて前述したように、静止画撮影の際のパラメータとは異なる、検索等の撮影後の操作に適した情報である。この分類情報718には、図9において述べた「人物」、「風景」、「イベント」などを単数あるいは複数個格納可能である。さらに、分類情報718には、汎用的な分類情報として「カテゴリ1」、「カテゴリ2」、「カテゴリ3」といった分類情報を格納可能である。また、分類情報718には、通信部110を介してPC等への外部機器に画像データを転送する際に、転送先でメール送信等の特別な処理を促すための「作業用」といった分類情報を後述する再生モードにおいて格納可能となっている。
なお、これらの分類情報が上記図9の処理によって自動的には付与されない場合、再生モード処理(図3に示すステップS308)においてその分類情報を編集することが可能である。あるいは、撮影時(ステップS606)にデフォルトの情報に設定された分類情報が自動付与される場合、再生モード処理(図3に示すステップS308)においてその分類情報を編集することが可能である。このように、再生モード処理で画像データを見ながらゆっくり分類するための分類情報を付与することで、より利便性の高い分類が可能となる。
具体的には、図3に示す再生モード処理S308は、図12に示す流れで行われても良い。図12は、再生モードを示すフローチャートである。
ステップS1301では、システム制御部50が、操作部70等から受け取った情報に基づいて、利用者から画像表示イベントの要求があったか否かを判断する。システム制御部50は、画像表示イベントの要求があったと判断した場合、処理をステップS1303へ進め、画像表示イベントの要求がないと判断した場合、処理をステップS1302へ進める。
ステップS1302では、システム制御部50が、操作部70等から受け取った情報に基づいて、要求されたイベントに合わせた処理を行なう。
ステップS1303では、システム制御部50が、画像ファイルを記憶手段32又は記録媒体200から読み込む。
ステップS1304では、システム制御部50が、読み込んだ画像ファイルを圧縮状態から伸張状態に展開してシステムメモリ52に一時的に記憶させる。システム制御部50は、その画像ファイルから第2画像データを抽出してアナログ画像信号に変換した後、そのアナログ画像信号を表示手段28に供給する。表示手段28は、第2画像データに応じた画像を表示する。
ステップS1305では、操作部70が、表示手段28を介して第2画像データに応じた画像を閲覧した利用者が分類情報を「人物」に変更すべきと判断した場合、分類情報を「人物」に変更するための指示を受け付ける。システム制御部50は、分類情報を「人物」に変更するための指示を操作部70から受け付けた場合、分類情報を「人物」に変更すべきと判断して、処理をステップS1306へ進める。システム制御部50は、分類情報を「人物」に変更するための指示を操作部70から受け付けていない場合、分類情報を「人物」に変更すべきでないと判断して、処理を終了する。
ステップS1306では、システム制御部50が、システムメモリ52を参照して、画像ファイルに含まれるヘッダ情報の分類情報を更新する。すなわち、システム制御部50は、分類情報に「人物」が含まれていなければ「人物」を追加する。あるいは、システム制御部50は、分類情報に「人物」でないことを示す情報(例えば、「人物なし」など)が含まれていればその情報を「人物」に書き換える。
このように、図12に示す再生モード処理によれば、再生時に第2画像データに顔があるか利用者に判断を促すため、静止画記録モード処理S304で生成された分類情報に誤りがある場合に訂正できる。したがって、静止画撮影された画像を正確に分類することができる。
なお、図12に示す再生モード処理では、ステップS1305に代えて、図5に示す顔検出処理が行われても良い。このとき、図7に示す赤目補正処理においてステップS703の顔検出処理が省略されても良い。これにより、撮影間隔(レリーズタイミングラグ)に影響を与えることなく、静止画撮影された画像を正確に分類することができる。
なお、図3に示す静止画記録モード処理S304は、図4に示す流れで行われる代わりに図13に示す流れで行われても良い。図13は、変形例における静止画記録モード処理を示すフローチャートである。以下では、図4に示すフローチャートと異なる部分を中心に説明する。
ステップS1201では、システム制御部50が、必要に応じてクイックレビューのON/OFF設定を行う。クイックレビューON/OFF設定は、操作部70に含まれるメニューボタンを押すことで表示手段28に表示されるメニュー画面(図示せず)により利用者が任意に設定可能である。例えば、後述のステップS414でクイックレビュー表示を閲覧することを希望する場合、操作部70にクイックレビューON設定が入力されてシステムメモリ52に記憶される。あるいは、例えば、後述のステップS414でクイックレビュー表示を閲覧することを希望しない場合、操作部70にクイックレビューOFF設定が入力されてシステムメモリ52に記憶される。
ステップS1202では、システム制御部50が、システムメモリ52を参照し、クイックレビューがONに設定されているかOFFに設定されているかを判断する。システム制御部50は、クイックレビューがONに設定されていると判断する場合、処理をステップS704へ進める。システム制御部50は、クイックレビューがOFFに設定されていると判断する場合、クイックレビュー表示の必要がないと判断して、処理を終了する。
ステップS1203では、顔検出処理が行われる。すなわち、顔検出手段50aは、第2画像データに顔検出処理を行う。顔検出処理の詳細は、図5を用いて前述したとおりである。
以上説明したように、図13に示す静止画記録モード処理によれば、クイックレビューを行う場合、第2画像データに顔検出処理を行うので、ファイルヘッダの分類情報「人物」が正確に付与されることになる。一方、クイックレビューを行わない場合、第2画像データに顔検出処理を行わないので、撮影間隔(レリーズタイムラグ)の短縮を図ることが可能となる。
なお、図8に示すヘッダ作成処理S806は、図9に示す流れで行われる代わりに図14に示す流れで行われても良い。図14は、変形例におけるヘッダ作成処理を示すフローチャートである。以下では、図8に示すフローチャートと異なる部分を中心に説明する。
ステップS1401では、システム制御部50(判定手段50b)が、システムメモリ52を参照して、静止画撮影前の顔情報・静止画撮影時の顔情報・撮影モード・シャッター速度等に基づいて、被写体の分類を判定する。例えば、システム制御部50(判定手段50b)は、静止画撮影前の顔情報・静止画撮影時の顔情報・撮影モード・シャッター速度等に基づいて、図15に示すルールに従って、被写体が「人物」であるか否かを判定する。
システム制御部50(更新手段50c)は、判定手段50bが判定した結果に基づいて、第2画像データの属性情報(ヘッダ情報)を更新する。すなわち、システム制御部50(更新手段50c)は、被写体が「人物」であると判定手段50bが判定した場合、分類情報を「人物」に更新する。システム制御部50(更新手段50c)は、被写体が「人物」でないと判定手段50bが判定した場合、分類情報を「人物」に更新しない。
次に、ステップS1401で判定手段50bが判定する際のルールについて、図15を用いて説明する。図15は、静止画撮影前の顔情報・静止画撮影時の顔情報・撮影モード・シャッター速度と、分類情報「人物」の付与との関係を表す図である。
静止画撮影前、静止画撮影時の両方とも顔を検出したとき、撮影モード・シャッター速度がどのような状態であっても、分類情報「人物」を付与する。すなわち、判定手段50bは、第1画像データの中から顔検出手段50aが被写体の顔を検出し、第2画像データの中から顔検出手段50aが被写体の顔を検出したと判断する場合、被写体が「人物」であると判定する。
静止画撮影前、静止画撮影時の両方とも顔を検出しなかったとき、撮影モード・シャッター速度がどのような状態であっても、分類情報「人物」を付与しない。
撮影モードがポートレート・自分撮りであった場合、静止画撮影前、静止画撮影時の両方に顔を検出したときのみ、分類情報「人物」を付与する。
撮影モードがキッズかナイトであった場合、静止画撮影前、静止画撮影時のどちらか一方に顔を検出すれば分類情報「人物」を付与する。
その他の撮影モード(オート、マニュアル、シャッター速度優先、絞り優先など)であった場合、静止画撮影時に顔を検出したときに、必ず分類情報「人物」を付与する。静止画撮影前にのみ顔を検出した場合、シャッター速度が手振れ限界を超えているほど遅いときに、分類情報「人物」を付与する。一方、シャッター速度が十分に速い場合(手振れ限界を超えていない)ときに、分類情報「人物」を付与しない。
例えば撮影モードがポートレート・自分撮りの場合、あらかじめ人を撮影すると決めている場合が多い。人を撮影しようとしているにも関わらず、静止画撮影前に人を検出していない場合は、人にフォーカスが合っていない可能性が高いため、静止画撮影時に顔を検出しても分類情報「人物」を付与しない。このように、判定手段50bは、人物を撮影するための撮影モードが選択されている場合、第1画像データ及び第2画像データの中から顔検出手段50aが被写体の顔を検出したときに、被写体が「人物」であると判定する。また、判定手段50bは、人物を撮影するための撮影モードが選択されている場合、第1画像データ及び第2画像データの少なくとも一方の中から顔検出手段50aが被写体の顔を検出しないときに、被写体が「人物」でないと判定する。
撮影モードがキッズの場合、被写体が子供であるため、被写体が動き回る可能性が高い。そのため、静止画撮影前に顔を検出しても、静止画撮影時は横を向いているなどして、顔を検出しないことが有り得る。そのため、静止画撮影前・静止画撮影時のどちらか一方にでも顔を検出したときは、分類情報「人物」を付与する。
撮影モードがナイトの場合、暗い場所での撮影のため、シャッター速度が遅いことが多い。シャッター速度が遅いため、静止画撮影時の顔がブレて、静止画撮影時に顔を検出できない可能性が高い。そのため、静止画撮影前に顔を検出した際には、静止画撮影時に顔を検出しなくても、分類情報「人物」を付与する。
このように、判定手段50bは、被写体ぶれが起きやすいことを示す撮影モードが選択されている場合、第1画像データ及び第2画像データの少なくとも一方の中から顔検出手段50aが被写体の顔を検出したときに、被写体が「人物」であると判定する。また、判定手段50bは、被写体ぶれが起きやすいことを示す撮影モードが選択されている場合、第1画像データ及び第2画像データのいずれの中からも顔検出手段50aが被写体の顔を検出しないときに、被写体が「人物」でないと判定する。
その他の撮影モード(オート、マニュアル、シャッター速度優先、絞り優先など)の場合、シャッター速度が手振れ限界より遅いと、静止画撮影時に撮像装置100がブレて静止画撮影時の顔を検出できていない可能性が高い。そのため、静止画撮影前に顔を検出した際には、静止画撮影時に顔が無くても、シャッター速度が遅い場合に限り、分類情報「人物」を付与する。
このように、判定手段50bは、被写体ぶれが起きやすいことを示す撮影モードにおいて第1画像データの中から顔検出手段50aが被写体の顔を検出し、第2画像データの中から顔検出手段50aが被写体の顔を検出しなかった場合、次の動作を行う。すなわち、判定手段50bは、選択されたシャッター速度が手ぶれ限界の速度未満であると判断するときに、被写体が「人物」であると判定し、選択されたシャッター速度が手ぶれ限界の速度以上であると判断するときに、被写体が「人物」でないと判定する。
図15に示すルールによれば、撮影モードやシャッター速度を加味して分類情報「人物」を付与することにより、より利用者の意思に即した分類情報を付与することが可能となる。
また、静止画記録モード処理において、赤目検出が行われない場合(図7参照)や、クイックレビュー表示されない場合(図13参照)であっても、顔検出処理が行われても良い。すなわち、顔検出手段50aは、必ず、第1画像データに顔検出処理を行い、かつ、第2画像データに顔検出処理を行ってもよい。
また、1枚ずつ撮影を行う単写時には静止画撮影時の顔情報の検出を行ない、静止画撮影時から分類情報「人物」を付与するが、連続して撮影を行う連写時は、静止画撮影前に顔情報の検出を行わないように構成しても構わない。このとき、顔検出手段50aは、撮像手段22による連写撮影が行われる場合、撮像手段22により連写撮影前に撮像された第1画像データに顔検出処理を行い、撮像手段22により連写撮影時に撮像された複数の第2画像データに顔検出処理を行わない。そして、判定手段50bは、撮像手段22により連写撮影前に撮像された第1画像データに顔検出手段50aが顔検出処理を行った結果に基づいて、被写体の分類を判定する。