JP2014225763A - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】目瞑り画像の撮影を回避しつつ、笑顔の画像を撮影できる技術を実現する。
【解決手段】撮像装置は、被写体の画像を撮像する撮像手段と、撮像された画像から被写体の顔を検出する顔検出手段と、前記検出された顔の表情を示す評価値を判定する判定手段と、前記判定された評価値に応じて設定された枚数の画像を、所定の間隔で連続撮影する制御手段と、前記連続撮影された画像の中から所定の評価値を持つ画像を保存候補の画像として選択する画像選択手段と、を有する。
【選択図】図２

Description

本発明は、被写体の表情を考慮しつつ画像を撮影し記録する技術に関する。

従来、連続撮影された画像の中から、撮影者が残したいと考える顔の表情が良い画像を自動的に選択し記録する技術が望まれている。ここで、表情が良い画像とは、例えば、目を瞑っていない、笑顔の画像である。

目を瞑っていない画像を撮影する方法として、例えば、特許文献１には、瞬きによる目瞑りの時間より僅かに長い時間に設定された周期で画像データを順次取り込み、瞬きの周期を外す方法が提案されている。

また、特許文献２には、目が継続して閉じている時間、または目が継続して開いている時間を計測し、所定時間より目が開いているタイミングにて撮影することで、目を開いている画像を記録する方法が提案されている。

特開２０１０−１８３１８５号公報 特開２００９−１９４４２２号公報

しかしながら、上述した特許文献に記載された技術では、目瞑り画像を撮影することは回避可能であるが、被写体が良い表情であるか判定するもう１つの指標、つまり笑顔であるか否かが考慮されていない。

本発明は、上記課題に鑑みてなされ、その目的は、目瞑り画像の撮影を回避しつつ、笑顔の画像を撮影できる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、被写体の画像を撮像する撮像手段と、撮像された画像から被写体の顔を検出する顔検出手段と、前記検出された顔の表情を示す評価値を判定する判定手段と、前記判定された評価値に応じて設定された枚数の画像を、所定の間隔で連続撮影する制御手段と、前記連続撮影された画像の中から所定の評価値を持つ画像を保存候補の画像として選択する画像選択手段と、を有する。

本発明によれば、目瞑り画像の撮影を回避しつつ、笑顔の画像を撮影可能となる。

本発明に係る実施形態の装置構成を示すブロック図。 本実施形態の撮像装置により画像を撮影し記録するまでの動作を示すフローチャート。 図２の画像選択処理を示すフローチャート。 撮影中の被写体の顔の表情の変化の様子を説明する図。 撮影中の被写体の顔の表情の変化の様子を説明する図。 本実施形態の撮像装置により設定される連続撮影間隔を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

以下、本発明を、デジタルカメラなどの撮像装置に適用した例を説明するが、これに限られず、撮影機能や顔検出機能、表情判定機能を備える携帯電話やスマートフォン、タブレット端末などの電子機器にも適用可能である。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１において、撮影レンズ１０１は、ズーム機構、フォーカスレンズ機構、絞りシャッター機構を含む。撮像素子１０２は、受光面に結像した光学像をＣＣＤやＣＭＯＳ等の光電変換手段によって電気信号に変換してＡ／Ｄ変換部１０３へ出力する。Ａ／Ｄ変換部１０３は、撮像素子１０２から入力したアナログ信号をデジタル信号に変換する。また、Ａ／Ｄ変換部１０３は、アナログ信号からノイズを除去するＣＤＳ回路や、デジタル信号に変換する前にアナログ信号を非線形増幅するための非線形増幅回路を含む。

画像処理部１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル信号に対して所定の画素補間や画像縮小等のリサイズ処理と色変換処理とを行って、画像データを出力する。また、画像処理部１０４は、輝度に関する特定周波数帯域の信号成分を抽出し、被写体の合焦状態を検出する。

フォーマット変換部１０５は、画像データをＤＲＡＭ１０６に記憶するために、画像処理部１０４で生成した画像データのフォーマット変換を行う。ＤＲＡＭ１０６は、高速な内蔵メモリの一例であり、画像データの一時的な記憶を司る高速バッファとして、或いは、画像データの圧縮／伸張処理における作業用メモリ等として使用される。

画像記録部１０７は、撮影画像（静止画、動画）を記録するメモリーカード等の記録媒体とそのインターフェースを有する。システム制御部１０８は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、装置全体の動作を制御する。また、システム制御部１０８は、撮像素子１０２の有する複数の電荷蓄積制御モードの中から実施するモードを選択して制御を行う。 ユーザは、操作部１０９を操作することにより装置を外部から操作する。操作部１０９は、例えば、露出補正や絞り値の設定、画像再生時の設定等の各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切替スイッチ等を含む。また、操作部１０９は、顔検出機能のオン／オフを切り替えるためのスイッチ等も含む。

表示部１１０は、例えば、ＬＣＤ等であり、画像の表示や操作補助のための表示、カメラの状態表示を行う他、撮影時には撮影画面と測距領域を表示する。

メインスイッチ１１１は、システムに電源を投入するためのスイッチである。第１スイッチ１１２は、第１スイッチ信号ＳＷ１をシステム制御部１０８へ出力し、ＡＥ処理やＡＦ処理等の撮影準備動作を行うためのスイッチである。第２スイッチ１１３は、第１スイッチ１１２の操作（第１スイッチ信号ＳＷ１の出力）後に、第２スイッチ信号ＳＷ２をシステム制御部１０８へ出力し、撮影指示を行うためのスイッチである。

顔検出モジュール１１４は、画像処理部１０４で生成された画像データを用いて顔検出処理を行い、検出した１つまたは複数の顔情報（位置・大きさ・信頼度）をシステム制御部１０８に送出する。顔検出モジュール１１４は、画像処理部１０４で生成された画像データに対して公知の顔検出処理を施し、撮像素子１０２により撮像された画像中に含まれる人物の顔領域を検出する。なお、公知の顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等も開示されている。顔検出モジュール１１４では、画像における顔の領域や、顔の位置を検出できる。

笑顔度算出モジュール１１５は、顔検出モジュール１１４が検出した顔領域について、笑顔である度合いを示す笑顔度を算出する。具体的には、顔を構成する目、鼻および口等の顔構成部分の輪郭、並びに目頭、目尻、小鼻、口角および唇の位置等の顔構成部分の位置等、笑顔度の算出に必要な特徴量を取得する。ここで、特徴量を取得する手法としては、各顔構成部分のテンプレートを用いたテンプレートマッチングによる手法、顔構成部分の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔構成部分ごとの判別手段を用いる手法等により取得できる。そして、笑顔度算出モジュール１１５は、上記特徴量に基づいて笑顔度を算出する。

目領域検出モジュール１１６は、顔検出モジュール１１４が検出した顔領域から目の存在する目領域を検出する。

目開き度算出モジュール１１７は、目領域検出モジュール１１６が検出した目領域内のヒストグラムから、黒目に相当する輝度領域の面積を検出し、黒目に相当する輝度領域の面積と目領域の大きさとに応じて、目が開いている度合いを示す目開き度を算出する。

なお、上記各モジュール１１４〜１１７はそれぞれ、独立のハードウエアとして構成すること、１つのハードウエアとして構成すること、或いは、ソフトウエアによる処理により実現することが可能である。

また、顔検出、笑顔度算出、および目開き度算出の手法については、上記手法に限定されるものではなく、公知の種々の手法を用いることができる。

＜画像記録処理＞次に、図２および図３を参照して、本実施形態の撮像装置により画像を撮影し記録するまでの一連の動作について説明する。なお、図２の処理は、システム制御部１０８のＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより実現される。

図２において、第１スイッチ１１２がオンされて、操作部１０９により撮影モードが設定されると、ステップＳ２０１へ進む。

ステップＳ２０１では、システム制御部１０８は、第１スイッチ１１２がオンされ、撮影準備指示である第１スイッチ信号ＳＷ１が入力されるのを待つ。ステップＳ２０１で撮影指示が入力されると、顔検出モジュール１１４が、撮影待機中に撮像素子１０２により撮像された画像データを用いて顔検出処理を行う。さらに、笑顔度算出モジュール１１５が、顔検出モジュール１１４が検出した顔領域について、顔の笑顔度を算出する。

そして、ステップＳ２０２にて、システム制御部１０８は、被写体の顔が笑顔であるか判定する。判定の結果、被写体の顔が笑顔である場合、つまり被写体の顔の笑顔度が所定の閾値以上である場合は、ステップＳ２０３に進み、システム制御部１０８は、連続撮影枚数を笑顔時撮影枚数に設定する。また、被写体の顔が笑顔でない場合、つまり被写体の顔の笑顔度が所定の閾値未満である場合は、ステップＳ２０４に進み、システム制御部１０８は、連続撮影枚数を普通顔時撮影枚数に設定する。なお、笑顔度を判定するための閾値を、１回目に撮影された画像中の被写体の顔の笑顔度を用いて設定しても良い。

本実施形態では、笑顔時撮影枚数を３枚、普通顔撮影枚数を６枚とする。笑顔時撮影枚数よりも普通顔撮影枚数が多いのは、普通顔から笑顔に遷移するまでに時間がかかり、その期間は連写を行うためである。一方、笑顔時撮影枚数が、普通顔撮影枚数よりも少ないのは、被写体が笑顔である間に撮影を完了させるためである。

ここで、図４および図５を参照して、撮影中の被写体の顔の表情の変化の様子について説明する。

図４は、被写体が普通顔の場合の６枚の連続撮影画像４００〜４０５と、各画像から検出された被写体の顔領域４０６〜４１１を例示している。撮影開始時点、つまり画像４００から検出された顔が普通顔であった場合、画像４０５のように笑顔になるまでの間に所定の時間を要するので、その期間に連続撮影（例えば、６枚）を行うことで、被写体の顔が笑顔になった画像も撮影可能としている。

図５は、被写体が笑顔の場合の３枚の連続撮影画像５００〜５０２と、各画像から検出された被写体の顔領域５０３〜５０５を例示している。撮影開始時点で笑顔であった場合、笑顔から普通顔に戻る前に撮影を完了させ、笑顔の画像のみを撮影可能なように、連続撮影枚数を３枚としている。

図２の説明に戻り、ステップＳ２０５では、システム制御部１０８は、第２スイッチ１１３がオンされ、撮影指示である第２スイッチ信号ＳＷ２が入力されると、連続撮影間隔を設定する。連続撮影間隔は、瞬きによる目瞑りよりも長い時間とし、本実施形態では、例えば、１６０ｍｓｅｃとする。

ここで、図６を参照して、連続撮影間隔について説明する。

瞬きの動作は個人差が多少あるが、図６に示すように約３秒に１回程度の周期で、１００〜１５０ｍｓｅｃかけて行われる。本実施形態では、瞬きによる目瞑りの時間より、少し長い時間、例えば、１６０ｍｓｅｃを連続撮影間隔とすることで、瞬きによる目瞑りを回避しつつ撮影を行う。また、例えば、連続撮影された画像のうち、１枚は瞬きにより目瞑りの画像になってしまったとしても、次の撮影は、目が開いた状態の画像を撮影できる。

ステップＳ２０５、Ｓ２０６で、システム制御部１０８は、ステップＳ２０３またはＳ２０４で設定された枚数の連続撮影を行い、所定枚数の撮影が完了した場合には、ステップＳ２０７に進む。

ステップＳ２０７では、システム制御部１０８は、連続撮影された各画像に表情評価値を付与する。表情評価値とは、各画像における被写体の表情を示す指標であって、上述した目開き度や笑顔度を表す。

連続撮影された各画像の表情評価値の付与が完了すると、ステップＳ２０８にて、システム制御部１０８は、各画像に付与された表情評価値を用いて、図３で後述する画像選択処理を行う。

ステップＳ２０９では、システム制御部１０８は、ステップＳ２０８で選択された最終保存候補画像を画像記録部１０７により記録媒体に記録して、本処理を終了する。

＜画像選択処理＞次に、図３を参照して、図２のステップＳ２０８の画像選択処理について説明する。

まず、ステップＳ３０１では、システム制御部１０８は、評価対象画像が目瞑り画像であるか判定する。目瞑り画像か否かの判定は、連続撮影された全画像における目開き度を参照し、目瞑り判定基準値を作成する。

目瞑り判定基準値の作成方法は、例えば、全画像の目開き度を平均する、もしくは、撮像装置に予め記憶された標準となる目瞑り状態での目開き度と比較し、その目開き度に近い値を目瞑り判定基準値とする方法が考えられる。

そして、システム制御部１０８は、対象画像の目開き度と目瞑り判定基準値との差が所定の閾値未満である場合に、目瞑り画像であると判定する。但し、目瞑り画像と判定された画像が、笑顔画像であるとも判定される場合は、目瞑り画像とはしないこととする。

また、笑顔画像か否かの判定は、連続撮影された全画像における笑顔度を参照し、笑顔判定基準値を作成し、その笑顔判定基準値よりも笑顔度が高い場合は、笑顔画像であると判定する。

笑顔判定基準値の作成方法は、例えば、全画像の笑顔度を平均する、もしくは、撮像装置に予め記憶された標準となる笑顔状態での笑顔度と比較し、その笑顔度に近い値を笑顔判定基準値とする方法が考えられる。

ステップＳ３０２では、システム制御部１０８は、ステップＳ３０１で目瞑り画像であると判定された画像を保存候補から除外する。

ステップＳ３０３では、システム制御部１０８は、全ての画像の判定が完了するまで、ステップＳ３０１とＳ３０２の処理を繰り返し、全ての画像の判定が完了したならば、ステップＳ３０４に進む。

ステップＳ３０４では、システム制御部１０８は、ステップＳ３０２で除外されていない保存候補画像について、笑顔度が最大値であるか否かを判定し、笑顔度が最大値である場合はステップＳ３０５に進み、そうでない場合はステップＳ３０６に進む。

ステップＳ３０５では、システム制御部１０８は、笑顔度が最大値の画像を最終保存候補とする。

ステップＳ３０６では、全ての保存候補画像の判定が完了するまで、ステップＳ３０４とＳ３０５の処理を繰り返し、全ての保存候補画像の判定が完了したならば、本処理を終了する。

以上のように、本実施形態によれば、瞑り画像の撮影を回避しつつ、笑顔の画像が撮影可能となる。

［他の実施形態］
本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (9)

1. 被写体の画像を撮像する撮像手段と、
   撮像された画像から被写体の顔を検出する顔検出手段と、
   前記検出された顔の表情を示す評価値を判定する判定手段と、
   前記判定された評価値に応じて設定された枚数の画像を、所定の間隔で連続撮影する制御手段と、
   前記連続撮影された画像の中から所定の評価値を持つ画像を保存候補の画像として選択する画像選択手段と、を有することを特徴とする撮像装置。
2. 前記判定手段は、前記検出された顔の笑顔の度合いを示す笑顔度を前記評価値として算出し、
   前記顔検出手段により検出された顔の笑顔度が所定の閾値以上であると判定された場合は、前記所定の閾値未満である場合に比べて撮影枚数を少なくすることを特徴とする請求項１に記載の撮像装置。
3. 前記所定の間隔を、瞬きによる目瞑り時間よりも長く設定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記判定手段は、前記連続撮影された各画像から検出された顔の目が開いている度合いを示す目開き度を算出し、
   前記算出された目開き度から、連続撮影された各画像が目瞑り画像であるか判定し、目瞑り画像であると判定された画像を保存候補から除外することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 前記判定手段は、前記連続撮影された各画像から検出された顔の笑顔の度合いを示す笑顔度を算出し、
   前記目瞑り画像であると判定された画像が、前記笑顔度が所定の閾値以上の笑顔画像であると判定される場合は、目瞑り画像と判定しないことを特徴とする請求項４に記載の撮像装置。
6. 前記判定手段は、前記保存候補から除外されていない画像について、前記笑顔度が最大の画像を最終保存候補とすることを特徴とする請求項４または５に記載の撮像装置。
7. 被写体の画像を撮像する撮像装置の制御方法であって、
   撮像された画像から被写体の顔を検出する顔検出工程と、
   前記検出された顔の表情を示す評価値を判定する判定工程と、
   前記判定された評価値に応じて設定された枚数の画像を、所定の間隔で連続撮影する制御工程と、
   前記連続撮影された画像の中から所定の評価値を持つ画像を保存候補の画像として選択する画像選択工程と、を有することを特徴とする制御方法。
8. コンピュータを、請求項１ないし６のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
9. コンピュータを、請求項１ないし６のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。

Images