JP2008182485A - 撮影装置及び撮影方法 - Google Patents

Abstract

【課題】 被写体の視線が撮影装置側に向いた状態を確実に撮影することが可能な撮影装置及び撮影方法を提供する。
【解決手段】 顔検出部４６は、撮影モードがプレシャッターモードに設定された場合に、ＣＣＤ３０から出力されたスルー画像データに対して顔検出処理を施し、スルー画像データから被写体の顔の画像を含む顔領域を検出する。視線方向判定部４８は、上記顔領域から被写体の目の画像を検出し、被写体の人物の視線方向がカメラ１０側に向いているかどうかを判定する。上記顔領域の検出処理及び視線方向の判定処理はプレシャッターモード時に所定の時間間隔で繰り返される。そして、視線方向判定部４８は、被写体の人物の視線方向がカメラ１０側に向いていると判定した場合にその旨を示す信号をＣＰＵ１２に送信する。ＣＰＵ１２は、視線方向判定部４８から視線方向がカメラ１０側に向いていることを示す信号を受信すると、カメラ１０の各部を制御して即座に撮影処理を実行する。
【選択図】 図１

Description

本発明は撮影装置及び撮影方法に係り、特に人物を撮影するための撮影装置及び撮影方法に関する。

特許文献１には、被写体の顔が所定の方向を向いたことを検出した時に、自動的に撮影動作を行う撮像装置が開示されている。
特開２００３−２２４７６１号公報

幼児を撮影する場合には、幼児自身に静止していなければならないという意識が薄いため常に動いてしまう。このため、幼児の撮影では、成人を撮影する場合に比べてシャッターチャンスをとらえるのが困難であった。また、被写体の顔が撮影装置に向いた状態で撮影したとしても、視線が撮影装置の方に向いていないことがあった。特許文献１では、被写体の人物の視線方向については考慮されていない。

本発明はこのような事情に鑑みてなされたもので、被写体の視線が撮影装置の方に向いた状態を確実に撮影することが可能な撮影装置及び撮影方法を提供することを目的とする。

上記課題を解決するために、本願発明１に係る撮影装置は、被写体の画像を撮影する撮影手段と、前記被写体の画像の撮影指示を入力するための撮影指示手段と、前記撮影指示手段からの撮影指示に応じて、前記撮影手段によって撮影されたライブビュー画像から前記被写体の顔画像を検出する顔検出手段と、前記顔画像から前記被写体の視線方向を検出し、前記被写体の視線方向が前記撮影手段の方を向いているかどうかを判定する視線方向判定手段と、前記被写体の視線方向が前記撮影手段の方を向いていると判定された場合に、即座に前記撮影手段に前記被写体の画像の撮影を実行させる撮影制御手段とを備えることを特徴とする。

本願発明１によれば、被写体の人物の視線が撮影手段の方に向いた場合に即座に撮影が実行されるので、幼児を撮影する場合にもシャッターチャンスを確実にとらえることができる。

本願発明２は、本願発明１の撮影装置において、特定の被写体の顔画像を記憶する特定顔記憶手段を更に備え、前記顔検出手段は、前記ライブビュー画像から前記特定の被写体の顔画像を検出し、前記視線方向判定手段は、前記特定の被写体の顔画像から前記特定の被写体の視線方向を検出し、前記特定の被写体の視線方向が前記撮影手段の方を向いているかどうかを判定し、前記撮影制御手段は、前記特定の被写体の視線方向が前記撮影手段の方を向いていると判定された場合に、即座に前記撮影手段に撮影を実行させることを特徴とする。

本願発明２によれば、予め記憶された特定の人物の視線が撮影手段の方に向いた場合に即座に撮影が実行されるので、例えば、ライブビュー画像から複数の顔領域が検出された場合に、特定の顔の視線方向に応じてシャッターチャンスを確実にとらえることができる。

本願発明３は、本願発明１又は２の撮影装置において、前記撮影指示が入力されてからの経過時間を測定する経過時間測定手段と、前記経過時間が所定の設定値を越えても前記被写体の撮影が実行されない場合に、前記被写体に向けて発光又は音声出力を行って、前記被写体の視線方向を前記撮影手段の方に誘導する視線方向誘導手段とを更に備えることを特徴とする。

本願発明３によれば、被写体の視線方向が撮影手段の方に向けられない場合に被写体の注意を撮影手段の方に誘導するようにしたので、静止させておくことが困難な幼児が被写体の場合であっても視線方向が撮影手段の方に向いた状態で撮影を行うことができる。

本願発明４は、本願発明３の撮影装置において、前記視線方向誘導手段は、前記被写体に向けてＡＦ補助光を発光させることを特徴とする。

本願発明５に係る撮影方法は、被写体の画像を撮影する撮影手段に対して撮影指示を入力する撮影指示工程と、前記撮影指示に応じて、前記撮影手段によって撮影されたライブビュー画像から前記被写体の顔画像を検出する顔検出工程と、前記顔画像から前記被写体の視線方向を検出し、前記被写体の視線方向が前記撮影手段の方を向いているかどうかを判定する視線方向判定工程と、前記被写体の視線方向が前記撮影手段の方を向いていると判定された場合に、即座に前記撮影手段に前記被写体の画像の撮影を実行させる撮影制御工程とを備えることを特徴とする。

本願発明６に係る撮影方法は、特定の被写体の顔画像を記憶する特定顔記憶工程と、被写体の画像を撮影する撮影手段に対して撮影指示を入力する撮影指示工程と、前記撮影指示に応じて、前記撮影手段によって撮影されたライブビュー画像から前記特定の被写体の顔画像を検出する顔検出工程と、前記特定の被写体の顔画像から前記特定の被写体の視線方向を検出し、前記特定の被写体の視線方向が前記撮影手段の方を向いているかどうかを判定する視線方向判定工程と、前記特定の被写体の視線方向が前記撮影手段の方を向いていると判定された場合に、即座に前記撮影手段に撮影を実行させる撮影制御工程とを備えることを特徴とする。

本願発明７は、本願発明５又は６の撮影方法において、前記撮影指示が入力されてからの経過時間を測定する経過時間測定工程と、前記経過時間が所定の設定値を越えても前記被写体の撮影が実行されない場合に、前記被写体に向けて発光又は音声出力を行って、前記被写体の視線方向を前記撮影手段の方に誘導する視線方向誘導工程とを更に備えることを特徴とする。

本発明によれば、被写体の人物の視線が撮影手段の方に向いた場合に即座に撮影が実行されるので、幼児を撮影する場合にもシャッターチャンスを確実にとらえることができる。

以下、添付図面に従って本発明に係る撮影装置及び撮影方法の好ましい実施の形態について説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮影装置の主要構成を示すブロック図である。図１に示すように、ＣＰＵ１２は、バス１４を介して撮影装置１０（以下、カメラ１０と記載する）内の各部に接続されており、操作部１６等からの操作入力に基づいてカメラ１０の動作を制御する統括制御部である。ＣＰＵ１２は、操作部１６からの入力信号に基づいてカメラ１０の各部を制御し、例えば、レンズユニット２８の駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、画像表示部４０の表示制御等を行う。

操作部１６は、電源スイッチ、動作モード切り替えスイッチ、撮影モード切り替えスイッチ、顔検出機能オン／オフスイッチ、レリーズボタン、メニュー／ＯＫキー、十字キー、キャンセルキーを含んでいる。

電源スイッチは、カメラ１０の電源のオン／オフを制御するための操作手段である。

動作モード切り替えスイッチは、カメラ１０の動作モードを、撮影モードと再生モードとの間で切り替えるための操作手段である。

撮影モード切り替えスイッチは、カメラ１０の撮影モードを切り替えるスイッチとして機能する。カメラ１０の撮影モードは、後述するプレシャッターモードのほか、シーンポジション（例えば、ナチュラルフォト、人物、風景、スポーツ、夜景、水中、接写（花等）又はテキスト文章）に応じてフォーカスや露出を最適化して撮影するためのシーンポジションモード、フォーカスや露出を自動的に設定するオートモード、フォーカスや露出をマニュアルで設定可能なマニュアルモード又は動画撮影モードに切り替え可能となっている。

顔検出機能オン／オフスイッチは、撮影した画像から顔を検出する顔検出機能のオン／オフを制御する。

レリーズボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する２段ストローク式のスイッチにより構成されている。

メニュー／ＯＫキーは、画像表示部４０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行等を指令するＯＫボタンとしての機能とを兼備した操作キーである。

十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上キー及び下キーは撮影モード時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左キー及び右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

キャンセルキーは、選択項目等の所望の対象の消去や指示内容の取り消し、あるいは１つ前の操作状態に戻す時等に使用される。

ＲＯＭ１８には、ＣＰＵ１２が処理するプログラム及び制御に必要な各種データ等が格納される。ＲＡＭ２０には、ＣＰＵ１２が各種の演算処理等を行う作業用領域及び画像処理領域が含まれている。

カメラ１０は、メディアソケット（メディア装着部）を有しており、記録メディア２２を装着することができる。記録メディア２２の形態は特に限定されず、ｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等の種々の媒体を用いることができる。メディア制御部２４は、記録メディア２２に適した入出力信号の受渡しを行うために所要の信号変換を行う。

また、カメラ１０は、インターネットや携帯電話用の通信網等の公衆回線網に接続するための通信手段として通信インターフェース部（通信Ｉ／Ｆ）２６を備えている。

［撮影モード］
次に、カメラ１０の撮影機能について説明する。撮影モード時には、カラーＣＣＤ固体撮像素子３０（以下、ＣＣＤ３０と記載する）を含む撮像部に電源が供給され、画像の撮影が可能な状態になる。

レンズユニット２８は、フォーカスレンズ及びズームレンズを含む撮影レンズと、絞りとを含む光学ユニットである。レンズ駆動部２８Ａは、フォーカスレンズ、ズームレンズ及び絞りを移動させるためのモータ及び上記レンズの位置を検出するためのセンサ等を備える。ＣＰＵ１２は、レンズ駆動部２８Ａに制御信号を出力して、撮影レンズのフォーカシング、ズーミング及び絞りの制御を行う。

レンズユニット２８を通過した光は、ＣＣＤ３０の受光面に結像される。ＣＣＤ３０の受光面には多数のフォトダイオード（受光素子）が２次元的に配列されており、各フォトダイオードには赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。ＣＣＤ３０の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。この信号電荷は、電荷量に応じたＲ、Ｇ、Ｂの電圧信号（画像信号）として順次読み出される。ＣＣＤ３０は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１２は、撮影制御部３０Ａを介して、ＣＣＤ３０からの信号電荷の読み出しタイミング及びＣＣＤ３０のフォトダイオードの電荷蓄積時間を制御する。

ＣＣＤ３０から読み出されたＲ、Ｇ、Ｂの画像信号は、アナログ処理部（ＣＤＳ／ＡＭＰ）３２によって、ＣＣＤ３０の画素ごとにサンプリングホールド（相関２重サンプリング処理）されて増幅された後、Ａ／Ｄ変換器３４に加えられてデジタル信号に変換される。Ａ／Ｄ変換器３４によってデジタル信号に変換されたＲ、Ｇ、Ｂ信号は、画像入力制御部３６を介してＲＡＭ２０に格納される。

画像信号処理部３８は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス調整回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ１２からの指令に従ってＲＡＭ２０を活用しながら所定の信号処理を行う。即ち、画像信号処理部３８は、ＲＡＭ２０に記憶されたデジタルのＲ、Ｇ、Ｂ信号を輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）に変換するとともに、ガンマ補正等の所定の処理を施してＲＡＭ２０に書き戻す。

撮影画像を画像表示部４０（例えば、液晶モニタ）にモニタ出力する場合には、ＲＡＭ２０に格納された輝度／色差信号（Ｙ／Ｃ信号）が読み出されて、バス１４を介して表示制御部４２に送られる。表示制御部４２は、入力されたＹ／Ｃ信号を表示用の所定方式のビデオ信号（例えば、ＮＴＳＣ方式のカラー複合画像信号）に変換して画像表示部４０に出力する。

ライブビュー画像（スルー画）表示を行う際には、ＣＣＤ３０から出力される画像信号によってＲＡＭ２０内の画像データが定期的に書き換えられ、その画像データから生成される画像信号が画像表示部４０に供給される。これにより、撮影中の映像（スルー画）がリアルタイムに画像表示部４０に表示される。撮影者は、画像表示部４０に表示されるスルー画によって撮影画角を確認できる。

レリーズボタンが半押しされると（Ｓ１オン）、ＣＣＤ３０から出力された画像信号はＡ／Ｄ変換後に画像入力制御部３６を介してＣＰＵ１２に入力されてＡＥ及びＡＦ処理が開始される。

ＣＰＵ１２は、１画面を複数の分割エリア（例えば、８×８又は１６×１６）に分割して、この分割エリアごとにＲ、Ｇ、Ｂの画像信号を積算する。そして、ＣＰＵ１２は、この積算値に基づいて被写体の明るさ（被写体輝度）を検出して撮影に適した露出値（撮影ＥＶ値）を算出し、この露出値と所定のプログラム線図に従って絞り値とシャッタースピードを決定して、ＣＣＤ３０の電子シャッター及び絞りを制御して適正な露光量を得る。

また、ＣＰＵ１２は、自動ホワイトバランス調整時に、分割エリアごとにＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出して、分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、Ｒ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇ軸座標の色空間における分布等に基づいて光源種の判別を行う。そして、ＣＰＵ１２は、判別された光源種に応じてＲ、Ｇ、Ｂの画像信号に対するゲイン値（ホワイトバランスゲイン）を制御し、Ｒ、Ｇ、Ｂの各色チャンネルの画像信号に補正をかける。

カメラ１０におけるＡＦ制御は、例えば、画像信号のＧ信号の高周波成分が極大になるようにフォーカスレンズを移動させるコントラストＡＦが適用される。即ち、ＣＰＵ１２は、ＣＣＤ３０の有効画素領域の一部（例えば、有効画素領域の中央部）に予め設定されているＡＦエリア内の信号を切り出して、ハイパスフィルタによりＡＦエリア内のＧ信号の高周波成分のみを通過させ、この高周波成分の絶対値データを積算し、ＡＦエリア内の被写体像に関する焦点評価値（ＡＦ評価値）を算出する。

ＣＰＵ１２は、レンズ駆動部２８Ａを制御してフォーカスレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値を演算し、焦点評価値が極大となるレンズ位置を合焦位置として決定する。そして、ＣＰＵ１２は、レンズ駆動部２８Ａを制御して、決定した合焦位置にフォーカスレンズを移動させる。なお、焦点評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。

レリーズボタンが半押し（Ｓ１オン）されてＡＥ／ＡＦ処理が行われた後、レリーズボタンが全押しされると（Ｓ２オン）、記録用の撮影動作がスタートする。Ｓ２オンに応動して取得された画像データは画像信号処理部３８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、ＲＡＭ２０に格納される。

ＲＡＭ２０に格納されたＹ／Ｃ信号は、圧縮・伸張処理部４４によって所定のフォーマットに従って圧縮された後、メディア制御部２４を介して記録メディア２２に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）形式、動画についてはＡＶＩ（Audio Video Interleaving）形式、Motion-JPEGの画像ファイルとして記録される。

［再生モード］
再生モード時には、記録メディア２２に記録されている最終の画像ファイル（最後に記録された画像ファイル）の圧縮データが読み出される。最後の記録に係る画像ファイルが静止画の場合、読み出された圧縮データは、圧縮・伸張処理部４４によって非圧縮のＹＣ信号に伸張され、画像信号処理部３８及び表示制御部４２によって表示用の信号に変換された後、画像表示部４０に出力される。これにより、当該画像ファイルの画像内容が画像表示部４０に表示される。

静止画の１コマ再生中（動画の先頭フレーム再生中も含む）に、十字ボタンの右ボタン又は左ボタンを操作することによって、再生対象の画像ファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルは記録メディア２２から読み出され、上記と同様にして静止画や動画が画像表示部４０に再生表示される。

［プレシャッターモード］
次に、プレシャッターモードについて説明する。図２は、プレシャッターモード時における撮影処理を説明するためのブロック図である。

顔検出部４６は、撮影モードがプレシャッターモードに設定された場合に、ＣＣＤ３０から出力されたスルー画像データに対して顔検出処理を施し、スルー画像データから被写体の顔の画像を含む顔領域を検出する。ここで、顔領域の検出処理の方法としては、例えば、原画像から肌色に指定した色と近い色を持つ画素を取り出し、取り出した領域を顔領域として検出するものがある。上記の処理は、例えば、肌色を他の色と区別するための色空間上で、予めサンプリングした肌色の情報から色空間上の肌色の範囲を定め、各画素の色が定めた範囲に入っているか否かを判定することにより行われる。なお、顔領域の検出処理の方法は上記以外の方法を用いてもよい。

視線方向判定部４８は、上記顔領域から被写体の目の画像を検出し、被写体の人物の視線方向がカメラ１０の方に向いているかどうかを判定する。上記顔領域の検出処理及び視線方向の判定処理はプレシャッターモード時に所定の時間間隔で繰り返される。そして、視線方向判定部４８は、被写体の人物の視線方向がカメラ１０の方に向いていると判定した場合にその旨を示す信号をＣＰＵ１２に送信する。ＣＰＵ１２は、視線方向判定部４８から視線方向がカメラ１０の方に向いていることを示す信号を受信すると、カメラ１０の各部を制御して即座に撮影処理を実行する。

次に、視線方向の判定処理について具体的に説明する。視線方向判定部４８は、顔検出部４６により検出された顔領域から被写体の目の画像を検出し、目の画像中の黒目の中心位置を検出する。そして、視線方向判定部４８は、上記黒目の中心位置に基づいて、被写体の人物の視線方向がカメラ１０の方に向いている度合を示す視線方向パラメータを算出し、この視線方向パラメータに基づいて被写体の人物の視線方向がカメラ１０の方に向いているかどうかを判定する。ここで、黒目の中心位置の検出方法としては、例えば、上記顔領域の濃淡画像を生成し、上記濃淡画像から黒目の中心位置を検出する方法、又は顔領域の濃淡画像にエッジ（画像内に生じる明るい部分と暗い部分の境界）を検出するためのエッジ抽出フィルタをかけてエッジ画像を生成し、当該エッジ画像とエッジでできた顔部品（目等）のテンプレートとのマッチングによって黒目の中心位置を検出する方法がある。

図３は、視線方向パラメータの算出方法を説明するための図である。図３において、左右の黒目の中心位置（それぞれ点Ｅ_Ｌ及び点Ｅ_Ｒ）を通る直線の顔領域（肌色領域）の左右の端部との交点をそれぞれ点Ｐ_Ｌ及び点Ｐ_Ｒとする。被写体の顔領域の横幅（点Ｐ_Ｌと点Ｐ_Ｒ間の距離）をａ、右の黒目の中心位置Ｅ_Ｒと顔領域の右の端部Ｐ_Ｒとの距離をｂ、左の黒目の中心位置Ｅ_Ｌと顔領域の左の端部Ｐ_Ｌとの距離をｃとすると、視線方向パラメータα［％］は下記の式（１）により表される。

図３（Ｍ）に示すように、被写体の視線が正面のカメラ１０の方向に向いている場合には、視線方向パラメータαは１００％に近い値となる。一方、図３（Ｌ）及び図３（Ｒ）に示すように、被写体の視線がカメラ１０の方向に向いていない場合には、視線方向パラメータαは低い値になる。

図４は、プレシャッターモード時における画像表示部４０の表示の例を示す図である。なお、図４において、符号Ｆ１０は、検出された顔領域に付される顔検出枠である。プレシャッターモード時において、シャッターボタンが押下されると（Ｓ２オン）、図４（ａ）から図４（ｃ）に示すように、顔領域の検出、視線方向パラメータαの算出及び視線方向の判定が繰り返される。そして、図４（ｄ）に示すように、視線方向パラメータαが所定の判定値より大きくなると、視線方向判定部４８により視線方向が被写体の人物の視線方向がカメラ１０の方に向いていると判定され、即座に撮影処理が実行される。

次に、プレシャッターモード時における撮影処理について、図５のフローチャートを参照して説明する。まず、撮影モードがプレシャッターモードに設定されて（ステップＳ１０）、シャッターボタンの押下（Ｓ２オン）が検出されると（ステップＳ１２）、ＣＣＤ３０から出力されたスルー画像データに対して顔領域の検出処理が実行され（ステップＳ１４）、検出された顔領域の画像に基づいて視線方向パラメータαの算出処理が実行される（ステップＳ１６）。視線方向パラメータαが判定値未満の場合には（ステップＳ１８のｎｏ）、所定の時間間隔ごとにステップＳ１４及びＳ１６の工程が繰り返される。そして、視線方向パラメータαが判定値より大きくなると（ステップＳ１８のｙｅｓ）、即座に被写体の撮影が実行されて、撮影された画像が画像ファイルとして記録メディア２２に記録される（ステップＳ２０）。

本実施形態によれば、被写体の人物の視線がカメラ１０の方に向いた場合に即座に撮影が実行されるので、幼児を撮影する場合にもシャッターチャンスを確実にとらえることができる。

なお、上記ステップＳ１４において複数の顔領域が検出された場合には、検出されたすべての顔領域について視線方向の判定を行い、すべての顔領域の視線方向がカメラ１０の方に向いた場合に撮影を実行するようにすればよい。また、検出された顔領域のうち、顔領域の面積が所定値以上のもの、画像の中心近傍にあるもの、カメラ１０に近いもの又はこれらの条件の組み合わせに該当するものについてのみ視線方向の判定を行うようにしてもよい。また、視線方向の判定対象の顔領域を手動で選択できるようにしてもよい。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図６は、本発明の第２の実施形態に係る撮影装置の主要構成を示すブロック図であり、図７は、プレシャッターモード時における撮影処理を説明するためのブロック図である。なお、以下の説明において、上記図１と同様の構成については同一の符号を付して説明を省略する。

特定顔記憶部５０は、特定の人物の顔（特定顔）の画像を記憶するための記憶装置である。特定顔の記憶処理は、操作部１６の顔記憶ボタン１６Ａを押下して、被写体の顔を撮影することにより実行される。

顔検出部４６は、プレシャッターモード時において、ＣＣＤ３０から出力されたスルー画像データから特定顔を含む顔領域を検出して視線方向の判定対象として選択する。ここで、スルー画像データから特定顔を含む顔領域を検出する方法としては、特定顔記憶部５０に記憶された特定顔の画像から顔特徴量と信頼性指標（例えば、画像のコントラスト指標）とを抽出して顔メタデータを予め生成し、特定顔の顔メタデータを特定顔記憶部５０に格納しておき、スルー画像データ中の顔領域から生成された顔メタデータとのパターンマッチングの類似度を算出することにより行う方法がある（例えば、特開２００３−１８７２２９号公報）。

視線方向判定部４８は、視線方向の判定対象の顔領域の目の画像を検出し、上記特定の人物の視線方向がカメラ１０の方に向いているかどうかを判定する。上記視線方向の判定対象の顔領域の検出処理及び視線方向の判定処理はプレシャッターモード時に所定の時間間隔で繰り返される。そして、視線方向判定部４８は、上記特定の人物の視線方向がカメラ１０の方に向いていると判定した場合にその旨を示す信号をＣＰＵ１２に送信する。ＣＰＵ１２は、視線方向判定部４８から上記特定の人物の視線方向がカメラ１０の方に向いていることを示す信号を受信すると、カメラ１０の各部を制御して即座に撮影処理を実行する。

次に、特定の人物の顔を特定顔記憶部５０に記憶させる処理について、図８及び図９を参照して説明する。まず、操作部１６の顔記憶ボタン１６Ａの押下が検出されると（ステップＳ３０）、被写体の画像が撮影され、撮影画像に対して顔検出部４６により顔検出処理が実行される。そして、図８（ａ）に示すように、撮影画像から顔領域Ｆ２０が検出されると、顔領域Ｆ２０の顔の特徴量が取得されて、特定顔記憶部５０に記憶される（ステップＳ３２）。

次に、プレシャッターモード時における撮影処理について説明する。図１０は、プレシャッターモード時における画像表示部４０の表示の例を示す図である。撮影モードがプレシャッターモードに設定されると、図１０（ａ）に示すように、スルー画像データが取得され、顔領域の検出処理が実行される。図１０（ｂ）に示すように、顔領域が複数検出された場合には、検出された顔領域Ｆ３０及びＦ３２の特徴量が取得されて、特定顔記憶部５０に記憶された特定顔の特徴量と照合される。そして、顔領域Ｆ３０及びＦ３２のうち特定顔に最も類似した顔領域（図１０（ｃ）では顔領域Ｆ３０）が視線方向の判定対象として選択される。次に、図１０（ｄ）及び図１０（ｅ）に示すように、顔領域Ｆ３０に対して視線方向の判定処理が行われて、視線方向パラメータαは判定値より大きくなると即座に撮影処理が実行される。

図１１は、プレシャッターモード時における撮影処理の流れを示すフローチャートである。まず、撮影モードがプレシャッターモードに設定されて（ステップＳ５０）、シャッターボタンの押下（Ｓ２オン）が検出されると（ステップＳ５２）、ＣＣＤ３０から出力されたスルー画像データに対して顔領域の検出処理が実行される（ステップＳ５４）。

次に、ステップＳ５４においてスルー画像データから検出された顔領域の特徴量が取得されて、特定顔記憶部５０に記憶された特定顔の特徴量と照合される。そして、スルー画像データから検出された顔領域のうち特定顔に最も類似した顔領域が視線方向の判定対象として選択される（ステップＳ５６）。

次に、視線方向の判定対象の顔領域の画像に基づいて視線方向パラメータαの算出処理が実行され（ステップＳ５８）、視線方向パラメータαが判定値未満の場合には（ステップＳ６０のｎｏ）、所定の時間間隔ごとにステップＳ５４からＳ５８の工程が繰り返される。そして、視線方向パラメータαが判定値より大きくなると（ステップＳ６０のｙｅｓ）、即座に被写体の撮影が実行されて、撮影された画像が画像ファイルとして記録メディア２２に記録される（ステップＳ６２）。

本実施形態によれば、カメラ１０に予め記憶された特定の人物の視線がカメラ１０の方に向いた場合に即座に撮影が実行されるので、例えば、スルー画像データから複数の顔領域が検出された場合に、特定の顔の視線方向に応じてシャッターチャンスを確実にとらえることができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。図１２は、本発明の第３の実施形態に係る撮影装置の主要構成を示すブロック図であり、図１３は、プレシャッターモード時における撮影処理を説明するためのブロック図である。なお、以下の説明において、上記図１等と同様の構成については同一の符号を付して説明を省略する。

経過時間測定部５２は、プレシャッターモード時にシャッターボタンが押下（Ｓ２オン）されてからの経過時間を測定し、経過時間の測定値が予め設定された設定値を越えた場合に、ＡＦ補助光発光部５４に対してＡＦ補助光の発光を指示する信号を送信する。ＡＦ補助光発光部５４は、経過時間測定部５２からの信号に応じてＡＦ補助光を発光させる。

次に、プレシャッターモード時における撮影処理について説明する。図１４は、プレシャッターモード時における画像表示部４０の表示の例を示す図である。撮影モードがプレシャッターモードに設定され、シャッターボタンが押下されると（Ｓ２オン）、図１４（ａ）に示すように、スルー画像データが取得され、顔領域の検出処理が実行される。次に、図１４（ｂ）から図１４（ｄ）に示すように、検出された顔領域Ｆ５０に対して視線方向の判定処理が行われる。そして、シャッターボタンが押下されてからの経過時間の測定値が設定値を越えると、ＡＦ補助光が発光し、被写体の注意がカメラ１０の方に引きつけられて視線方向パラメータαは判定値より大きくなると即座に撮影処理が実行される。

図１５は、プレシャッターモード時における撮影処理の流れを示すフローチャートである。まず、撮影モードがプレシャッターモードに設定されて（ステップＳ７０）、シャッターボタンの押下（Ｓ２オン）が検出されると（ステップＳ７２）、ＣＣＤ３０から出力されたスルー画像データに対して顔領域の検出処理が実行され（ステップＳ７４）、検出された顔領域の画像に基づいて視線方向パラメータαの算出処理が実行される（ステップＳ７６）。視線方向パラメータαが判定値未満の場合には（ステップＳ７８のｎｏ）、シャッターボタンが押下されてからの経過時間が測定される（ステップＳ８０）。シャッターボタンが押下されてからの経過時間の測定値が設定値以下の場合には（ステップＳ８２のｎｏ）、ステップＳ７４に戻り、顔領域の検出処理及び視線方向パラメータαの算出処理が再度実行される。

ステップＳ７４からＳ８２の工程が繰り返されて、シャッターボタンが押下されてからの経過時間が設定値を越えると（ステップＳ８２のｙｅｓ）、経過時間測定部５２からＡＦ補助光発光部５４にＡＦ補助光の発光を指示する信号が送信され、ＡＦ補助光が間欠発光し（ステップＳ８４）、ステップＳ７４に戻る。

そして、ステップＳ７４からステップＳ８４の工程が繰り返されて、視線方向パラメータαが判定値より大きくなると（ステップＳ７８のｙｅｓ）、即座に被写体の撮影が実行されて、撮影された画像が画像ファイルとして記録メディア２２に記録される（ステップＳ８６）。

本実施形態によれば、被写体の視線方向がカメラ１０の方に向けられない場合にＡＦ補助光を用いて被写体の注意をカメラ１０の方に誘導するようにしたので、静止させておくことが困難な幼児が被写体の場合であっても視線方向がカメラ１０の方に向いた状態で撮影を行うことができる。

なお、上記ステップＳ７４において複数の顔領域が検出された場合には、検出されたすべての顔領域について視線方向の判定を行い、すべての顔領域の視線方向がカメラ１０の方に向いた場合に撮影を実行するようにすればよい。また、検出された顔領域のうち、顔領域の面積が所定値以上のもの、画像の中心近傍にあるもの、カメラ１０に近いもの又はこれらの条件の組み合わせに該当するものについてのみ視線方向の判定を行うようにしてもよい。また、視線方向の判定対象の顔領域を手動で選択できるようにしてもよい。

また、本実施形態では、ＡＦ補助光を用いて被写体の注意を引くようにしたが、例えば、音声出力部５６から音声を出力して被写体の注意を引くようにしてもよいし、ＡＦ補助光と音声を併用してもよい。また、フラッシュ発光を行わないモードの場合には、フラッシュを発光させるようにしてもよい。また、撮影の都度、ＡＦ補助光又はフラッシュの発光の仕方、音声の種類又はこれらの組み合わせを変更するようにしてもよい。

なお、上記の各実施形態では、視線方向パラメータαを用いて視線方向の判定を行うようにしたが、視線方向の判定方法はこれに限定されるものではない。

また、上記の各実施形態では、顔領域中の両目の位置又は顔と胴体との位置関係等に基づいて、顔が正面に向いているかどうかを判定し、顔が正面に向いていると判定された場合に、視線方向の判定を行うようにしてもよい。

なお、本発明に係る撮影装置及び撮影方法は、上記した処理を行うプログラムを撮影手段を備えたコンピュータに適用することによっても実現可能である。

本発明の第１の実施形態に係る撮影装置の主要構成を示すブロック図 プレシャッターモード時における撮影処理を説明するためのブロック図 視線方向パラメータの算出方法を説明するための図 プレシャッターモード時における画像表示部４０の表示の例を示す図 プレシャッターモード時における撮影処理の流れを示すフローチャート 本発明の第２の実施形態に係る撮影装置の主要構成を示すブロック図 プレシャッターモード時における撮影処理を説明するためのブロック図 特定の人物の顔を特定顔記憶部５０に記憶させる処理を示す図 特定の人物の顔を特定顔記憶部５０に記憶させる処理の流れをフローチャート プレシャッターモード時における画像表示部４０の表示の例を示す図 プレシャッターモード時における撮影処理の流れを示すフローチャート 本発明の第３の実施形態に係る撮影装置の主要構成を示すブロック図 プレシャッターモード時における撮影処理を説明するためのブロック図 プレシャッターモード時における画像表示部４０の表示の例を示す図 プレシャッターモード時における撮影処理の流れを示すフローチャート

符号の説明

１０…撮影装置（カメラ）、１２…ＣＰＵ、１４…バス、１６…操作部、１８…ＲＯＭ、２０…ＲＡＭ、２２…記録メディア、２４…メディア制御部、２６…通信インターフェース部（通信Ｉ／Ｆ）、２８…レンズユニット、２８Ａ…レンズ駆動部、３０…ＣＣＤ、３０Ａ…撮影制御部、３２…アナログ処理部（ＣＤＳ／ＡＭＰ）、３４…Ａ／Ｄ変換器、３６…画像入力制御部、３８…画像信号処理部、４０…画像表示部、４２…表示制御部、４４…圧縮・伸張処理部、４６…顔検出部、４８…視線方向判定部、５０…特定顔記憶部、１６Ａ…顔記憶ボタン、５２…経過時間測定部、５４…ＡＦ補助光発光部、５６…音声出力部

Claims (7)

1. 被写体の画像を撮影する撮影手段と、
   前記被写体の画像の撮影指示を入力するための撮影指示手段と、
   前記撮影指示手段からの撮影指示に応じて、前記撮影手段によって撮影されたライブビュー画像から前記被写体の顔画像を検出する顔検出手段と、
   前記顔画像から前記被写体の視線方向を検出し、前記被写体の視線方向が前記撮影手段の方を向いているかどうかを判定する視線方向判定手段と、
   前記被写体の視線方向が前記撮影手段の方を向いていると判定された場合に、即座に前記撮影手段に前記被写体の画像の撮影を実行させる撮影制御手段と、
   を備えることを特徴とする撮影装置。
2. 特定の被写体の顔画像を記憶する特定顔記憶手段を更に備え、
   前記顔検出手段は、前記ライブビュー画像から前記特定の被写体の顔画像を検出し、
   前記視線方向判定手段は、前記特定の被写体の顔画像から前記特定の被写体の視線方向を検出し、前記特定の被写体の視線方向が前記撮影手段の方を向いているかどうかを判定し、
   前記撮影制御手段は、前記特定の被写体の視線方向が前記撮影手段の方を向いていると判定された場合に、即座に前記撮影手段に撮影を実行させることを特徴とする請求項１記載の撮影装置。
3. 前記撮影指示が入力されてからの経過時間を測定する経過時間測定手段と、
   前記経過時間が所定の設定値を越えても前記被写体の撮影が実行されない場合に、前記被写体に向けて発光又は音声出力を行って、前記被写体の視線方向を前記撮影手段の方に誘導する視線方向誘導手段と、
   を更に備えることを特徴とする請求項１又は２記載の撮影装置。
4. 前記視線方向誘導手段は、前記被写体に向けてＡＦ補助光を発光させることを特徴とする請求項３記載の撮影装置。
5. 被写体の画像を撮影する撮影手段に対して撮影指示を入力する撮影指示工程と、
   前記撮影指示に応じて、前記撮影手段によって撮影されたライブビュー画像から前記被写体の顔画像を検出する顔検出工程と、
   前記顔画像から前記被写体の視線方向を検出し、前記被写体の視線方向が前記撮影手段の方を向いているかどうかを判定する視線方向判定工程と、
   前記被写体の視線方向が前記撮影手段の方を向いていると判定された場合に、即座に前記撮影手段に前記被写体の画像の撮影を実行させる撮影制御工程と、
   を備えることを特徴とする撮影方法。
6. 特定の被写体の顔画像を記憶する特定顔記憶工程と、
   被写体の画像を撮影する撮影手段に対して撮影指示を入力する撮影指示工程と、
   前記撮影指示に応じて、前記撮影手段によって撮影されたライブビュー画像から前記特定の被写体の顔画像を検出する顔検出工程と、
   前記特定の被写体の顔画像から前記特定の被写体の視線方向を検出し、前記特定の被写体の視線方向が前記撮影手段の方を向いているかどうかを判定する視線方向判定工程と、
   前記特定の被写体の視線方向が前記撮影手段の方を向いていると判定された場合に、即座に前記撮影手段に撮影を実行させる撮影制御工程と、
   を備えることを特徴とする撮影方法。
7. 前記撮影指示が入力されてからの経過時間を測定する経過時間測定工程と、
   前記経過時間が所定の設定値を越えても前記被写体の撮影が実行されない場合に、前記被写体に向けて発光又は音声出力を行って、前記被写体の視線方向を前記撮影手段の方に誘導する視線方向誘導工程と、
   を更に備えることを特徴とする請求項５又は６記載の撮影方法。

Images