JP5027580B2 - 撮影装置および方法並びにプログラム - Google Patents

Description

本発明は撮影により画像を取得するデジタルカメラ等の撮影装置に関するものである。

デジタルカメラやデジタルビデオカメラ等の撮影装置において、人物等の対象物を撮影する場合、撮影に適切な焦点、露光等の設定を行うとともに、撮影された画像における対象物に対して各種画像処理を施すため、撮影される画像（被写体像）から対象物を検出することが期待されている。

このような、撮影装置により撮影される画像は撮影条件が常に一定ではないので、特許文献１では、対象画像から顔のテンプレート画像との相関値が設定しきい値以上である位置を顔領域として検出するとき、対象画像の明るさに応じて、相関値の設定しきい値を変化させることにより、顔の検出性能を向上させる方法が提案されている。
特開２００５−００４２８７号

しかしながら、明るさに応じて、相関値の設定しきい値を変化させる特許文献１において提案されている手法では、様々な撮影条件の変化に充分に対応できず、その検出性能が不十分である場合がある。

本発明は、上記事情に鑑み、様々な撮影条件の変化に対して、その検出性能をより向上させる撮影装置を提供することを目的とするものである。

本発明の撮影装置は、撮影された画像から対象物を検出する対象物検出処理を行う対象物検出手段と画像のシーンを判別するシーン判別手段と、該シーン判別手段の判別結果に応じて対象物検出処理に使用されるパラメータを制御するパラメータ制御手段とを備えたことを特徴とするものである。

また、パラメータとは、対象検出処理手段に使用される助変数を意味するものである。例えば、対象物検出処理手段に使用されるゲイン補正におけるゲイン、検出判定しきい値、ノイズ低減におけるノイズ低減量の度合い、輪郭補正の度合い、ガンマカーブ値のいずれか一つ以上を含む数値等であってもよい。

上記装置においては、対象物検出手段は、パラメータ制御手段により変更された変更後のパラメータを含む複数の異なる値のパラメータを用いて画像から対象物を検出し、それらの検出結果を統合して対象物検出結果とするものであってもよい。

また、パラメータ制御手段は、対象物検出手段によりそのパラメータでは対象物が検出されなかったとき、パラメータを変更するものであってもよい。

また、画像のシーンを判別するシーン判別手段を備え、パラメータ制御手段は、シーン判別手段の判別結果に応じてパラメータを制御するものであってもよい。

また、シーン判別手段が、逆光判定、露出判定、明度判定、ノイズ判定のいずれか一つ以上の判定処理により判別するものであってもよい。

なお、画像のシーンとは、例えば、逆光、夜景、水中等の対象物の検出に影響を及ぼす画像の状況を意味するものである。

また、パラメータ制御手段は、対象物検出手段が対象物検出処理を行なう画像を撮影したタイミングもしくは前記対象物処理を行なうタイミングに応じてパラメータの制御方法を変化させるものであってもよい。なお、対象物検出処理とは、検出本体に限らず、検出本体を行なう前に対象画像に実施される各種前処理を含むものであってもよい。

本発明の撮影方法は、撮影された画像から対象物を検出する対象物検出処理を行い、画像のシーンを判別し、該判別結果に応じて対象物検出処理に使用されるパラメータを制御することを特徴とするものである。

なお、本発明による撮影方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の撮影装置によれば、撮影された画像から対象物を検出する対象物検出処理を行う対象物検出手段と対象物検出処理に使用されるパラメータを制御するパラメータ制御手段とを備えたものであるから、撮影状況が変化しても、その撮影状況下で撮影された画像からの検出処理に適したパラメータに変化させることができるため、対象物の検出性能を向上させることができる。

上記装置において、対象物検出手段が、パラメータ制御手段により変更された変更後のパラメータを含む複数の異なる値のパラメータを用いて画像から対象物を検出し、それらの検出結果を統合して対象物検出結果とするものである場合、対象物の検出精度をより向上させることができる。

上記装置において、パラメータ制御手段が、対象物検出手段によりそのパラメータでは対象物が検出されなかったとき、パラメータを変更するものである場合、変更されたパラメータを使用して検出処理を行うことにより、対象物の検出率を向上させることができる。

上記装置において、画像のシーンを判別するシーン判別手段を備え、パラメータ制御手段が、シーン判別手段の判別結果に応じてパラメータを制御するものである場合、シーンの判別結果に基づいてその画像での検出処理に適したパラメータを効率的に決定することができるため、検出の効率を向上させることができる。

また、パラメータ制御手段が、対象物検出手段が対象物検出処理を行なう画像を撮影したタイミングもしくは前記対象物処理を行うタイミングに応じてパラメータの制御方法を変化させるものである場合、画像が撮影されたタイミング情報に基づいてその画像での検出処理に適したパラメータを効率的に決定することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の撮影装置の一実施形態であるデジタルカメラ１の背面を中心とする斜視図である。図１に示すように、このデジタルカメラ１の背面には、撮影者による操作のためのインターフェースとして、動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下レバー１３、左右ボタン１４、Ｂａｃｋ（戻る）ボタン１５、表示切替ボタン１６を有している他、ファインダ１７、液晶モニタ１８を有している。また、上面には、レリーズボタン１９を有している。図２は第１の実施形態によるデジタルカメラ１の前面を中心とする斜視図である。図２に示すように、前面には、レンズ２０、レンズカバー２１、電源スイッチ２２、ファインダ窓２３、フラッシュ２４、セルフタイマーランプ２５及びＡＦ補助光２６が設けられ、側面にはメディアスロット２７が設けられている。

動作モードスイッチ１１は、静止画撮影モード、動画撮影モード、および再生モードの各動作モードを切り替えるためのスライドスイッチである。

メニュー／ＯＫボタン１２は、押下することによって、撮影モード、フラッシュ発光モード、記録画素数や感度等の設定を行うための各種メニューを液晶モニタ１８に表示させたり、液晶モニタ１８に表示されたメニューに基づく選択・設定を確定させたりするためのボタンである。なお、メニュー／ＯＫボタン１２により、撮影モードを露出やホワイトバランスをすべて自動で設定するためのオートモード、およびマニュアルで設定するためのマニュアルモードに設定可能である。

ズーム／上下矢印レバー１３は、上下方向にレバーを倒すことによって、撮影時は望遠／広角の調整を行い、各種設定時は液晶モニタ１８に表示されるメニュー画面中のカーソルを上下に移動させるためのレバーである。

左右矢印ボタン１４は、各種設定時に液晶モニタ１８に表示されるメニュー画面中のカーソルを左右に移動させるためのボタンである。

Ｂａｃｋ（戻る）ボタン１５は、押下することによって各種設定操作を中止し、モニタ１８に１つ前の画面を表示するためのボタンである。

表示切替ボタン１６は、押下することによって、液晶モニタ１８の表示のＯＮ／ＯＦＦ、各種ガイド表示、文字表示のＯＮ／ＯＦＦ等を切り替えるためのボタンである。

ファインダ１７は、ユーザが被写体を撮影する際に構図やピントを合わせるために覗くためのものである。ファインダ１７から見える被写体像は、ファインダ窓２３を介して映し出される。

以上説明した各ボタン、レバーの操作によって設定された内容は、液晶モニタ１８中の表示や、ファインダ内のランプ、スライドレバーの位置等によって確認することができるようになっている。

液晶モニタ１８は、撮影の際に被写体確認用のスルー画を表示することにより、電子ビューファインダとして機能する他、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。

レリーズボタン１９は、２段階押しのスイッチとなっている。ユーザによってレリーズボタン１９が半押しされる、自動露出調整、自動焦点調整などの各種撮影準備処理が施される。この状態でレリーズボタン１９を全押しすると、決定された露出、合焦位置に基づいて撮影が行われ、液晶モニタ１８に表示された画像が撮影画像として記録される。

撮影レンズ２０は、被写体像を所定の結像面上（デジタルカメラ１内部にあるＣＣＤ等）に結像させるためのものであり、フォーカスレンズやズームレンズ等によって構成される。レンズカバー２１は、デジタルカメラ１の電源がオフ状態のとき、再生モードであるとき等に撮影レンズ２０の表面を覆い、汚れやゴミ等から撮影レンズ２０を保護するものである。電源スイッチ２２は、デジタルカメラ１の電源のオン／オフを切り替えるためのスイッチである。ストロボ光２４は、シャッタボタン１９が押下され、デジタルカメラ１の内部にあるシャッタが開いている間に、撮影に必要な光を被写体に対して瞬間的に照射するためのものである。セルフタイマーランプ２５は、セルフタイマーによって撮影する際に、シャッタの開閉タイミングを被写体に知らせるためものである。

図３はデジタルカメラ１の機能構成を示す概略ブロック図である。図３に示すデジタルカメラ１は、撮影により取得した画像データを、Ｅｘｉｆ形式の画像ファイルに変換して、本体に着脱可能な外部記録メディア７０へ記録するものである。

このデジタルカメラの操作系としては、前述の動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下矢印レバー１３、左右矢印ボタン１４、Ｂａｃｋ（戻る）ボタン１５、表示切替ボタン１６、レリーズボタン１９、電源スイッチ２２と、これらのスイッチ類の操作内容をＣＰＵ７５に伝えるためのインターフェース部分である操作系制御部７４とを有している。

光学系としては、フォーカスレンズ２０ａおよびズームレンズ２０ｂを有している。これらの各レンズは、モータとモータドライバからなるフォーカスレンズ駆動部５１、ズームレンズ駆動部５２によってステップ駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部５１は、ＡＦ処理部６２から出力されるフォーカス駆動量データに基づいてフォーカスレンズ２０ａをステップ駆動する。ズームレンズ駆動部５２は、ズーム／上下レバー１３の操作量データに基づいてズームレンズ２０ｂのステップ駆動を制御する。

絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。この絞り駆動部５５は、ＡＥ（自動露出）／ＡＷＢ（オートホワイトバランス）処理部６３から出力される絞り値データに基づいて絞り５４の絞り径の調整を行う。

シャッタ５６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部５７によって駆動される。シャッタ駆動部５７は、レリーズボタン１９の押下により発生する信号と、ＡＥ／ＡＷＢ処理部６３から出力されるシャッタスピードデータとに応じて、シャッタ５６の開閉の制御を行う。

上記光学系の後方には、撮像素子であるＣＣＤ５８を有している。ＣＣＤ５８は、多数の受光素子を２次元的に配列した光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイ（不図示）と、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイ（不図示）とが配置されている。ＣＣＤ５８は、ＣＣＤ制御部５９から供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露出時間は、ＣＣＤ制御部５９から与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ５８はＣＣＤ制御部５９により、あらかじめ定められた大きさのアナログ撮像信号が得られるように、ゲインが調整されている。

ＣＣＤ５８が出力する画像信号は、アナログ信号処理部６０に入力される。このアナログ信号処理部６０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ７２は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部５７、ＣＣＤ制御部５９、アナログ信号処理部６０に入力されて、シャッタボタン１９の操作と、シャッタ５６の開閉、ＣＣＤ５８の電荷取り込み、アナログ信号処理６０の処理の同期が取られる。

フラッシュ制御部７３は、撮影時にフラッシュ２４を発光させる。具体的には、フラッシュ発光モードがフラッシュオンとされている場合、およびフラッシュ発光モードがオートモードである場合においてプレ画像が所定の明るさにない場合にフラッシュ２４をオンとして、撮影時にフラッシュ２４を発光させる。一方、フラッシュ発光モードがフラッシュオフとされている場合、撮影時にフラッシュ２４の発光を禁止する。

また、フラッシュ制御部７３は、ＡＦ処理部６２が求めた焦点位置に基づいて、焦点位置が遠いほど発光量が大きくなるようにフラッシュ２４の発光量を決定する。この発光量を第１の発光量とする。なお、フラッシュ２４を発光させて撮影を行う場合において、プレ撮影により取得されたプレ画像に顔が含まれている場合には、フラッシュ２４の発光量を第１の発光量よりも小さい第２の発光量に決定する。ここで、発光量は顔に白とびが発生しない程度小さくすればよく、その程度は実験的に求めればよいものである。

画像入力コントローラ６１は、アナログ信号処理部６０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ６６に書き込む。この フレームメモリ６６は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。

表示制御部７１は、フレームメモリ６６に格納された画像データをスルー画像として液晶モニタ１８に表示させたり、再生モード時に外部記録メディア７０に保存されている画像データを液晶モニタ１８に表示させたりするためのものである。なお、スルー画像は、撮影モードが選択されている間、所定間隔でＣＣＤ５８により撮影される。

ＡＦ処理部６２およびＡＥ／ＡＷＢ処理部６３は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタン１９が半押しされることによって発生する半押し信号を検出したＣＰＵ７５がＣＣＤ５８にプレ撮影を実行させた結果、フレームメモリ６６に格納された画像データにより表される画像である。

ＡＦ処理部６２は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、ピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。

ＡＥ／ＡＷＢ処理部６３は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいて絞り値、シャッタスピード等を決定し、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに（ＡＥ処理）、撮影時のホワイトバランスを自動調整する（ＡＷＢ）。なお、露出およびホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ１のユーザがマニュアル操作により設定可能である。また、露出およびホワイトバランスが自動で設定された場合にも、ユーザがメニュー／ＯＫボタン１２等の操作系から指示を行うことにより、露出およびホワイトバランスをマニュアル調整することが可能である。

画像処理部６４は、本画像の画像データに対して、ガンマ補正、シャープネス補正、コントラスト補正等の画質補正処理、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本画像とは、レリーズボタン１９が全押しされることによって実行される本撮影においてＣＣＤ５８から取り込まれ、アナログ信号処理部６０、画像入力コントローラ６１経由でフレームメモリ６６に格納された画像データによる画像である。本画像の画素数の上限は、ＣＣＤ５８の画素数によって決定されるが、例えば、ファイン、ノーマル等の設定により、記録画素数を変更することができる。一方、スルー画像およびプレ画像の画像数は、本画像よりも少なく、例えば、本画像の１／１６程度の画素数で取り込まれる。

圧縮／伸長処理部６５は、画像処理部６４によって補正・変換処理が行われた本画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、圧縮／伸長処理部６５は、再生モードの場合には、外部記録メディア７０から圧縮された画像ファイルを読み出し、伸張処理を行う。伸長後の画像データは液晶モニタ１８に出力される。

メディア制御部６７は、外部記録メディア７０にアクセスして画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ６８は、デジタルカメラ１において設定される各種定数、およびＣＰＵ７５が実行するプログラム等を格納する。

対象物検出部８０は、撮影された画像から対象物を検出する対象物検出処理を行ない、その検出結果を出力するものである。この対象物検出処理は、検出本体と検出本体を行なう前に対象画像データに実施される各種前処理とを含むものであり、具体的には、図４に示すように、アナログ信号処理部から出力されるＣＣＤ−ＲＡＷデータを入力し、入力された画像データに対して、例えばキズ補正、オフセット補正、ゲイン補正、コントラスト補正 、ガンマ補正、リサイズ等のデジタル信号処理を前処理として行い、信号処理された画像データから顔のテンプレート画像との相関値が設定しきい値以上である位置を検出する検出本体の検出結果を出力するものである。

また、対象物検出部８０は、顔に含まれる顔の特徴を有する領域（例えば肌色を有する、目を有する、顔の形状を有する等）を顔領域として検出する。

例えば、特開２００６−２０２２７６号（以下、参考文献１という）の手法を用いることができる。参考文献１の手法は、顔の追跡は、動きベクトル、特徴点検出等の公知の手法や学習データに対してリサンプリングの際に重みを逐次的に更新していき，できた機械を最後に学習機械に対する重みをつけて足し合わせて統合学習機械をつくる手法であるＡｄａｂｏｏｓｔに基づいたマシンラーニング手法を利用するものであることが考えられる。例えば、平均フレームモデルを実際の顔画像に嵌め込み、平均フレームモデル上の各ランドマークの位置を、顔から検出された相対応するランドマークの位置に合致するように移動することによって平均フレームモデルを変形させて顔のフレームモデルを構築するのに際し、マシンラーニング手法により、所定のランドマークであることが分かっている複数のサンプル画像上の点における輝度プロファイルと、該ランドマークではないことが分かっている複数のサンプル画像上の点における輝度プロファイルとに対して学習を行って得た識別器および各識別器に対する識別条件（顔の検出判定しきい値等）を用いて、顔画像から当該ランドマークを示す点の位置を検出する手法である。また、特開２００４−３３４８３６号（以下、参考文献２という）の手法を用いることも可能である。参考文献２の手法は、画像データから一定の大きさの画像データを切り出し、各切出画像データと特徴部分画像データの照合データとを比較して前記処理対象画像中に前記特徴部分画像が存在するか否かを検出する画像データの特徴部分抽出方法を使用する手法である。なお、特開２００７−１１９７０号（以下、参考文献３という）の手法のように人物の顔領域以外に、動物の顔等を特定被写体として検出してもよい。

上記参考文献１−３はいずれも、顔の検出判定しきい値に基づき、顔であるか否かを判別する。顔の検出判定しきい値は、顔らしさ（顔スコア）のしきい値を示すものである。また、顔の検出判定しきい値は、上述の顔のテンプレート画像との相関値による設定しきい値をも含むものである。

また、対象物検出部８０は、例えば、サブウィンドウが本画像またはスルー画像の全体画像上を複数画素間隔で走査し複数の部分画像が生成される。生成された部分画像の中から、正面顔検出手段および横顔検出手段において正面顔もしくは横顔である部分画像が検出される手法であってもよい。

また、検出モード切替手段を設けることにより検出率モード、誤検出抑制モード、計算速度モード、正面顔検出モード、横顔検出モードのいずれかに切り替えられたとき、パラメータ制御部が、横顔検出手段および正面顔検出手段の検出性能を決定する検出判定しきい値を変更し、横顔検出手段および正面顔検出手段において各検出モードにおける検出性能を重視した顔検出が行われてもよい。

また、対象物検出部８０は、特開２００７−９４６３３号（以下、参考文献４）の手法を用いるものであってもよい。

また、対象物検出部８０は、スルー画像または画像データから、動きベクトルを検出できる。対象物検出部８０は、撮影されたスルー画像または画像データが、動きベクトル量の多い所定数の対象物が存在することに基づき、横顔検出手段をより発揮できるように検出性能を決定する検出判定しきい値を変更するように制御してもよい。

また、対象物検出部８０は、撮影されたスルー画像または画像データが、動きベクトル量の多い所定数の対象物が存在することに基づき、正面顔検出手段よりも横顔検出手段を有効に発揮できるように検出性能を決定する検出判定しきい値を変更するように制御してもよい。

また図１１に示すように、アナログ信号処理部から出力されるＣＣＤ−ＲＡＷデータを入力し、入力された画像データに対して、例えばキズ補正、オフセット補正、ゲイン補正、コントラスト補正 、ガンマ補正、リサイズ、ノイズ低減等のデジタル信号処理を前処理として行い、信号処理された画像データから顔の検出判定しきい値以上である位置を検出する検出本体の検出結果を出力するものであってもよい。

更に、図１２に示すように、アナログ信号処理部から出力されるＣＣＤ−ＲＡＷデータを入力し、入力された画像データに対して、例えばキズ補正、オフセット補正、ゲイン補正、コントラスト補正 、ガンマ補正、リサイズ等（リサイズ処理の後にノイズ低減処理があってもよい）のデジタル信号処理を前処理として行い、信号処理された画像データから顔の検出判定しきい値以上である位置を検出する検出本体の検出結果を出力する。

更に、図１３に示すように、アナログ信号処理部から出力されるＣＣＤ−ＲＡＷデータを入力し、入力された画像データに対して、例えばキズ補正、オフセット補正、ゲイン補正、コントラスト補正 、ガンマ補正、リサイズ、ノイズ低減、輪郭補正等のデジタル信号処理を前処理として行い、信号処理された画像データから顔の検出判定しきい値以上である位置を検出する検出本体の検出結果を出力するものであってもよい。ここで、ゲイン補正におけるゲイン、検出本体における相関値の設定しきい値等の上記対象物検出処理に使用される各種パラメータは、後述するパラメータ制御部８４により制御されるものである。また、この対象物検出処理に使用されるパラメータは、表示用または記録用の画像に対して施される画質補正に使用されるパラメータとは別に制御されるものである。これにより、例えば逆光度合いの高い画像に対して、顔の検出性能を向上させるため、顔検出処理のゲイン補正に使用されるゲインの値を充分大きくしても、表示または記録される画像が白とびするようなことはない。

また、図１２に示すように、ゲイン補正におけるゲインを設定する際に、ＡＥ／ＡＷＢ処理部６３から得られるホワイトバランス補正のゲイン値に応じて、パラメータ制御部８４により制御されるものであってもよい。

シーン判別部８２は、撮影された画像に対して、例えば逆光、夜景、水中等のその画像のシーンを判別するものである。以下に図５および図６を参照してシーン判別処理の一つである逆光判定処理について説明する。まず、所定の大きさ、例えば水平方向の幅および垂直方向の幅がそれぞれ全体画像の水平方向の幅と垂直方向の幅を１６分割した長さである矩形の領域を単位測光エリアのとし、水平、垂直、斜め（NE、NW）に隣接する２つ単位測光エリアを、画像内の所定の逆光判定領域上に走査させ、その２つの単位測光エリアにおける測光値（明るさ）の差が設定しきい値以上である場合に、逆光であると判断するとともに、測光値の差の最大値をシーンの逆光度合いとして出力する。なお、測光値の差が最大となる部分の位置情報等も同時に取得し、出力するようにしてもよい。

また、シーン判別部８２は、上述した逆光判定処理に限らず、明度判定処理、ＥＶ値による判定処理（露出判定処理）、ノイズ量による判定処理であってもよい。これらの処理は、一般的に暗い画像やノイズが多い画像であると、対象物検出の精度が落ちることから、暗い画像であるか否かを判定する。

例えば、明度判定処理とは、スルー画像または本画像から画素値の明度を判定することで、暗い画像であるか否かを判定する。

また、ＥＶ値による判定処理は、絞り値と露光時間によって決まる露出値であるＥＶ値に基づいて暗いかどうかを判定する。

また、ノイズ量による判定処理は、撮像素子であるＣＣＤ５８固有のノイズ量をＣＣＤ−ＲＡＷから検出し、ノイズ量を判定する。

パラメータ制御部８４は、シーン判別部８２から出力されたシーン判別結果に応じて、対象物検出部８０による対象物検出処理に使用されるパラメータを制御する。例えば、シーン判別部８２により逆光であると判断された場合、図７に示すように、シーン判別部８２から出力された逆光度合いに応じたゲイン補正におけるゲイン（検出ゲイン）の値が算出され（ステップＳＴ１）、あらかじめ設定された上限値および下限値の範囲内で決定される（ステップＳＴ２〜５）。

また、逆光度合いに限らず、ＥＶ値や、明度、ノイズ低減量の度合いに応じた判別をおこなってもよく、ＥＶ値や、明度、ノイズ量の度合いに応じたゲイン補正におけるゲイン（検出ゲイン）の値が算出されてもよい。

また、パラメータは、対象検出処理手段に使用されるノイズ低減のノイズ低減量の度合い、輪郭補正の輪郭補正の度合い、ガンマ補正のガンマカーブ値のいずれか一つ以上を含む数値であってもよい。

例えば、逆光度合いに応じて（例えば、逆光と判断できる場合）、ガンマ補正のガンマカーブを変更するようにパラメータを制御してもよい。

また、逆光度合いに応じて（例えば、逆光と判断できる場合）、輪郭補正の輪郭補正の度合いを強くするようにパラメータを制御してもよい。また、明度の度合いに応じて（例えば、暗いと判断できる場合）、ノイズ低減の度合いを強くするようにパラメータを制御してもよい。

なお、輪郭補正の度合いには、輪郭補正を行う（ＯＮ）、輪郭補正を行わない（ＯＦＦ）、輪郭補正をどの程度の値で行うか、を数値又は文字により設定するものである。

なお、ノイズ低減量の度合いには、ノイズ低減を行う（ＯＮ）、ノイズ低減を行わない（ＯＦＦ）、ノイズ低減をどの程度の値で行うか、を数値又は文字により設定するものである。

なお、パラメータ制御部８４は、レリーズボタン１９の押下により発生する信号を参照して、撮影の各段階、すなわち、処理を行うタイミング毎に制御方法を変えることにより、より効率よくパラメータを制御できるようにしている。具体的には、レリーズボタン１９が半押しされたとき、プレ撮影直前のスルー画像で逆光用のゲインを使って顔が検出された場合に限り、そのスルー画像での顔検出処理に使用されたゲインの値をプレ画像に対する顔検出処理に使用されるゲインとして設定し、さらに、検出本体の処理における相関値のしきい値は、あらかじめ設定された逆光用しきい値に設定される。

ＥＶ値に基づきＥＶ値用しきい値を設定する場合は、レリーズボタン１９が半押しされたとき、プレ撮影直前のスルー画像でＥＶ値用のゲインを使って顔が検出された場合に限り、そのスルー画像での顔検出処理に使用されたゲインの値をプレ画像に対する顔検出処理に使用されるゲインとして設定し、さらに、検出本体の処理における検出判定しきい値は、あらかじめ設定されたＥＶ値用しきい値に設定される。

明度に基づき明度用しきい値を設定する場合は、レリーズボタン１９が半押しされたとき、プレ撮影直前のスルー画像で明度用のゲインを使って顔が検出された場合に限り、そのスルー画像での顔検出処理に使用されたゲインの値をプレ画像に対する顔検出処理に使用されるゲインとして設定し、さらに、検出本体の処理における検出判定しきい値は、あらかじめ設定された明度用しきい値に設定される。

ノイズ量に基づきノイズ用しきい値を設定する場合は、レリーズボタン１９が半押しされたとき、プレ撮影直前のスルー画像でノイズ用のゲインを使って顔が検出された場合に限り、そのスルー画像での顔検出処理に使用されたゲインの値をプレ画像に対する顔検出処理に使用されるゲインとして設定し、さらに、検出本体の処理における検出判定しきい値は、あらかじめ設定されたノイズ用しきい値に設定される。

また、レリーズボタン１９が全押しされた場合には、プレ撮影直前のスルー画像で逆光用のゲインを使って顔が検出され、さらに、本撮影時にオート露出モードおよびフラッシュ発光禁止モードである場合に限り、そのスルー画像での顔検出処理に使用されたゲインの値を本画像に対する顔検出処理に使用されるゲインとして設定し、さらに、検出本体の処理における検出判定しきい値（相関値のしきい値等）は、あらかじめ設定された逆光用しきい値に設定される。

なお、ＥＶ値用しきい値、明度用しきい値、ノイズ用しきい値を設定してもよいし、これらのしきい値を複数使用し設定されてもよい。

ＣＰＵ７５は、動作モードスイッチ１１等の操作系やＡＦ処理部６２等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。

データバス７６は、画像入力コントローラ６１、各種処理部６２〜６５、フレームメモリ６６、メディア制御部６７、内部メモリ６８、表示制御部７１、対象物検出部８０、シーン判別部８２、パラメータ制御部８４、およびＣＰＵ７５に接続されており、デジタル画像データ等のやり取りを行う。

次いで、以上の構成のデジタルカメラ１において撮影時に行われる処理について説明する。まず、ＣＰＵ７５がデジタルカメラ１の動作モードを判定し、再生モードである場合には、外部記録メディア７０に記録されている画像データを液晶モニタ１８に表示する再生処理を行い、動作モードが撮影モードである場合には、液晶モニタ１８にスルー画像を表示し、レリーズボタン１９が半押しされたか否かの監視を開始するとともに、スルー画像に対する対処物検出処理が行なわれる。

図８はパラメータ制御部８４による、スルー画像に対する対象物（顔）検出処理に使用されるパラメータ制御処理を示すフローチャートである。まず、逆光未検出救済モードがオンであるか否かを判定し（ステップＳＴ１１）、逆光未検出救済モードがオンである場合、顔が連続して検出されない回数を示すnoface_countの値に「０」を設定し、（ステップＳＴ１３）、顔検出結果を取得し（ステップＳＴ１４）、顔が検出されなかったか否かを判定する（ステップＳＴ１５）。顔が検出された場合、noface_countの値に「０」を設定し（ステップＳＴ１６）、ステップＳＴ１４に戻り、続けて顔検出処理が行なわれるが、顔が検出されなかった場合には、その検出処理時に用いられた現在のゲインが順光用ゲインであるか否かを判定し（ステップＳＴ１７）、順光用ゲインではなかった場合、後述するステップＳＴ２６に進む。順光用ゲインである場合には、顔が連続して検出されない回数を示すnoface_countの値が、予め設定された顔が検出されない状態での通常ゲイン連続使用回数しきい値を示すth_noface_count_stdの値以上であるか否かを判定する（ステップＳＴ１８）。ステップＳＴ１８が否定された場合、noface_countの値をインクリメンタルし（ステップＳＴ１９）、ステップＳＴ１４に戻る。ステップＳＴ１８が肯定された場合には、シーン判別部８２による逆光判定処理を行い（ステップＳＴ２０）、そのシーン判別部８２から出力された逆光度合いが設定しきい値以上であるか否かを判断する（ステップＳＴ２１）。ステップＳＴ２１が否定されると、ステップＳＴ１４に戻る。逆光度合いが設定しきい値以上であると判断された場合には、シーン判別部８２から出力された逆光度合いに応じた逆光用ゲインの値を算出し（ステップＳＴ２２）、算出されたゲインの値を逆光用のゲインの値として設定する（ステップＳＴ２３）。さらに、検出本体の処理における相関値のしきい値があらかじめ設定された逆光用しきい値となるように設定し（ステップＳＴ２４）。noface_countの値に「０」に設定し（ステップＳＴ１６）、ステップＳＴ１４に戻る。

一方、ステップＳＴ１７で、検出処理時に用いられた現在のゲインが順光用ゲインであるか否かが判定され、順光用ゲインではなかった場合には、顔が連続して検出されない回数を示すnoface_countの値が、予め設定された顔が検出されない状態での逆光用ゲイン連続使用回数しきい値を示すth_noface_count_backlightの値以上であるか否かを判定する（ステップＳＴ２６）。ステップＳＴ２６が否定された場合、noface_countの値をインクリメンタルし（ステップＳＴ２７）、ステップＳＴ１４に戻る。ステップＳＴ２６が肯定された場合には、ゲインの値として順光用ゲインの値を設定するえ（ステップＳＴ２８）、さらに、検出本体の処理における相関値のしきい値が順光用しきい値となるように設定し（ステップＳＴ２９）、noface_countの値に「０」に設定し（ステップＳＴ３０）、ステップＳＴ１４に戻る。

以上のパラメータ制御処理により決定されたパラメータを使用した対象物検出処理に続いて、レリーズボタン１９が半押しされたとき、プレ撮影を行ってプレ画像を取得するとともに、プレ画像に対する対象物検出処理が行なわれる。

図９はパラメータ制御部８４による、プレ画像に対する対象物検出処理に使用されるパラメータ制御処理を示すフローチャートである。まず、プレ撮影直前のスルー画像で顔が検出されなかったか否かを判定する（ステップＳＴ３１）。顔が検出された場合、そのプレ撮影直前のスルー画像での検出処理に使用されたゲインの値が順光用ゲインであったか否かを判定し（ステップＳＴ３２）、順光用ゲインではない場合、ゲインの値がそのスルー画像での顔検出処理に使用されたゲインの値になるように設定する（ステップＳＴ３３）、さらに、検出本体の処理における相関値のしきい値は、あらかじめ設定された逆光用しきい値に設定し（ステップＳＴ３４）、リターンする。

なお、ステップＳＴ３１が肯定された場合、およびステップＳＴ３２が肯定された場合はステップＳＴ３５に進み、ゲインの値が順光用のゲインとなるように設定する（ステップＳＴ３５）、さらに、検出本体の処理における相関値のしきい値は、あらかじめ設定された順光用のしきい値となるように設定し（ステップＳＴ３６）、リターンする。

以上のパラメータ制御処理により決定されたパラメータを使用した対象物検出処理に続いて、ＡＥ／ＡＷＢ処理部６３およびＡＦ処理部６２がプレ画像に基づいてＡＥ／ＡＷＢおよびＡＦ処理をそれぞれ行い、また、フラッシュ制御部７３がフラッシュ２４の発光量を決定する。続いて、ＣＰＵ７５はレリーズボタン１９の半押しが解除されたか否かを判定し、解除され場合は、液晶モニタ１８にスルー画像を表示し、レリーズボタン１９が半押しされたか否かの監視を開始するとともに、スルー画像に対する対処物検出処理に戻る。一方、レリーズボタン１９の半押しが解除されない場合には、さらにレリーズボタン１９が全押しされたか否かを判定し、全押しされてない場合には、レリーズボタン１９の半押しが解除されたか否かの判定に戻る。さらにレリーズボタン１９が全押しされた場合には、本画像の撮影（本撮影）を行い、以下のようにパラメータ制御部８４により制御されたパラメータを使用して本撮影により取得された本画像に対して対象物検出処理が行なわれる。

図１０はパラメータ制御部８４による、本画像に対する対象物検出処理に使用されるパラメータ制御処理を示すフローチャートである。まず、本撮影時の逆光対応顔検出処理モードがオンであるか否かを判定する（ステップＳＴ４１）。逆光対応顔検出処理モードがオンである場合、マニュアル露出モードであるか否かを判定する（ステップＳＴ４２）。ステップＳＴ４２が否定されると、さらにフラッシュが発光したか否かを判定する（ステップＳＴ４３）。ステップＳＴ４３が否定されると、スルー画像の最新結果で顔が検出されなかったか否かを判定する（ステップＳＴ４４）。顔が検出された場合、そのスルー画像の最新結果での検出処理に使用されたゲインの値が順光用のゲインであったか否かを判定し（ステップＳＴ４５）、順光用のゲインではない場合、ゲインの値がそのスルー画像での顔検出処理に使用されたゲインの値になるように設定する（ステップＳＴ４６）、さらに、検出本体の処理における相関値のしきい値は、あらかじめ設定された逆光用しきい値に設定し（ステップＳＴ４７）、リターンする。

なお、ステップＳＴ４１が否定された場合、ステップＳＴ４２が肯定された場合、ステップＳＴ４３が肯定された場合、ステップＳＴ４４が肯定された場合、およびステップＳＴ４５が肯定された場合はステップＳＴ４８に進み、ゲインの値がゲインの値が順光用のゲインとなるように設定し（ステップＳＴ４８）、さらに、検出本体の処理における相関値のしきい値は、あらかじめ設定された順光用のしきい値となるように設定し（ステップＳＴ４９）、リターンする。

以上のパラメータ制御処理により決定されたパラメータを使用した対象物検出処理の後、本撮影により取得された本画像に対して画像処理を行ない、処理済みの本画像を液晶モニタ１８に表示するとともに、外部記録メディア７０に記録する。そして、電源がオフとされたか否かを判定し、電源がオフとされない場合には、レリーズボタン１９が半押しされたか否かの監視を開始するとともに、スルー画像に対する対処物検出処理が行なわれ、電源がオフとされると処理を終了する。

このように、本発明の実施形態においては、画像のシーンを判別した判別結果に応じて対象物検出処理に使用されるパラメータを制御し、対象物検出処理行なうようにしたものである。このように、シーンの判別結果に基づいてその画像での検出処理に適したパラメータにパラメータを制御することにより、撮影状況が変化しても、その撮影状況下で撮影された画像からの検出処理に適したパラータに変化させることができるため、対象物の検出性能を向上させることができる。

また、対象物検出手段が対象物検出処理を行なう画像を撮影したタイミングに応じてパラメータの制御方法を変化させることにより、画像が撮影されたタイミング情報に基づいてその画像での検出処理に適したパラメータを効率的に決定することができる。

なお、上記実施形態においては、所定の対象物検出処理の一例として顔検出について説明しているが、これに限定されるものではなく、顔以外の他の被写体でもよいものである。

以上、本発明の実施形態に係るデジタルカメラについて説明したが、本発明の適用範囲はこれに限定されず、例えば、カメラ付き携帯電話、カメラ付きＰＤＡ等、電子撮像機能を備えた他の電子機器に対しても適用可能である。

本発明の撮影装置の一実施形態であるデジタルカメラの背面を中心とする斜視図 本発明の撮影装置の一実施形態であるデジタルカメラの前面を中心とする斜視図 本発明の撮影装置の一実施形態であるデジタルカメラの構成を示すブロック図（その１） 対象物検出部８０による対象物検出処理を示すブロック図 シーン判別部８２の逆光判定処理を説明するための図 シーン判別部８２の逆光判定処理を説明するための図 逆光度合いに応じたゲインの値の算出する処理を示すフローチャート パラメータ制御部８４による、スルー画像に対する対象物検出処理に使用されるパラメータ制御処理を示すフローチャート パラメータ制御部８４による、プレ画像に対する対象物検出処理に使用されるパラメータ制御処理を示すフローチャート パラメータ制御部８４による、本画像に対する対象物検出処理に使用されるパラメータ制御処理を示すフローチャート 本発明の撮影装置の一実施形態であるデジタルカメラの構成を示すブロック図（その２） 本発明の撮影装置の一実施形態であるデジタルカメラの構成を示すブロック図（その３） 本発明の撮影装置の一実施形態であるデジタルカメラの構成を示すブロック図（その３）

符号の説明

１ デジタルカメラ
８０ 対象物検出部
８２ シーン判別部
８４ パラメータ制御部

Claims (6)

1. 顔検出手段と、シーン判別手段と、パラメータ制御手段とを備え、
   レリースボタンが押下される前に取得されたスルー画像に対し、前記シーン判別手段が、当該スルー画像が逆光シーンであるか否かを判別し、前記パラメータ制御手段が、前記シーン判別手段により逆光シーンであると判別された場合には、逆光用のパラメータを当該スルー画像から顔を検出する処理に使用されるパラメータとして決定し、前記シーン判別手段により逆光シーンではないと判別された場合には、順光用のパラメータを当該スルー画像から顔を検出する処理に使用されるパラメータとして決定し、前記顔検出手段が、前記パラメータ制御手段により決定された決定後のパラメータを含む複数の異なる値のパラメータを用いて前記スルー画像から顔を検出し、それらの検出結果を統合して顔検出結果とし、
   前記レリースボタンが全押しされたときに取得された本画像に対し、前記パラメータ制御手段が、当該本画像の取得時にフラッシュが発光したか否かを判定し、該判定においてフラッシュが発光しなかったと判定された場合、前記スルー画像に対して行われた顔検出処理において顔が検出されたか否かをさらに判定し、該判定において顔が検出されたと判定された場合であって、かつ、前記スルー画像に対する顔検出処理において使用されたパラメータが逆光用のパラメータである場合には、逆光用のパラメータを当該本画像から顔を検出する処理に使用されるパラメータとして決定し、前記フラッシュが発光したか否かの判定においてフラッシュが発光したと判定された場合、および前記顔が検出されたか否かの判定において顔が検出されなかったと判定された場合には、順光用のパラメータを当該本画像から顔を検出する処理に使用されるパラメータとして決定し、前記顔検出手段が、前記パラメータ制御手段により決定された決定後のパラメータを含む複数の異なる値のパラメータを用いて前記本画像から顔を検出し、それらの検出結果を統合して顔検出結果とすることを特徴とする撮影装置。
2. 前記パラメータ制御手段が、前記顔検出手段により前記パラメータでは前記顔が検出されなかったとき、前記パラメータを変更するものであることを特徴とする請求項１記載の撮影装置。
3. 前記パラメータが、前記顔検出手段に使用されるゲイン補正におけるゲインまたは前記顔検出手段に使用される検出判定しきい値であることを特徴とする請求項１または２記載の撮影装置。
4. 前記パラメータが、前記顔検出手段に使用される輪郭補正における輪郭補正の度合い、前記顔検出手段に使用されるノイズ低減におけるノイズ低減の度合い、前記顔検出手段に使用されるガンマ補正におけるガンマカーブ値のいずれか一つ以上を含むものであることを特徴とする請求項１または２記載の撮影装置。
5. レリースボタンが押下される前に取得されたスルー画像に対し、該スルー画像が逆光シーンであるか否かを判別し、該判別において逆光シーンであると判別された場合には、逆光用のパラメータを当該スルー画像から顔を検出する処理に使用されるパラメータとして決定し、前記判別において逆光シーンではないと判別された場合には、順光用のパラメータを当該スルー画像から顔を検出する処理に使用されるパラメータとして決定し、該決定された決定後のパラメータを含む複数の異なる値のパラメータを用いて前記スルー画像から顔を検出し、それらの検出結果を統合して顔検出結果とする手順と、
   前記レリースボタンが全押しされたときに取得された本画像に対し、該本画像の取得時にフラッシュが発光したか否かを判定し、該判定においてフラッシュが発光しなかったと判定された場合、前記スルー画像に対して行われた顔検出処理において顔が検出されたか否かをさらに判定し、該判定において顔が検出されたと判定された場合であって、かつ、前記スルー画像に対する顔検出処理において使用されたパラメータが逆光用のパラメータである場合には、逆光用のパラメータを当該本画像から顔を検出する処理に使用されるパラメータとして決定し、前記フラッシュが発光したか否かの判定においてフラッシュが発光したと判定された場合、および前記顔が検出されたか否かの判定において顔が検出されなかったと判定された場合には、順光用のパラメータを当該本画像から顔を検出する処理に使用されるパラメータとして決定し、該決定された決定後のパラメータを含む複数の異なる値のパラメータを用いて前記本画像から顔を検出し、それらの検出結果を統合して顔検出結果とする手順とを備えたことを特徴とする撮影方法。
6. コンピュータを、
   顔検出手段と、シーン判別手段と、パラメータ制御手段として機能させるためのプログラムであって、
   レリースボタンが押下される前に取得されたスルー画像に対し、前記シーン判別手段が、当該スルー画像が逆光シーンであるか否かを判別し、前記パラメータ制御手段が、前記シーン判別手段により逆光シーンであると判別された場合には、逆光用のパラメータを当該スルー画像から顔を検出する処理に使用されるパラメータとして決定し、前記シーン判別手段により逆光シーンではないと判別された場合には、順光用のパラメータを当該スルー画像から顔を検出する処理に使用されるパラメータとして決定し、前記顔検出手段が、前記パラメータ制御手段により決定された決定後のパラメータを含む複数の異なる値のパラメータを用いて前記スルー画像から顔を検出し、それらの検出結果を統合して顔検出結果とし、
   前記レリースボタンが全押しされたときに取得された本画像に対し、前記パラメータ制御手段が、当該本画像の取得時にフラッシュが発光したか否かを判定し、該判定においてフラッシュが発光しなかったと判定された場合、前記スルー画像に対して行われた顔検出処理において顔が検出されたか否かをさらに判定し、該判定において顔が検出されたと判定された場合であって、かつ、前記スルー画像に対する顔検出処理において使用されたパラメータが逆光用のパラメータである場合には、逆光用のパラメータを当該本画像から顔を検出する処理に使用されるパラメータとして決定し、前記フラッシュが発光したか否かの判定においてフラッシュが発光したと判定された場合、および前記顔が検出されたか否かの判定において顔が検出されなかったと判定された場合には、順光用のパラメータを当該本画像から顔を検出する処理に使用されるパラメータとして決定し、前記顔検出手段が、前記パラメータ制御手段により決定された決定後のパラメータを含む複数の異なる値のパラメータを用いて前記本画像から顔を検出し、それらの検出結果を統合して顔検出結果とすることを特徴とするプログラム。

Images