JP2008263478A - 撮像装置 - Google Patents

Abstract

【課題】連写機能を有する撮像装置において、連写時に取得した全ての画像において、画像毎に対象物に照準の合った最適なパラメータを使用することにより、対象物に対して最適な画質にする。
【解決手段】連写機能を有する撮像装置において、連写中に取得した画像データから所定の対象物が検出できないとき、直前に記憶された１つ以上の対象物の領域情報から、前記取得した画像データにおける対象物の領域情報を推定し、推定された対象物の領域情報に基づいて、前記取得した画像データに対して施す画像処理のパラメータ及び／又は直後の撮像における撮像制御のパラメータを算出する。
【選択図】図５

Description

本発明は撮像装置に関し、特に連写機能を有する撮像装置に関するものである。

従来よりデジタルカメラやデジタルビデオカメラ等の撮像装置において、画像データから顔等の対象物を検出し、その対象物の検出結果に基づいて自動露出制御や自動合焦制御等を行って被写体を撮像する撮像方法が知られている。またユーザの所望する撮影画像を取得するために、被写体に対して複数の撮影いわゆる連写を行う連写機能を有する撮像装置も知られている。そこで近年、このような連写機能を有する撮像装置において、顔検出を利用することにより連写により取得される画像の画質を向上させた撮像装置が提案されている。

しかしながら、上記のような撮像装置では、連写により得られた複数の画像において、必ずしも全ての画像から顔が検出できるものではなく、顔が未検出となったときには、被写体中に顔が存在しているにも関わらず、被写体の明るさ（輝度）やピント（合焦位置）、ホワイトバランス等が、顔が存在しないとして設定されてしまう問題があった。

そこで連写中に顔が検出されなかった場合、所定時間内に得られた顔検出結果に基づいて自動露出制御や自動合焦制御等を行う撮像装置が提案されている（特許文献１）。
特開２００６−１５７６１７号公報

しかしながら、特許文献１に記載された上記撮像装置は、所定時間内に得られた顔検出結果つまり顔が未検出であった画像とは異なる時刻に撮像された画像の顔検出結果を使用するため、顔情報の精度が低減してしまう虞がある。また精度を向上させるために未検出であった画像の前後の画像データにおける顔情報を補間処理し算出した顔情報を使用する方法は、連写において少なくとも前後の撮像により得られた画像を記憶してから顔情報を算出するので、算出された顔情報は、撮像後に算出可能な画像処理パラメータの算出に使用することは可能であるが、撮像時には既に決定している必要がある撮像制御パラメータの算出に使用することは困難である。

本発明はかかる事情に鑑みてなされたものであり、連写時に取得した画像データにおいて顔等の対象物が検出できないときでも、連写時に取得した全ての画像において、画像毎に対象物に照準の合った最適なパラメータを使用することにより、対象物に対して最適な画質にすることができる撮像装置を提供することを目的とするものである。

本発明の撮像装置は、被写体を撮像して画像データを取得する、連写機能を有する撮像手段と、
画像データから所定の対象物を検出する対象物検出手段と、
対象物検出手段により検出された対象物の画像データにおける領域情報を記憶する記憶手段と、
対象物検出手段が連写中に取得した画像データから対象物を検出できないとき、記憶手段に直前に記憶された１つ以上の対象物の領域情報から、前記取得した画像データにおける対象物の領域情報を推定する対象物領域推定手段と、
推定された対象物の領域情報に基づいて、前記取得した画像データに対して施す画像処理のパラメータ及び／又は直後の撮像における撮像制御のパラメータを算出するパラメータ算出手段とを備えていることを特徴とするものである。

本発明の撮像装置は、前記領域情報が、位置情報及び／又は大きさ情報であることが好ましい。

また本発明の撮像装置は、前記領域情報が位置情報を含むときに、
対象物領域推定手段が、記憶手段に直前に記憶された１つ以上の対象物の位置情報から該対象物の移動軌跡を直線又は曲線で近似し、該近似された移動軌跡に基づいて前記取得した画像データにおける対象物の位置情報を推定することができる。

また本発明の撮像装置は、前記領域情報が大きさ情報を含むときに、
対象物領域推定手段が、記憶手段に直前に記憶された１つ以上の対象物の大きさ情報から該対象物の大きさ変動を直線又は曲線で近似し、該近似された大きさ変動に基づいて前記取得した画像データにおける対象物の大きさ情報を推定することができる。

なお本発明の撮像装置は、画像処理パラメータが、ホワイトバランス調整処理、ノイズ低減処理、輪郭強調処理のいずれか１つ以上のパラメータであることが好ましい。

また本発明の撮像装置は、撮像制御パラメータが、自動露出及び／又は自動焦点の設定値であることが好ましい。

本発明の撮像装置によれば、連写中に取得した画像データから対象物を検出できないとき、記憶手段に直前に記憶された１つ以上の対象物の領域情報から、前記取得した画像データにおける対象物の領域情報を推定し、推定された対象物の領域情報に基づいて、前記取得した画像データに対して施す画像処理のパラメータ及び／又は直後の撮像における撮像制御のパラメータを算出するので、前記取得した画像データにおける対象物の領域情報を、次の撮像により取得される画像データを使用せずに、直前つまり過去に記憶された対象物の領域情報から推定することができるため、推定された対象物の領域情報は、撮像後に算出可能な画像処理パラメータの算出に使用することができると共に撮像時には既に決定している必要がある撮像制御パラメータの算出にも使用することができる。

これにより連写時に取得した画像データにおいて対象物が検出できないときでも、連写時に取得した全ての画像において、画像毎に対象物に照準の合った最適なパラメータを使用することができるので、対象物に対して最適な画質の画像を取得することができる。

以下、本発明にかかる撮像装置の一実施形態を、図面を参照して詳細に説明する。尚、以下の実施の形態では、本発明における撮像装置としてデジタルカメラを例に説明するが、本発明の適用範囲はこれに限定されず、例えば、カメラ付き携帯電話、カメラ付きＰＤＡ等、電子撮像機能を備えた他の電子機器に対しても適用可能である。

図１及び図２は、デジタルカメラの一例を示すものであり、それぞれ背面側及び前面側から見た斜視図である。デジタルカメラ１の本体１０の背面には、図１に示す如く、撮影者による操作のためのインターフェースとして、動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下矢印レバー１３、左右矢印ボタン１４、Ｂａｃｋ（戻る）ボタン１５、表示切替ボタン１６が設けられ、更に撮影のためのファインダ１７及び撮影並びに再生のための液晶モニタ１８が設けられている。また本体１０の上面には、シャッタボタン１９が設けられている。

動作モードスイッチ１１は、静止画撮影モード、動画撮影モード、再生モードの各動作モードを切り替えるためのスライドスイッチである。

メニュー／ＯＫボタン１２は、押下される毎に撮影モード、フラッシュ発光モード、顔検出連写モード、セルフタイマーＯＮ／ＯＦＦ、記録画素数や感度等の設定を行うための各種メニューを液晶モニタ１８に表示させたり、液晶モニタ１８に表示されたメニューに基づく選択・設定を確定させたりするためのボタンである。顔検出連写モードは、顔検出機能を使用して被写体を連写するモードである。なおメニュー／ＯＫボタン１２により、撮影モードを露出やホワイトバランスを全て自動で設定するためのオートモード、及びマニュアルで設定するためのマニュアルモードに設定可能である。

ズーム／上下矢印レバー１３は、上下方向にレバーを倒すことによって、撮影時には望遠／広角の調整を行い、各種設定時に液晶モニタ１８に表示されるメニュー画面中のカーソルを上下に移動して表示させるためのレバーである。左右矢印ボタン１４は、各種設定時に液晶モニタ１８に表示されるメニュー画面中のカーソルを左右に移動して表示させるためのボタンである。

Ｂａｃｋ（戻る）ボタン１５は、押下されることによって各種設定操作を中止し、液晶モニタ１８に１つ前の画面を表示するためのボタンである。表示切替ボタン１６は、押下されることによって液晶モニタ１８の表示のＯＮ／ＯＦＦ、各種ガイド表示、文字表示のＯＮ／ＯＦＦ等を切り替えるためのボタンである。

ファインダ１７は、撮影者が被写体を撮影する際に構図やピントを合わせるために覗くためのものである。ファインダ１７から見える被写体像は、本体１０の前面にあるファインダ窓２３を介して映し出される。

以上説明した各ボタン及びスイッチ等の操作によって設定された内容は、液晶モニタ１８中の表示や、ファインダ１７内のランプ、スライドレバーの位置等によって確認可能となっている。

また液晶モニタ１８は、撮影の際に被写体確認用のスルー画像が表示されることにより、電子ビューファインダとして機能する他、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。

更に、本体１０の前面には、図２に示す如く、撮影レンズ２０、レンズカバー２１、電源スイッチ２２、ファインダ窓２３、フラッシュライト２４及びセルフタイマーランプ２５が設けられ、側面にはメディアスロット２６が設けられている。

撮影レンズ２０は、被写体像を所定の結像面上（本体１０内部にあるＣＣＤ等）に結像させるためのものであり、フォーカスレンズやズームレンズ等によって構成される。レンズカバー２１は、デジタルカメラ１の電源がオフ状態のとき、再生モードであるとき等に撮影レンズ２０の表面を覆い、汚れやゴミ等から撮影レンズ２０を保護するものである。

電源スイッチ２２は、デジタルカメラ１の電源のＯＮ／ＯＦＦを切り替えるためのスイッチである。フラッシュライト２４は、シャッタボタン１９が押下され、本体１０の内部にあるシャッタが開いている間に、撮影に必要な光を被写体に対して瞬間的に照射するためのものである。

セルフタイマーランプ２５は、セルフタイマーによって撮影する際に、シャッタの開閉タイミングすなわち露光の開始及び終了を被写体に知らせるためものである。メディアスロット２６は、メモリカード等の外部記録メディア７０が充填されるための充填口であり、外部記録メディア７０が充填されると、データの読み取り／書き込みが行われる。

図３にデジタルカメラ１の機能構成を示すブロック図を示す。図３に示す如く、デジタルカメラ１の操作系として、前述の動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下矢印レバー１３、左右矢印ボタン１４、Ｂａｃｋ（戻り）ボタン１５、表示切替ボタン１６、シャッタボタン１９、電源スイッチ２２と、これらのスイッチ、ボタン、レバー類の操作内容をＣＰＵ７５に伝えるためのインターフェースである操作系制御部７４が設けられている。

また、撮影レンズ２０を構成するものとして、フォーカスレンズ２０ａ及びズームレンズ２０ｂが設けられている。これらの各レンズは、モータとモータドライバからなるフォーカスレンズ駆動部５１、ズームレンズ駆動部５２によってステップ駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部５１は、ＡＦ処理部６２から出力されるフォーカス駆動量データに基づいてフォーカスレンズ２０ａをステップ駆動する。ズームレンズ駆動部５２は、ズーム／上下矢印レバー１３の操作量データに基づいてズームレンズ２０ｂのステップ駆動を制御する。

絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。この絞り駆動部５５は、ＡＥ（自動露出）処理部６３から出力される絞り値データに基づいて絞り５４の絞り径の調整を行う。

シャッタ５６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部５７によって駆動される。シャッタ駆動部５７は、シャッタボタン１９の押下により発生する信号と、ＡＥ処理部６３から出力されるシャッタ速度データとに応じてシャッタ５６の開閉の制御を行う。

上記光学系の後方には、撮影素子であるＣＣＤ５８を有している。ＣＣＤ５８は、多数の受光素子がマトリクス状に配置されてなる光電面を有しており、光学系を通過した被写体光が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ（不図示）と、ＲＧＢ各色のフィルタが規則的に配列されてなるカラーフィルタアレイ（不図示）とが配置されている。

ＣＣＤ５８は、ＣＣＤ制御部５９から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を１ラインずつ読み出してシリアルなアナログ画像信号として出力する。各画素における電荷の蓄積時間、即ち露出時間は、ＣＣＤ制御部５９から与えられる電子シャッタ駆動信号によって決定される。そして上記光学系及びＣＣＤ５８、ＣＣＤ制御部５９を含めて撮像部（撮像手段）１００が構成される。

ＣＣＤ５８が出力するアナログ画像信号は、アナログ信号処理部６０に入力される。このアナログ信号処理部６０は、アナログ画像信号のノイズ除去を行う相関２重サンプリング回路（ＣＤＳ）と、アナログ画像信号のゲイン調整を行うオートゲインコントローラ（ＡＧＣ）と、アナログ画像信号をデジタル画像データに変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。そしてこのデジタル信号に変換されたデジタル画像データは、画素毎にＲＧＢの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ７２は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部５７、ＣＣＤ制御部５９、アナログ信号処理部６０に入力されて、シャッタボタン１９の操作と、シャッタ５６の開閉、ＣＣＤ５８の電荷取り込み、アナログ信号処理６０の処理の同期が取られる。フラッシュ制御部７３は、フラッシュ２４の発光動作を制御する。

画像入力コントローラ６１は、上記アナログ信号処理部６０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ６６に書き込む。このフレームメモリ６６は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が使用される。

表示制御部７１は、フレームメモリ６６に格納された画像データをスルー画像として液晶モニタ１８に表示させるためのものであり、例えば、輝度（Ｙ）信号と色（Ｃ）信号を一緒にして１つの信号としたコンポジット信号に変換して、液晶モニタ１８に出力する。スルー画像は、撮影モードが選択されている間、所定時間間隔で取得されて液晶モニタ１８に表示される。また、表示制御部７１は、外部記録メディア７０に記憶され、メディア制御部６７によって読み出された画像ファイルに含まれる画像データに基づいた画像を液晶モニタ１８に表示させる。

顔検出部（対象物検出手段）６９は、画像データから人物の顔を検出するためのものであり、顔検出連写モードが選択されているときにＯＮに設定される。顔検出部６９は、具体的には、顔に含まれる顔の特徴、すなわち顔らしさを有する領域（例えば肌色を有する、目を有する、顔の形状を有する等）を顔領域として算出するものであり、画像データの各領域毎に取得される顔らしさを表す顔評価値が所定の閾値よりも大きい値であるときに、顔があると判断する。なお「顔評価値」とは顔らしさを表す数値であり、例えば口らしさ、目らしさ、鼻らしさ等を総合的に評価して定量化したものである。

また顔検出部６９は、例えば図示しない顔検出ボタンによって顔検出のＯＮ／ＯＦＦを設定するようにしてもよいし、メニュー／ＯＫボタン１２等によって顔検出のＯＮ／ＯＦＦを選択するようにしてもよいし、適宜変更可能である。

本実施形態では、人物の顔を検出するものとして以下説明するが、動物の顔や自動車等、特徴点すなわちその対象物らしさを有するものであれば別の対象物を検出するようにしてもよい。そして顔検出がＯＮに設定された場合には常時スルー画像から顔の検出処理が行われる。

顔領域推定部（対象物領域推定手段）８３は、連写中に顔検出部６９が撮像部１００により取得された画像データから顔を検出できないときに、顔の領域情報を推定する。なおこの顔領域推定部８３については、後で詳細に説明する。

パラメータ算出部（パラメータ算出手段）８０は、画像データにおける顔領域情報に基づいて算出されるものであり、画像データに対して施す画像処理のパラメータ及び／又は撮像における撮像制御のパラメータすなわち撮像部１００の設定値を算出する。

画像処理パラメータとしては、画像データのホワイトバランスの調整処理、ノイズ低減処理、輪郭強調処理（シャープネス処理）等のパラメータがあり、パラメータ算出部８０はこれらパラメータのうちいずれか１つ以上のパラメータを算出する。なおホワイトバランスの調整処理のパラメータは、後述のＡＷＢ処理部６４を介して算出される。

撮像制御パラメータとしては、後述する自動焦点処理（ＡＦ処理）や自動露出処理（ＡＥ処理）等の設定値があり、パラメータ算出部８０はこれら設定値の少なくとも一方を算出する。なお自動焦点の設定値（合焦設定値）は後述のＡＦ処理部６２を介して、自動露出の設定値（露出設定値）は後述のＡＥ処理部６３を介してそれぞれ算出される。

なお本実施形態におけるパラメータ算出部８０は上記画像処理パラメータと撮像制御パラメータの両方を算出するものとするが、本発明はこれに限られるものではなく、どちらか一方のみを算出することも可能である。

ＡＦ処理部６２は、画像データに基づいて焦点位置を検出して合焦設定値（フォーカス駆動量）を決定し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が適用される。

ＡＥ処理部６３は、画像データに基づいて被写体輝度（測光値）を測定し、測定した被写体輝度に基づいて絞り値及びシャッタスピード等の露出設定値を決定し、絞り値データ及びシャッタスピードデータを出力する（ＡＥ処理）。

ＡＷＢ処理部６４は、撮像時のホワイトバランスを自動調整する（ＡＷＢ処理）。なお、ＡＷＢ処理部６４は、撮像前でも、本撮像後でもホワイトバランスの調整を行うことができる。

なお、露出及びホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ１の撮影者がマニュアル操作により設定可能である。また、露出及びホワイトバランスが自動で設定された場合にも、撮影者が操作系から指示を行うことにより、露出及びホワイトバランスをマニュアル調整することが可能である。

画像処理部（画像処理手段）６８は、本画像の画像データに対してガンマ補正処理、輪郭強調（シャープネス）処理、コントラスト処理、ノイズ低減処理等の画質補正処理を施すと共に、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。このときノイズ低減処理及び輪郭強調処理は上述のパラメータ算出部により算出されたパラメータに基づいて行うものとする。

なお本画像とは、撮影者によって撮像指示がなされた時、例えばシャッタボタン１９が全押し操作された時にＣＣＤ５８から取り込まれ、アナログ信号処理部６０、画像入力コントローラ６１経由でフレームメモリ６６に格納された画像データによる画像である。本画像の画素数の上限はＣＣＤ５８の画素数によって決定されるが、例えば、撮影者が設定可能な画質設定（ファイン、ノーマル等の設定）により、記録画素数を変更することができる。一方、スルー画像等の画素数は本画像より少なくてもよく、例えば、本画像の１／１６程度の画素数で取り込まれてもよい。

圧縮／伸長処理部６５は、画像処理部６８によって画質補正等の処理が行われた本画像の画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆ形式等に基づいて、撮影日時や、連写時に何番目に撮像された画像であるか等の付帯情報が格納されたタグが付加される。またこの圧縮／伸長処理部６５は、再生モードにおいては外部記録メディア７０から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示制御部７１に出力され、表示制御部７１は画像データに基づいた画像を液晶モニタ１８に表示する。

メディア制御部６７は、図２におけるメディアスロット２６に相当し、外部記録メディア７０に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。

内部メモリ（記憶手段）８５は、デジタルカメラ１において設定される各種定数、及び、ＣＰＵ７５が実行するプログラム等を格納すると共に顔検出部６９により検出された顔の画像データにおける領域情報を記憶する。この領域情報は、位置情報及び／又は大きさ情報である。なおこの内部メモリ８５には、上述の顔らしさの評価値、顔の明るさ、顔の色味（色相）、顔の中央度、正面顔や横顔等の顔の向き等も記憶される。

撮像制御部（撮像制御手段）８１は、パラメータ算出部８０により決定された撮像制御御パラメータに基づいて撮像が行われるように、撮像部１００を設定するものであり、合焦設定値に基づいてフォーカスレンズ駆動部５１を制御すると共に、露出設定値に基づいて、絞り駆動部５５及びシャッタ駆動部５７を制御する。なおこの撮像制御部８１はＣＰＵ７５の機能の一部としてもよい。

ＣＰＵ７５は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ１の本体各部を制御する。またデータバス７６は、画像入力コントローラ６１、各種処理部６２〜６５、６８、フレームメモリ６６、各種制御部６７、７１、８１、顔検出部６９、パラメータ算出部８０、撮像制御部８１、内部メモリ８２、顔領域推定部８３及びＣＰＵ７５に接続されており、このデータバス７６を介して各種信号、データの送受信が行われる。

次に、以上の構成のデジタルカメラ１において連写時に行われる処理について説明する。図４は顔検出連写モードが選択されたときのデジタルカメラ１の連写処理のフローチャートである。なおこの連写処理の前後は、顔検出がＯＮに設定された撮影モードであり、この状態からさらに連写モードが選択されることにより、顔検出連写モードとなる。したがって連写処理の前後では、液晶モニタ１８にスルー画像が表示され、このスルー画像において所定間隔にて顔検出が繰り返し行われて、この顔検出結果は内部メモリ８２に記憶される。なおこの顔検出結果は、例えばユーザが予め設定した個数を記憶したときには、次回の顔検出結果は、古い顔検出結果に上書きして記憶するように設定してもよい。

連写処理は、まず図４に示す如く、ユーザが撮影枚数Ｎを設定する（ステップＳ１）。なお撮影枚数Ｎの設定は、例えば液晶モニタ１８に撮影枚数を複数表示し、ユーザがメニュー／ＯＫボタン１２等を操作することにより選択／確定するようにしてもよい。

次に撮像部１００が被写体の撮像を行い（ステップＳ２）、顔検出部６９がこの撮像により取得された画像データから顔の検出を行う（ステップＳ３）。そして顔が検出されていない場合は（ステップＳ４；ＮＯ）、顔領域推定部８３が、この取得された画像データにおける顔の領域情報を推定する（ステップＳ１１）。

ここで顔領域推定部８３による顔の領域の推定処理を詳細に説明する。本実施形態では、顔の領域情報は顔の位置情報及び大きさ情報とするため、先ず顔の位置の推定処理について説明する。図５に顔位置の推移を示すグラフ、図６に顔の大きさの推移を示すグラフ、図７（ａ）に顔位置の推定処理を説明する図、図７（ｂ）に顔の大きさの推定処理を説明する図をそれぞれ示す。

先ず顔の位置の移動を算出するために、図７（ａ）に示す如く、顔領域から特徴点を一点、算出点として選択する。本実施形態では算出点を右目とするが、本発明はこれに限られるものではなく、例えば鼻であっても左右の目の中間点であっても顔領域の重点等であってもよく、適宜変更可能である。

そして顔検出結果として、図７（ａ）に示す如く、例えば画像データＰの左下を原点に設定して顔の位置情報を記録しておき、この顔領域をＸ軸（横軸）とＹ軸（縦軸）からなる座標上に配置して、算出点としての目のＸ軸方向及びＹ軸方向の座標点を検出する。例えば内部メモリ８２に記憶された顔の領域情報が、過去から順に顔Ｆ１、顔Ｆ２、顔Ｆ３の３つある場合には、それぞれ座標点（Ｘ，Ｙ）は顔Ｆ１（Ｘ１，Ｙ１）、顔Ｆ２（Ｘ２，Ｙ２）、顔Ｆ３（Ｘ３，Ｙ３）となる。

そして顔の位置の推定処理は、ステップＳ２における撮像の直前に記憶された１つ以上（本実施形態では５つ）の顔の位置情報から、上述のように顔Ｆすなわち目の座標点をそれぞれ検出し、Ｘ軸方向については図５（ａ）に示す如く、横軸を時間とする座標上に配置し（黒丸）、時間経過に伴う顔の動きを直線近似して、この近似直線上の点（白丸）を、ステップＳ２にて取得した画像データにおいて推定したＸ軸方向の顔位置とする。

同様にしてＹ軸方向についても図５（ｂ）に示す如く、時間経過に伴う顔の動きを直線近似して、この近似直線上の点（白丸）を、前記取得した画像データにおいてしたＹ軸方向の顔位置とする。このようにして連写時に顔が検出できなかった画像データにおける顔位置を推定する。

次に顔の大きさの推定処理について説明する。顔の大きさの推定処理は上記顔位置の推定処理と同様に、図７（ｂ）に示す如く、画像データＰの左下を原点に設定して顔の領域すなわち大きさ情報を記録しておき、この顔領域を顔の横サイズ方向Ｃ（横軸）と顔の縦サイズ方向Ｌ（縦軸）からなる座標上に配置して、顔領域の上端点と下端点との差分値すなわち顔の縦サイズΔＬ及び顔領域の左端点と右端点との差分値すなわち顔の横サイズΔＣを検出する。

そして上記顔の位置の推定処理と同様に、ステップＳ２における撮像の直前に記憶された１つ以上（本実施形態では５つ）の顔の大きさ情報から、上述のように顔Ｆの縦サイズΔＬ及び横サイズΔＣそれぞれ検出し、縦サイズΔＬについては図６（ａ）に示す如く、横軸を時間とする座標上に配置し（黒丸）、時間経過に伴う顔の大きさの縦サイズΔＬの変化を直線近似して、この近似直線上の点（白丸）を、ステップＳ２にて取得した画像データにおいて推定した顔の縦サイズΔＬとする。同様にしてＹ軸方向についても図６（ｂ）に示す如く、時間経過に伴う顔の動きを直線近似して、この近似直線上の点（白丸）を前記取得した画像データにおいて推定した顔の横サイズΔＣとする。このようにして連写時に顔が検出できなかった画像データにおける顔の大きさを推定する。

なお例えば連写中、一番目に撮像された画像データから顔が検出されなかったときには、この一番目の撮像の直前に、上述したようにスルー画像から検出され記憶された５つの顔の領域情報を使用して上記と同様に顔位置及び顔の大きさを推定する。また連写中、例えば三番目に撮像された画像データから顔が検出されなかったときには、一番目と二番目に撮像された画像データから検出され記憶された顔の領域情報と、一枚目の直前にスルー画像から検出され記憶された３つの顔の領域情報を使用して顔位置及び顔の大きさを推定する。また６枚の連写を行うときに、六番目に撮像された画像データから顔が検出されなかったときには、一番目〜五番目に撮像された画像データからそれぞれ検出され記憶された顔の領域情報を使用する。

このようにして顔が検出できないときには顔領域を推定して（ステップＳ１１）、取得した画像データにおいて推定した顔の領域情報を内部メモリ８２に記憶する。このように顔領域を推定することにより、顔が検出されなかった画像データにおいても、顔が存在していることにすることができる。その後、ＣＰＵ７５は処理をステップＳ５へ移行する。なおステップＳ５以降の処理は後で詳細に説明する。

一方、ステップＳ４にて顔が検出された場合は（ステップＳ４；ＹＥＳ）、検出された顔の画像データにおける領域情報を内部メモリ８２に記憶する。なおこのとき画像データから複数の顔が検出された場合には、顔らしさの評価値、顔の明るさ、顔の色味（色相）、顔の中央度、正面顔や横顔等の顔の向き等を選択基準とし、例えばこの中の一つを基準として代表顔を決定してもよいし、上記選択基準からいくつかを選び、選んだ選択基準に重みを算出して重み基準として代表顔を決定してもよい。また前記選択基準のうち、この顔が検出された画像データの撮像の直前に内部メモリ８２に記憶された前記選択基準との差分が最も小さいものを優先的に代表顔としてもよい。内部メモリ８２には上記のように決定された代表顔の領域情報を記憶する。

そして上述のように顔検出又は推定により顔の領域情報が求められて、内部メモリ８２に記憶されると、次にパラメータ算出部８０が、内部メモリ８２に記憶された、顔の領域情報又は推定された顔の領域情報に基づいて上述した画像処理のパラメータ及び撮像制御パラメータを算出する（ステップＳ５）。そして撮像制御部８１は、ステップＳ５にて算出された撮像制御パラメータすなわち合焦設定値（フォーカス駆動量）及び露出設定値（絞り値及びシャッタスピード）に従って、次回の撮像用に撮像部１００の設定を更新する（ステップＳ６）。

次に画像処理部６８が、ステップＳ５にて算出された画像処理パラメータすなわちホワイトバランスの調整処理、ノイズ低減処理、輪郭強調処理（シャープネス処理）のパラメータに従ってステップＳ２にて取得された画像データに対して画像処理を行う（ステップＳ７）。なおこのとき画像処理が施された本画像データに対してさらに圧縮／伸長処理部６７によって圧縮処理が施されて画像ファイルが生成されてもよい。

そしてＣＰＵ７５は、画像処理が施された本画像データを、メディア制御部６７を介して外部記録メディア７０に記憶する（ステップＳ８）。

次にＣＰＵ７５は、撮像回数すなわちステップＳ２〜ステップＳ８の処理が何回繰り返されたかをカウントし（ステップＳ９）、カウント数がステップＳ１にてユーザにより設定された数Ｎであるか否かを判別する（ステップＳ１０）。カウント数がＮでない場合には（ステップＳ１０；ＮＯ）、ＣＰＵ７５は処理をステップＳ２へ移行して、設定されたカウント数Ｎになるまで以降の処理を繰り返す。

一方、カウント数がＮである場合には（ステップＳ１０；ＹＥＳ）、ＣＰＵ７５はメディア制御部６７を介してステップＳ８にて外部記録メディア７０に記録された画像ファイルを読み出し、表示制御部７１を介して液晶モニタ１８に一覧表示する（ステップＳ１２）。このようにしてデジタルカメラ１は、被写体の連写を行う。

以上のようなデジタルカメラ１によれば、連写中に取得した画像データから顔が検出できないときに、前記取得した画像データにおける顔の領域情報を、次の撮像により取得される画像データを使用せずに、直前つまり過去に記憶された顔の領域情報から推定することができるため、推定された顔の領域情報は、撮像後に算出可能な画像処理パラメータの算出に使用することができると共に撮像時には既に決定している必要がある撮像制御パラメータの算出にも使用することができる。これにより連写時に取得した画像データにおいて顔が検出できないときでも、連写時に取得した全ての画像において、画像毎に顔に照準の合った最適なパラメータを使用することにより、顔に対して最適な画質の画像を取得することができる。

なお本発明の撮像装置は、上述した実施形態のデジタルカメラ１に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜設計変更可能である。

デジタルカメラの背面図 デジタルカメラの前面図 本発明にかかる一実施形態のデジタルカメラの機能ブロック図 図３のデジタルカメラの連写処理のフローチャートを示す図 顔位置の推移を示すグラフ 顔の大きさの推移を示すグラフ 推定処理を説明する図

符号の説明

１ デジタルカメラ（撮像装置）
１００撮像部（撮像手段）
１８ 液晶モニタ
１９ シャッタボタン
６２ ＡＦ（自動焦点）処理部
６３ ＡＥ（自動露出）処理部
６４ ＡＷＢ処理部
６８ 画像処理部（画像処理手段）
６９ 顔検出部（対象物検出手段）
７０ 外部記録メディア
７５ ＣＰＵ
８０ パラメータ算出部（パラメータ算出手段）
８１ 撮像制御部
８２ 内部メモリ（記録手段）
８３ 顔領域推定部（対象物領域推定手段）

Claims (6)

1. 被写体を撮像して画像データを取得する、連写機能を有する撮像手段と、
   前記画像データから所定の対象物を検出する対象物検出手段と、
   該対象物検出手段により検出された対象物の前記画像データにおける領域情報を記憶する記憶手段と、
   前記対象物検出手段が連写中に取得した前記画像データから前記対象物を検出できないとき、前記記憶手段に直前に記憶された１つ以上の前記対象物の領域情報から、前記取得した画像データにおける対象物の領域情報を推定する対象物領域推定手段と、
   前記推定された対象物の領域情報に基づいて、前記取得した画像データに対して施す画像処理のパラメータ及び／又は直後の撮像における撮像制御のパラメータを算出するパラメータ算出手段とを備えていることを特徴とする撮像装置。
2. 前記領域情報が、位置情報及び／又は大きさ情報であることを特徴とする請求項１に記載の撮像装置。
3. 前記領域情報が前記位置情報を含むときに、
   前記対象物領域推定手段が、前記記憶手段に直前に記憶された１つ以上の前記対象物の位置情報から該対象物の移動軌跡を直線又は曲線で近似し、該近似された移動軌跡に基づいて前記取得した画像データにおける前記対象物の位置情報を推定するものであることを特徴とする請求項２に記載の撮像装置。
4. 前記領域情報が前記大きさ情報を含むときに、
   前記対象物領域推定手段が、前記記憶手段に直前に記憶された１つ以上の前記対象物の大きさ情報から該対象物の大きさ変動を直線又は曲線で近似し、該近似された大きさ変動に基づいて前記取得した画像データにおける前記対象物の大きさ情報を推定するものであることを特徴とする請求項２又は３に記載の撮像装置。
5. 前記画像処理パラメータが、ホワイトバランス調整処理、ノイズ低減処理、輪郭強調処理のいずれか１つ以上のパラメータであることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記撮像制御パラメータが、自動露出及び／又は自動焦点の設定値であることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置

Images