JP2008178031A - 撮像装置 - Google Patents

Abstract

【課題】人物撮影時の主要被写体である人物の顔を抽出し、顔の拡大画像を画像表示部に表示することで主要被写体のブレを撮影者が確認できるようにする。
【解決手段】被写体を撮影する撮影光学系と、撮影した画像を記録するためのメモリと、画像を表示可能な表示パネルと、撮影時の手ブレを検出する角速度センサと、撮影した画像の中から顔画像を抽出する顔検出回路とを備える。検出したブレ量が閾値を超えている場合は、撮影した画像がブレ画像であることを警告するメッセージを前記ＬＣＤパネルに表示した後、前記顔検出回路によって検出した顔画像の拡大画像を前記表示パネルに表示する。拡大画像によって顔画像のブレの程度を確認した撮影者が保存を選択した場合は撮影画像をメモリカードに保存し、消去を選択した場合は一時保存した画像データを消去すると伴に、前記表示パネルに消去したことを告知するメッセージを表示する。
【選択図】図４

Description

本発明は，撮影した画像を表示する表示パネルを備えた撮像装置に関し、特に撮影画像がブレ画像である場合に撮影者がブレの程度を目視確認することができる撮像装置に関するものである。

撮像装置は一般に暗い被写体を撮影するときには、シャッタ速度を遅くするなど画像の取り込み時間を長くしているので、手振れが起こり易い状態となっている。このとき、撮影者がカメラを手に持って撮影する所謂手持ち撮影をすると、撮影画像に手振れが発生することが多い。また被写体中の人物の動きによってはその人物画像がブレてしまう。手振れあるいは被写体振れによる撮影画像のブレが許容量を超えた場合、鑑賞に堪えない画像として嫌われるので、極力そのような状態にならないようにカメラ側で種々の工夫を凝らしている。

近年、手振れ補正機能付きカメラが販売されているが、これもその対策の１つである。しかし手振れ補正機能による補正は、補正範囲を超えるブレには対応できず、また被写体自身が動くことによる画像ブレも補正できないといった問題があり、手振れ補正が十分なされない画像も撮影画像として保存されていた。このため、撮影者は手振れ補正機能を働かせたことで満足して撮影を終了するので、撮影のやり直しタイミングを逃してしまう結果となっている。

これに対して、静止画を撮像した際の手振れの有無を確認しつつ撮像を行うことのできる撮像装置が下記特許文献１により知られている。この撮像装置は、シャッタレリーズ操作を行って静止画を撮像した後、確認ボタンを操作すると撮像された画像が拡大処理されてＬＣＤパネルに表示される。したがって、ユーザはＬＣＤパネルに拡大表示された記録画像を視認することにより、手振れの有無を確認しつつ撮像を進行することができるというものである。

下記特許文献２には、手振れセンサによって補正範囲を超えるブレを検出した場合にのみ撮影画像の中心部分を拡大した拡大画像を画像表示部に表示して、撮影画像の保存／非保存を撮影者に確認する方法が提案されている。

また、下記特許文献３には、メモリに一時保存した撮影画像データから輪郭抽出を行って、抽出した輪郭のブレ量を検出し、ブレ量の最も大きい輪郭部分を拡大して画像表示部に表示し、撮影画像の保存／非保存を撮影者に確認する方法が提案されている。
特開２００１−１７７７５３号公報 特開２００４−０８０４６０号公報 特開２００６−０２０１０１号公報

しかし前述の特許文献に示された方法では、いずれも撮影画像の中の重要な被写体を選択抽出しているのではないため、手振れの程度を画像で確認しているだけである。特に複数の人物撮影の場合は主要被写体を誤認することになり、画面の中央部分や撮影画像の任意の一部分を拡大した拡大画像でブレを判断するのではブレの認識が不適切になってしまう。

本発明はこのような問題に対して、人物撮影時の主要被写体である人物の顔を抽出し、顔の拡大画像を画像表示部に表示することで主要被写体のブレを撮影者が確認できるようにしたカメラを提供するものである。これによって手振れ撮影した場合に撮影のやり直しを適切に行うことができる。

本発明の撮像装置は、被写体を撮影する撮影光学系と、撮影した画像を記録するためのメモリと、画像を表示可能な表示パネルと、撮影時のブレを検出するブレ検出装置と、撮影した画像の中から顔画像を抽出する顔検出回路とを備える。前記ブレ検出装置がブレを検出した時には、前記顔検出回路によって検出した顔画像の拡大画像を前記表示パネルに表示する。前記ブレ検出装置には、動きベクトル検出回路あるいは手ブレセンサを用いる。手ブレセンサとしては、ジャイロスコープなどの角速度センサが良い。

前記顔検出回路は、撮影した画像の中に複数の顔画像があった場合には、正面を向いた顔画像だけを検出して、その中で最も大きい顔画像を抽出し、拡大画像とする。あるいは、検出した複数の顔画像について動きベクトル検出回路によってブレ量を検出し、検出したブレ量が最も大きい顔画像を拡大画像としても良い。更に、顔画像の向きによって順位付けを行うステップと、顔画像の大きさによって順位付けを行うステップと、顔画像のブレ量の大きさによって順位付けを行うステップとを設けて、３つのステップの優先順位付けを行い、順位付けされた順番に従って決定される順位１位の顔画像を拡大画像としても良い。また前記顔検出回路が顔画像を検出できなかった場合には、撮影した画像を表示パネルに表示する。

本発明は、撮影画像がブレ画像であると検知された場合に、撮影された画像の保存に際して、撮影画像の中から人物の顔を検出し、検出した顔画像の中で最も適切な顔画像を抽出して拡大し、画像表示部であるＬＣＤパネルに表示することで、主要被写体のブレを撮影者が確認できるようにした。これによって手振れ撮影した場合に撮影のやり直しを適切に行うことができるので失敗撮影がなくなる。

以下、本発明の実施形態であるブレ画像の拡大画像を確認する機能を有するデジタルカメラについて説明する。図１及び図２に示すデジタルカメラ１０は、略直方体形状のカメラ本体１１の前面に、撮像レンズ１２を備えた沈胴式の鏡胴１３と、ストロボ発光部１４とが設けられている。デジタルカメラ１０の上面には、シャッタボタン１５と、操作ダイヤル１６とが設けられている。この操作ダイヤル１６は、電源スイッチのオン／オフと、撮影モード／再生モード／設定モードの切り換えとを行う。

デジタルカメラ１０の背面には、ＬＣＤパネル（表示パネル）２０が設けられている。ＬＣＤパネル２０は、撮影モードでは、電子ビューファインダとして機能し、スルー画をリアルタイムに表示する。また、再生モードでは、メモリカード２２に記憶されている画像データを読み出して再生表示する。更に、設定モードでは、各種設定画面を表示する。また、ＬＣＤパネル２０の表面には、タッチパネルが設けられている。ＬＣＤパネル２０に表示された操作アイコンに対して、ユーザの指、又は付属する操作ペン（図示せず）などを用いて、タッチパネルに接触することによって操作を行うことができる。

前記メモリカード２２は、デジタルカメラ１０の側面に設けられたメモリカードスロット２３に着脱自在に装填される。撮影モードで得た画像データはこのメモリカード２２に記憶される。また、カーソルボタン２４は、各種の設定の切り換えや、ＬＣＤパネル２０に表示される各種処理確認画面上の操作に用いられる。決定ボタン２５は、カーソルボタン２４によって選択された処理を実行する。

図３に示すデジタルカメラ１０の電気的構成において、制御回路２６は、ＲＯＭ２７に記憶されたシーケンスプログラムをワークメモリであるＲＡＭ２８に読み出して実行する。前記制御回路２６は、シャッタボタン１５，操作ダイヤル１６，カーソルボタン２４及び決定ボタン２５の操作により発生する操作信号に従ってデジタルカメラ１０の各部を制御する。また、制御回路２６には、手ブレ検出部としての角速度センサ２９から手ブレ検出信号が入力される。

前記レンズ鏡胴１２内には、撮影レンズ１３を構成するレンズの一つとして手ブレを補正する補正レンズ３０が組み込まれており、補正レンズ３０の近傍に設けられた図示しないホール素子からの出力は位置検出部３１に入力される。また、前記補正レンズ３０を撮影光軸と垂直方向に移動させるアクチュエータがレンズ鏡胴１２内に組み込まれており、このアクチュエータはドライブ回路３２によって駆動される。

前記制御回路２６は、前記角速度センサ２９からの手ブレ検出信号と位置検出部３１からのレンズ位置信号とに基づいてドライブ回路３２を駆動し、手ブレを相殺する方向と速度で補正レンズ３０を移動する。

撮影レンズ１３の背後には、ＣＣＤ３３が設けられている。スルー画表示の際には、ＣＣＤ３３からフィールド画（偶数フィールド又は奇数フィールド）の撮像信号が読み出され、この撮像信号が相関二重サンプリング回路（ＣＤＳ）３４に入力される。ＣＤＳ３４はＣＣＤ３３が出力した撮像信号からＲ，Ｇ，Ｂのアナログ画像信号を生成する。増幅器（ＡＭＰ）３５は、前記Ｒ，Ｇ，Ｂのアナログ画像信号を増幅する。Ａ／Ｄ変換器３６はＡＭＰ３５から出力されたアナログ画像信号をデジタル画像信号である画像データに変換する。

前記Ａ／Ｄ変換器３６から出力された画像データは、画像信号処理回路３７に入力され、ここで階調変換、ホワイトバランス補正、γ補正、ＹＣ変換処理などの各画像処理が施された後、データバス４１を介してＳＤＲＡＭ３８に一時的にストアされ、ＬＣＤドライバ３９を介してＬＣＤパネル２０に送られ、スルー画が表示される。ＳＤＲＡＭ３８には、連続した２フィールド画分を記憶するスルー画用のメモリエリアがあり、一方から読み出し中に、他方に書き込みをする。

スルー画の表示中には、一定時間の間隔で、ＡＦ制御、ＡＥ制御がなされる。ＡＦ制御では、撮影レンズ１３を構成するフォーカスレンズを移動しながら、コントラスト（隣接する画素間の差を積分した値）が最大となる合焦位置を検出し、この合焦位置にフォーカスレンズをセットする。また、ＡＥ制御では、撮影レンズ１３を構成する絞りが変更される。これらの制御はＡＦ／ＡＥ処理回路４０によって実行され、その情報はデータバス４１を介して制御回路２６に送られる。

シャッタボタン１５の半押し操作（スイッチＳ１がオン）によって、ＡＦ／ＡＥが作動し、露出時間、絞り値、フォーカスレンズのセットが実行され、また、被写体輝度が所定値より低い場合はストロボ回路４２が内蔵された放電用コンデンサを充電する。シャッタボタン１５の全押し操作（スイッチＳ２がオン）によって被写体の撮影が実行されると、露光終了後に、ＣＣＤ３３からフレーム画が読み出され、ＣＤＳ３４、ＡＭＰ３５，Ａ／Ｄ変換器３６を経て画像信号処理回路３７にて画像処理が施された後、ＳＤＲＡＭ３８に書き込まれる。この後、前記フレーム画の画像データがＳＤＲＡＭ３８から読み出され、圧縮伸長処理回路４３にてＪＰＥＧ形式などの所定の圧縮形式で圧縮処理された後、メディアコントローラ４４を介してメモリカード２２に記録される。

前記ＳＤＲＡＭ３８に書き込まれたスルー画（フィールド画）の画像データは、顔検出回路４５に読み込まれ、被写体の顔の部分が検出される。顔検出回路４５は、スルー画の画像データ（以下スルー画データという）から被写体の両眼を抽出することによって被写体の顔を抽出する。被写体の両眼を抽出する際には、スルー画データの画像を格子状に分割し（例えば１６×１６）、各分割領域に含まれるＲ，Ｇ，Ｂの各色信号の信号レベルから、皮膚と推定される肌色の画素を多く含む分割領域を選び出す。

さらに、肌色の画素を多く含む領域から眼部の白色の画素と瞳と推定される黒色の画素を有する領域を選び出し、その領域から画像上の被写体の両眼の位置座標を求め、両眼の位置座標の中点を代表点として顔の位置が求められる。顔検出回路４５は、抽出された被写体の両眼の位置座標から、その周囲の肌色の画素を多く含む領域を顔領域と見なす。顔領域における両眼の位置座標から正面を向いた顔か横を向いた顔かを判断する。

顔検出回路４５によって抽出された顔画像はＬＣＤドライバ３９に送られ、ＬＣＤパネル２０にその拡大画像が表示される。顔検出回路４５は、顔画像が複数検出された場合は、その中から最も大きい顔画像を抽出するが、その中に正面を向いた顔がある時は正面を向いた顔の中から最も大きい顔画像を抽出する。

このように構成されたデジタルカメラ１０による静止画撮影の手順について説明する。まず操作ダイヤル１６を操作してデジタルカメラ１０の電源を投入し、静止画撮影モードを選択する。これにより、スルー画の取得が開始される。前記ＳＤＲＡＭ３８に書き込まれたスルー画は、顔検出回路４５に読み込まれ、被写体の顔検出が行われる。シャッタボタン１５を半押し（Ｓ１オン）すると、ＡＦ／ＡＥ処理回路４０およびストロボ回路４２により撮影準備が行われ、続くシャッタボタン１５の全押し（Ｓ２オン）によって撮影が行われる。

図４に示すフローチャートによりＳ２オン後のブレ画像確認作業について説明する。Ｓ２がオンされると被写体の撮影が行われるが、同時に角速度センサ２９によって手ブレ量が検出され、前記制御回路２６が前記補正レンズ３０を移動して手ブレを補正する。撮影された画像（図５参照）はＳＤＲＡＭ３８に一時保存され、手ブレ量も記録される。

ＳＤＲＡＭ３８に一時保存された撮影画像は、顔検出回路４５に送られ画像内の顔検出が実行されて、撮影画像の中にある全ての顔が検出される。（図６参照）。ここで顔画像が１つも検出されなかった場合は、撮影画像をＬＣＤパネル２０に表示する。検出された顔画像が１つだった場合は、その顔画像が拡大表示する顔画像となる。顔画像が複数ある場合には、顔画像の抽出フローによって拡大表示する顔画像を抽出する。

ここで顔画像の抽出フローについて図７に示すフロー（１）にて説明する。顔検出回路４５は顔画像が複数検出されると撮影画像の中から正面を向いた顔を選び出す（図８参照）。選んだ複数の顔画像（図９参照）の中から最も大きい顔（図９（ｂ））を抽出する。正面を向いた顔画像を抽出できなかつた場合は、前記複数の顔画像の中から最も大きい顔を抽出する。

次に前述の手ブレ量の確認が行われ、その値が閾値を超えていない場合は、ＳＤＲＡＭ３８に一時保存した画像データをメモリカード２２に保存し、撮影画像をＬＣＤパネル２０に表示する。

手ブレ量が閾値を超えている場合は、ＬＣＤパネル２０に警告メッセージ（図１０参照）を表示して画像がブレたことを撮影者に告知する。その後、前記顔検出回路４５により抽出された顔画像の拡大画像をＬＣＤパネル２０に表示する。ＬＣＤパネル２０には拡大された顔画像の他に、保存／消去を選択するタッチパネルが表示される（図１１参照）。

ここで保存が選択された場合は、ＳＤＲＡＭ３８に一時保存された画像データはメモリカード２２に保存され、撮影画像はＬＣＤパネル２０に保存メッセージと伴に表示する（図１２参照）。消去が選択された場合は、ＳＤＲＡＭ３８に一時保存した画像データを消去し、消去したことをＬＣＤパネルにメッセージ表示（図１３参照）して撮影者に告知する。

前述の実施形態では、拡大表示する顔画像の抽出を行う時に、正面を向いた顔画像を抽出したが、顔の向きに関係なく、全ての顔画像（図１４参照）の中から単に大きさだけで選んでも良い。この場合は顔画像の抽出フローは図１５に示すようになる。

また、図１６に示すフローのように、動きベクトル検出回路４６によって、検出した複数の顔画像全てについてブレ量を検出し（図１７参照）、検出したブレ量の最も大きい顔画像を抽出して、前記ＬＣＤパネル２０に拡大画像として表示し、拡大された顔画像の横には、保存／消去の選択ボタンが表示される（図１８参照）ようにしても良い。

また、図１９に示すフローのように、前述の３つのパターン、正面を向いた顔画像を優先、最も大きい顔画像を優先、最もブレ量の大きい顔画像を優先、のどれを優先して拡大表示する顔画像とするか、を撮影者が順位付けできるようにしても良い。

更に、順位付けによって自動的に拡大表示する画像を決めるのではなく、例えば図１４に示すように、一旦、顔画像だけを表示し、その中から撮影者が選択した顔画像を拡大して表示するようにしても良い。この場合、図１４に示すような表示ではなく、図２０に示すように全ての顔画像を拡大画像の横に小さな画像で並べて表示し、スクロールすることで順次に選択可能として、全ての顔画像の拡大画像を確認できるようにしても良い。

また、前記角速度センサが手ブレを検出した際、図１０に示すメッセージではなく、図２１に示すような拡大画像確認の問い合わせメッセージを表示するようにしても良い。

前述の実施形態では、角速度センサ２９を用いて手ブレ検出を行ったが、動きベクトル検出回路４６による全体画像のブレ量から求めても良い。この場合、動きベクトル検出回路４６は、ＳＤＲＡＭ３８に書き込まれたスルー画（フィールド画）の画像データから画像全体のブレ量である動きベクトルαを検出し、前記制御回路２６は、この動きベクトルαを相殺するように前記補正レンズ３０を移動して、手ブレを補正する。

また、前述の実施形態では、手ブレ補正機能のついた撮像装置にて説明したが、必ずしも手ブレ補正機能は必要ではなく、手ブレ補正機能のついていない撮像装置であっても良い。この場合はブレ画像であると判断するブレの閾値を設定する。

本発明の実施形態であるデジタルカメラを前から見た斜視外観図である。 本発明の実施形態であるデジタルカメラを後から見た斜視外観図である。 本発明の実施形態であるデジタルカメラの構成を示すブロック図である。 本発明の実施形態である顔画像の検出方法のフローチャートである。 本発明の実施形態であるデジタルカメラによる撮影画像である。 撮影画像から顔を検出したことを示す図である。 ＬＣＤパネルに拡大表示する顔画像を抽出する方法のフローチャートである。 正面を向いた顔だけを検出したことを示す図である。 検出した正面を向いた顔だけを示す図である。 ブレ画像を警告するＬＣＤパネルの表示画像である。 ＬＣＤパネルに表示された拡大画像を示す図である。 画像データを保存した時のＬＣＤパネルに表示される画像である。 撮影した画像が消去されたときにＬＣＤパネルに表示された警告メッセージを示す図である。 別の実施形態における検出された顔画像を示す図である。 別の実施形態におけるＬＣＤパネルに拡大表示する顔画像を抽出する方法のフローチャートである。 ブレ量の最も大きい顔画像を検出してＬＣＤパネルに拡大表示する顔画像を抽出する方法のフローチャートである。 顔画像のブレ量を検出する方法における検出した顔画像を示す図である。 別の実施形態におけるＬＣＤパネルに表示された拡大画像を示す図である。 別の実施形態における順位付けしてＬＣＤパネルに拡大表示する顔画像を抽出する方法のフローチャートである。 検出した顔画像の別の表示方法を示す図である。 ブレ画像を拡大表示した確認するか否かの問い合わせメッセージをＬＣＤパネルに表示した図である。

符号の説明

１０ デジタルカメラ
１２ 撮影レンズ
１３ 鏡胴
１５ シャッタボタン
２０ ＬＣＤパネル
２２ メモリカード
２６ 制御回路
２９ 角速度センサ
４５ 顔検出回路
４６ 動きベクトル検出回路

Claims (11)

1. 被写体を撮影する撮影光学系と、撮影した画像を記録するためのメモリと、画像等を表示可能な表示パネルと、を有する撮像装置において、
   撮影時のブレを検出するブレ検出手段と、撮影した画像の中から顔画像を検出する顔画像検出手段とを備え、前記ブレ検出手段が閾値を超えるブレを検出した時には、前記顔画像検出手段によって検出した顔画像の拡大画像を前記表示パネルに表示することを特徴とする撮像装置。
2. 前記ブレ検出手段は、撮影画像のブレ量を検出する動きベクトル検出手段であることを特徴とする請求項１記載の撮像装置。
3. 前記ブレ検出手段は、撮影中に前記撮像装置が振動したことを検出する手ブレセンサであることを特徴とする請求項１記載の撮像装置。
4. 前記手ブレセンサは、角速度センサであることを特徴とする請求項３記載の撮像装置。
5. 前記顔画像検出手段は、撮影した画像の中に複数の顔画像があった場合には、正面を向いた顔画像だけを検出することを特徴とする請求項１ないし４いずれか記載の撮像装置。
6. 前記顔画像検出手段は、撮影した画像の中に複数の顔画像があった場合には、最も大きい顔画像を抽出して拡大画像とすることを特徴とする請求項１ないし５いずれか記載の撮像装置。
7. 前記顔画像検出手段が撮影した画像の中に複数の顔画像を検出した場合には、
   前記動きベクトル検出手段は、前記複数の顔画像のブレ量を検出し、
   前記顔画像検出手段は、前記ブレ量の最も大きい顔画像を抽出して拡大画像とすることを特徴とする請求項１ないし４いずれか記載の撮像装置。
8. 前記顔画像検出手段は、
   撮影した画像の中の複数の顔画像に対して、顔画像の向きによって順位付けを行う第一のステップと、顔画像の大きさによって順位付けを行う第二のステップと、顔画像のブレ量の大きさによって順位付けを行う第三のステップと、前記３つのステップの優先順位付けを行う優先順位設定ステップと、を有し、
   撮影した画像の中に複数の顔画像があった場合には、前記優先順位設定ステップによって設定された順番に従って前記３つのステップによって決定される順位１位の顔画像を抽出して拡大画像とすることを特徴とする請求項１ないし４いずれか記載の撮像装置。
9. 前記顔画像検出手段が撮影した画像の中から顔画像を検出できなかった場合には、撮影した画像を前記表示パネルに表示することを特徴とする請求項１ないし８いずれか記載の撮像装置。
10. 前記表示パネルは、前記ブレ検出手段によって閾値を超えるブレを検出した時には、撮影した画像がブレ画像であることを告知するメッセージを表示することを特徴とする請求項１ないし９いずれか記載の撮像装置。
11. 前記撮像装置は手ブレ補正機能を備え、前記ブレ画像を検出する閾値は前記手ブレ補正機能の補正限界値であることを特徴とする請求項１ないし１０いずれか記載の撮像装置。
    

Images