JP6259185B2 - 撮像装置及びその制御方法、プログラム並びに記憶媒体 - Google Patents

Description

本発明は、異なる露出で複数枚の画像を撮影する撮影技術に関する。

被写体を撮影するカメラ等の撮像装置において、被写体の明るさに応じて絞りやシャッター速度を調節して適切な露出で撮影を行う自動露出（ＡＥ）制御がある。ＡＥ制御では、撮影したい被写体は画像中央に存在することが多いという前提のもとで、画像中央付近の明るさを重点的に測光して使用するものや、画像内の明暗差を検出し、明部領域か暗部領域かいずれを重点的に測光するかを適応的に選択するものもある。画像内の明暗差があるシーンとしては、例えば画像上部の明るい空と画像下部の暗い地面といった空シーンや、背後にある明るい太陽と手前にいる暗い人物といった逆光シーンなどがある。このような各シーンにおいて、ユーザが撮影したいメイン被写体が何であるかをくみ取り、そのメイン被写体が適切な露出になるように撮影できることが望ましい。しかしながら、常にユーザの意図通りのＡＥ制御が実現できるか否かに関して、現実的には意図通りの露出にならないケースは起こり得る。

このように、ＡＥが決定した露出が必ずしもユーザの意図通りの作画にならないことを踏まえ、ＡＥが決定した露出を指定された量だけシフトした明るい画像と暗い画像を同時に撮影する露出ブラケット（ＡＥＢ）撮影が知られている。ＡＥＢ撮影では異なる露出の画像が複数枚記録されるため、ユーザが自分の嗜好に合わせて後で選択することができる。

ただ、ブラケット撮影時の露出量は予めユーザが指定しておく必要があるため、シーンに応じて再設定するユーザ操作が必要であった。

例えば、特許文献１には、撮像素子の輝度レンジに着目し、輝度レンジ内に収まるよう露出を決定することが記載されている。

特開２００８−１０４００９号公報

上記特許文献１は、撮像素子の輝度レンジに着目して露出を決定するものであり、シーンに応じて適切な露出を決定する作画意図や、写真という作品としての質が考慮されていない。例えば人物の顔領域が画像内に存在するときの適切なＡＥＢ露出量や、画像内の色情報に応じた適切なＡＥＢ露出量が決定できておらず、最適な画像とならない場合がある。

本発明は、上記課題に鑑みてなされ、その目的は、異なる露出で複数枚の画像を撮影する際に、被写体の状況や背景の状況を考慮し、シーンに応じて適切な露出量を決定できる撮影技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、撮像手段と、前記撮像手段により撮像された画像から所定の被写体を検出する検出手段と、撮像された画像の輝度分布を生成する生成手段と、前記検出手段により検出された前記所定の被写体に対応する第１の輝度値が所定の第１の閾値以下であって、前記輝度分布に基づく第２の輝度値が所定の第２の閾値以下であって且つ前記第２の輝度値よりも高輝度領域の前記輝度分布に基づく第３の輝度値が所定の第３の閾値以上である場合に異なる露出で複数枚の画像を撮像する露出ブラケット撮影を実施すると判定するとともに、前記第１の輝度値に対応する第１の露出量と前記第３の輝度値に対応する第３の露出量を用いて前記露出ブラケット撮影を実施するように制御する制御手段と、を有することを特徴とする。

本発明によれば、異なる露出で複数枚の画像を撮影する際に、被写体の状況や背景の状況を考慮し、シーンに応じて適切な露出量を決定できる。

本発明に係る実施形態の撮像装置の構成を示すブロック図。 本実施形態の撮像装置の前面（ａ）及び背面（ｂ）を示す外観図。 風景シーンを例示する図。 図３に示す画像全体の輝度ヒストグラムを例示する図。 人物シーンを例示する図。 図５に示す画像のブロックごとの輝度情報を例示する図。 図５に示す画像のブロックごとの彩度情報を例示する図。 本実施形態の彩度情報に応じたＡＥＢ露出量の補正量を示す図。 本実施形態の撮像装置による撮影動作を示すフローチャート。 図９の露出ブラケット撮影判定処理を示すフローチャート。 図１０の輝度ヒストグラムによるＡＥＢ露出量算出処理を示すフローチャート。 図１０の人物の顔領域の輝度情報によるＡＥＢ露出量算出処理を示すフローチャート。 図１０の彩度情報によるＡＥＢ露出量の補正量算出処理を示すフローチャート。 図１０のＡＥＢ撮影実施判定処理を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

以下、本発明を、例えば、適正露出とは異なる露出で複数枚の画像を撮影する露出ブラケット撮影機能を有するデジタルカメラ等の撮像装置に適用した実施形態について説明する。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置１００の構成及び機能の概略について説明する。

図１において、撮影レンズ１０１はフォーカスレンズやズームレンズを備え、光学系制御部１０９の動作指令に従って、撮像部１０３の受光面上に焦点を合わせて被写体の反射光である光学像を結像させる。絞り／シャッター１０２は、光学系制御部１０９の動作指令に従って、被写体の反射光である光学像の撮像部１０３への入射光量を制御する。光学系制御部１０９は、システム制御部１１５からの制御信号に従って、撮影レンズ１０１の光軸方向の位置や絞り／シャッター１０２の動作を制御し、レンズを通過した光の光量を調節することができる。光量を調節する方法としては、絞り口径を変化させる光彩絞り、光透過量を落とすＮＤフィルタ、全閉により遮光する機械式シャッターなど様々な形態があり、用途に応じて使い分けられる。また、光学系制御部１０９は、装置のブレに応じてレンズを光軸方向以外にも駆動することで手ぶれ補正を行うことも可能である。また、手ぶれ補正は、撮像部１０３を変位させることでも同様に実現可能である。

撮像部１０３は、受光面に結像した光学像をＣＣＤやＣＭＯＳ等の光電変換素子によって電気信号に変換する。また、撮像部１０３は、Ａ／Ｄ変換部を有し、光電変換されたアナログ信号をデジタル信号に変換する。また、撮像部１０３は、アナログ信号からノイズを除去するＣＤＳ回路や、デジタル信号に変換する前にアナログ信号を非線形増幅するための非線形増幅回路を含む。撮像制御部１１０は、システム制御部１１５からの制御信号に従って、撮像部１０３での電荷蓄積時間やＡ／Ｄ変換部やＣＤＳ回路や非線形増幅回路を制御する。撮像部１０３は、撮像制御部１１０の動作指令に従って、光電変換素子への露光、露光量の調節、電荷信号の読み出し、増幅、減衰、デジタル変換などを行う。撮像部１０３から出力されたデジタル信号は画像処理部１０４に出力されるか、メモリ１０５に一時記憶される。メモリ１０５は、高速な内蔵メモリの一例であり、画像データの一時的な記憶を司る高速バッファとして、或いは、画像データの圧縮／伸張処理における作業用メモリ等として使用される。

ストロボ１１１は、発光制御部１１２の動作指令に従って、ストロボ光を発光する。発光制御部１１２は、システム制御部１１５からの制御信号に従って、ストロボ１１１を発光させることにより、被写体の輝度が適正露出よりも暗い場合に十分な光量が得られ、暗いシーンであってもシャッター速度を高速に保ち、最適な明るさの画像が得られる。

画像処理部１０４は、撮像部１０３から直接出力され、あるいはメモリ１０５から読み出されたデジタル信号に対して、所定の画素補間や画像縮小等のリサイズ処理と色変換処理とを行って、画像データを生成する。また、画像処理部１０４は、生成した画像データをメモリ１０５に一時記憶し、外部メモリ９０や外部機器９２に記録・出力するために、生成した画像データのフォーマット変換を行う。

また、画像処理部１０４は、撮像部１０３から順次出力されるデジタル信号から輝度成分や周波数成分を抽出し、これらを評価値として用いることでＡＥ（自動露出）処理やＡＦ（オートフォーカス）処理、ＡＷＢ（オートホワイトバランス）処理等を行う。さらに、画像処理部１０４は、撮像部１０３から得た画像データを現像処理して画質を調節することができ、色合い、階調、明るさ、などを適切に設定して鑑賞に適した画像に仕上げる。さらにまた、画像処理部１０４は、撮像部１０３から得た画像データ中から人物の顔に代表される被写体を検出する被写体検出機能を有する。画像処理部１０４は、被写体検出機能を用いて撮影画像中の人物の顔領域の位置、大きさ、傾き、顔の確からしさに関する特徴情報を抽出すると共に、抽出した特徴情報を用いて、特定の個人であるかを認証する個人認証機能を有する。個人認証では、画像処理部１０４は、不揮発性メモリ１０６に予め登録されている個人の特徴情報を読み出し、撮影画像から抽出した人物の顔の特徴情報と比較して一致度を判定する。また、画像処理部１０４は、人物の顔の詳細な解析を行うことができ、例えばその人物の眼を解析して視線方向を検出することができる。

表示部１０８は、例えば、ＬＣＤ等であり、画像の表示や操作補助のための表示、カメラの状態表示を行う他、撮影時には撮影画面にＡＦ領域を表示する。

不揮発性メモリ１０６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ１０６には、画像処理部１０４により生成された画像ファイル等が記憶されるが、システム制御部１１５のＲＯＭとして、動作用の定数、プログラムも記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部１１５は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、装置全体の動作を制御する。システム制御部１１５は、前述した不揮発性メモリ１０６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。また、システム制御部１１５は画像処理部１０４、メモリ１０５、表示部１０８等を制御することにより表示制御も行う。

撮像装置１００にはメモリカード等の外部メモリ９０が着脱可能なスロットが設けられ、メモリインターフェース１１３を介して外部メモリ９０へのアクセスが可能である。また、撮像装置１００には、外部機器９２を有線または無線により通信可能に接続するための入出力インタフェース１１４を備え、外部機器９２から画像ファイルやコマンド等を送受信することができる。

操作部１０７は、例えば、電源スイッチ、シャッタースイッチ、露出補正や絞り値の設定、画像再生時の設定等の各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードのモード切替スイッチ等を含む。シャッタースイッチは、半押しにより第１スイッチ信号ＳＷ１をシステム制御部１１５へ出力し、ＡＥ処理やＡＦ処理等の撮影準備動作を行い、全押しにより第２スイッチ信号ＳＷ２をシステム制御部１１５へ出力し、撮影指示を行うスイッチである。

次に、本実施形態の撮像装置の外観を示す図２において、装置前面には撮影レンズ１０１が配置され、被写体像を捉えることができる。また、装置前面にはストロボ１１１が配置されている。操作部材２００〜２０８は、操作部１０７としてユーザ操作を受け付けて、該当する操作信号をシステム制御部１１５へ出力する。

＜露出ブラケット（ＡＥＢ）撮影＞次に、図３ないし図８を参照して、本実施形態の撮像装置によＡＥＢ露出量を決定する方法について説明する。

図３の風景シーンにおいて、画像内には雲５０１、５０３、空５０５、木５０７、５０９、地面５１１が存在しており、雲や空は輝度が高く、木や地面は輝度が低い状態であるとする。このような明暗差があるシーンにおいて画像全体を平均するように測光した場合、雲や空は適正輝度よりも明るく白飛びしたようになり、木や地面は適正輝度よりも暗く黒潰れしたような印象の悪い画像になる場合がある。このような明暗差のあるシーンに対してＡＥＢ撮影を行うことで、雲や空の見栄えを重視した露出で撮影した画像と、木や地面の見栄えを重視した露出で撮影した画像を１組として撮影できる。

図４（ａ）は図３の画像全体の輝度ヒストグラムを示しており、横軸は輝度値Ｙｖａｌｕｅ、縦軸は各輝度値に分布している画素数Ｎｕｍを表している。図中のＲｅｆＹ５０３は、通常のＡＥ処理における適正輝度値を示している。通常のＡＥ処理では、測光領域の輝度値が適正輝度ＲｅｆＹ５０３に近づくように露出値を決定する。適正輝度ＲｅｆＹ５０３を基準にすると、輝度ヒストグラムには低輝度側と高輝度側にそれぞれ大きな分布の山である主分布が存在しており、これから明暗差のあるコントラストの高い画像であることが分かる。輝度ヒストグラムを用いてＡＥＢ露出量を算出する１つの方法として、低輝度側と高輝度側に主分布を持つ領域が適正輝度ＲｅｆＹ５０３に近づくような露出値を求める方法がある。

図４（ａ）において、適正輝度ＲｅｆＹ５０３より低輝度側にある主分布の頂点の輝度値をＬｏｗＹ５１１、ＲｅｆＹ５０３より高輝度側にある主分布の頂点の輝度値をＨｉＹ５１３とする。この場合、低輝度ピーク値ＬｏｗＹ５１１を適正輝度ＲｅｆＹ５０３に近づけるためには、以下の式で算出された段数だけ明るくなるようなＡＥＢ露出量を用いれば良い。

ΔＭｉｎｕｓ＝ｌｏｇ₂（ＲｅｆＹ／ＬｏｗＹ）
同様に、高輝度ピーク値ＨｉＹ５１３を適正輝度ＲｅｆＹ５０３に近づけるためには、以下の式で算出された段数だけ暗くなるようなプラスＡＥＢ露出量を用いれば良い。

ΔＰｌｕｓ＝ｌｏｇ₂（ＲｅｆＹ／ＨｉＹ）
図４（ｂ）は図３の画像全体の輝度分布から得た輝度ヒストグラムを示したものであるが、低輝度側と高輝度側それぞれを適正輝度ＲｅｆＹ５０３に近づけるような低輝度側のＡＥＢ露出量と高輝度側のＡＥＢ露出量の算出方法が図４（ａ）と異なっている。図４（ａ）では、低輝度ピーク値ＬｏｗＹ５１１及び高輝度ピーク値ＨｉＹ５１３がそれぞれ適正輝度ＲｅｆＹ５０３に近づくようにＡＥＢ露出量を算出した。一方、図４（ｂ）では、低輝度領域に含まれる画素のＹ値の平均値（低輝度平均値）ＬｏｗＡｖｅＹ５２１と、高輝度領域に含まれる画素のＹ値の平均値（高輝度平均値）ＨｉＡｖｅＹ５２３が適正輝度ＲｅｆＹ５０３に近づくようにＡＥＢ露出量を算出している。

図４（ａ）に示す算出方法では、低輝度ピーク値ＬｏｗＹ５１１及び高輝度ピーク値ＨｉＹ５１３をそれぞれ適正輝度ＲｅｆＹ５０３に近づけることができる一方、多少の輝度のバラツキにも反応する敏感な仕様となる。よって、求める効果に応じて、図４（ａ）のように輝度のピーク値を用いる方法と、図４（ｂ）のように所定の条件を満たす輝度領域の平均値を用いる方法とを使い分けても良い。

図５は画像中に人物が存在するシーンを示しており、画像内には雲５０１、５０３、空５０５、顔５５１、人物胴体５５３、地面５１１が存在しており、雲や空は輝度が高く、人物や地面は輝度が低い状態であるとする。このような人物シーンに対してＡＥＢ撮影を行う場合、高輝度側に露出を補正するときに人物の顔領域の輝度が適正輝度付近になることが望ましい。

人物シーンに対して人物の顔領域が適正輝度になるようなＡＥＢ露出量を求める場合、図４に示す輝度ヒストグラムにおいて低輝度側に主分布が存在するからと言って、この分布のピーク値や平均輝度値を適正輝度ＲｅｆＹ５０３に近づけたとしても、人物の顔領域が適正輝度になるとは限らない。低輝度側の分布にはその人物の胴体領域や、地面の暗い部分も含まれており、正確な顔領域の輝度値が原理的に分からない。ゆえに、顔領域の輝度値を正確に求めるのであれば画像全体の輝度ヒストグラムではなく、画像から顔領域のみの輝度値を算出することが必要である。

図６は、図５に示す画像をブロックで表現した様子を例示している。図示の例では、画像を縦６ブロック、横８ブロックの計４８ブロックに分割し、各ブロックの輝度値を算出する。次に、これら４８のブロックのうち、図５の人物の顔５５１に相当する４つのブロック６５１の平均輝度値を顔領域の輝度値ＦａｃｅＹとして算出する。そして、顔領域の輝度値ＦａｃｅＹを適正輝度にするためには、以下の式で算出された段数だけ明るくなるように顔領域用のＡＥＢ露出量ΔＰｌｕｓＦａｃｅを補正すれば良い。

ΔＰｌｕｓＦａｃｅ＝ｌｏｇ₂（ＦａｃｅＹ／ＲｅｆＹ）
図６では画像を４８ブロックに分割しているが、さらに細かく分割すればより正確な顔領域の輝度値を算出することも可能であり、また、マトリクス状にせずに顔領域全体をカバーできる任意の領域を設定して算出しても良い。

図４では、画像全体の輝度ヒストグラムを用いてＡＥＢ露出量を算出する方法を説明したが、輝度ヒストグラムだけによる算出方法では、シーンによっては最適な露出にならない場合がある。例えば画像中に機関車のような低輝度かつ低彩度の黒い物体が存在する場合、黒い物体の輝度値を適正輝度に近づけるようなＡＥＢ露出量を算出すると、黒い物体が明るくなりすぎて不自然な印象を与える場合がある。また、画像内に青空、紅葉、新緑など、高輝度かつ高彩度の被写体が存在する場合、彩度の高い領域の輝度値を適正輝度に近づけると、まだ明るすぎる場合があり、もう少し低輝度にした方が高彩度の色が際立つ場合がある。

図７は図３の風景シーンの画像を図６と同様に４８ブロックに分割し、各ブロックの彩度値を示している。図７において、白い雲の領域７０１、７０３は彩度が低く、青空の領域７０５は彩度が高い状態、木７０７、７０９と地面７１１は彩度が低い状態とする。図７の状態を、図４の輝度ヒストグラムと対応付けると、太枠７５１内のブロックが高輝度領域、太枠７５３内のブロックが低輝度領域となる。そして、高輝度／高彩度領域の平均彩度値ＨｉＣｈｒｏｍａを算出し、ＨｉＣｈｒｏｍａに基づいて高輝度領域を適正輝度に近づけるようにＡＥＢ露出量ΔＰｌｕｓを補正する。また、低輝度／低彩度領域の平均彩度値ＬｏｗＣｈｒｏｍａを算出し、ＬｏｗＣｈｒｏｍａに基づいて低輝度領域を適正輝度に近づけるようにＡＥＢ露出量ΔＭｉｎｕｓを補正する。なお、ここで用いるＡＥＢ露出量の補正量を、図８に示すようなテーブルに予め用意しておいても良い。図８（ａ）は、低輝度／低彩度領域の彩度値ＬｏｗＣｈｒｏｍａに応じてプラス補正量ΔＰｌｕｓＨｏｓｅｉが決められており、彩度が低いほど、被写体の明るさを暗くするような露出をアンダー側に補正するパラメータが設定されている。同様に、図８（ｂ）は、高輝度／高彩度領域の彩度値ＨｉＣｈｒｏｍａに応じてマイナス補正量ΔＭｉｎｕｓＨｏｓｅｉが決められており、彩度が高いほど、被写体の明るさを暗くするような露出をアンダー側に補正するようなパラメータが設定されている。

＜撮影動作＞次に、図９ないし図１４を参照して、本実施形態の撮像装置による撮影動作について説明する。

なお、図９ないし図１４の処理は、システム制御部１１５のＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより実現される。

図９において、装置の電源がオンされると、システム制御部１１５は、システムの起動処理として、カメラシステムが動作するのに必要なＣＰＵやＬＳＩへの電源供給、クロック供給、メモリやＯＳの初期化等を行う（ステップＳ９０１）。

ステップＳ９０２では、システム制御部１１５は、光学系制御部１０９や撮像制御部１１０により、撮影レンズ１０１や絞り／シャッター１０２、撮像部１０３の起動処理を行う。

ステップＳ９０３では、システム制御部１１５は、画像処理部１０４により、撮像部１０３から順次出力される画像信号から輝度成分や色成分、合焦情報等を抽出してＡＥ処理やＡＦ処理、ＡＷＢ処理を行う。

ステップＳ９０４では、システム制御部１１５は、画像処理部１０４により、撮像部１０３から順次出力される画像信号に現像処理を施して画像データを生成し、表示部１０８に表示する（ライブビュー）。

ステップＳ９０５では、システム制御部１１５は、画像処理部１０４が表示部１０８に表示される画像データを用いて、顔検出処理、個人認証処理、視線検出処理等を行う。

ステップＳ９０６では、システム制御部１１５は、ライブビューの状態から、シャッタースイッチが半押しされ、第１スイッチ信号ＳＷ１が検出されるまで待つ。そして、第１スイッチ信号ＳＷ１が検出された場合にはステップＳ９０７へ進む。

ステップＳ９０７では、システム制御部１１５は、ＡＥＢ撮影実施判定処理やＡＥＢ露出量算出処理を行う。これらの処理の詳細については図１０ないし図１４で後述する。

ステップＳ９０８では、システム制御部１１５は、画像処理部１０４により、撮影する画像のＡＥ処理やＡＦ処理を行う。

ステップＳ９０９では、システム制御部１１５は、シャッタースイッチが全押しされ、第２スイッチ信号ＳＷ２が検出されるのを待つ。そして、第２スイッチ信号ＳＷ２が検出された場合にはステップＳ９１０へ進み、第１スイッチ信号ＳＷ１が検出されなくなった場合にはステップＳ９０６へ戻る。

ステップＳ９１０では、システム制御部１１５は、ステップＳ９０７での処理の結果に応じてＡＥＢ撮影を実施するか、ＡＥＢ撮影を実施しない場合にはステップＳ９０８で決定された撮影条件に応じて通常の撮影を実施する。

＜ＡＥＢ撮影実施判定処理及びＡＥＢ露出量算出処理＞次に、図１０を参照して、図９のステップＳ９０７におけるＡＥＢ撮影実施判定処理及びＡＥＢ露出量算出処理について説明する。

図１０において、ステップＳ１００１では、システム制御部１１５は、図３及び図４で説明した画像全体の輝度ヒストグラムを用いてＡＥＢ露出量を算出する。

ステップＳ１００２では、システム制御部１１５は、図５及び図６で説明した人物の顔領域の輝度値ＦａｃｅＹを用いて顔領域用のＡＥＢ露出量ΔＰｌｕｓＦａｃｅを算出する。

ステップＳ１００３では、システム制御部１１５は、図７で説明した彩度情報を用いた顔領域用のＡＥＢ露出量の補正量ΔＰｌｕｓＨｏｓｅｉ、ΔＭｉｎｕｓＨｏｓｅｉを算出する。

ステップＳ１００４では、システム制御部１１５は、ステップＳ１００１〜Ｓ１００３で算出された値に基づいて、ＡＥＢ撮影を実施するか否かの判定及びＡＥＢ露出量を決定する。

＜画像全体の輝度ヒストグラムによるＡＥＢ露出量算出処理＞次に、図１１を参照して、図１０のステップＳ１００１における画像全体の輝度ヒストグラムを用いたＡＥＢ露出量の算出処理について説明する。

図１１において、ステップＳ１１０１では、システム制御部１１５は、画像処理部１０４により、撮像部１０３から順次出力される画像信号を現像処理した画像データを用いて輝度ヒストグラムを生成する。

ステップＳ１１０２、Ｓ１１０３では、システム制御部１１５は、ステップＳ１１０１で生成された輝度ヒストグラムから、低輝度領域の輝度値ＬｏｗＹ、高輝度領域の輝度値ＨｉＹを算出する。

ステップＳ１１０４では、システム制御部１１５は、ステップＳ１１０１で生成された輝度ヒストグラムから、中間輝度に分布する画素の割合を算出する。中間輝度とは、図４（ｃ）に示すように、適正輝度ＲｅｆＹを基準とした所定の範囲内の輝度領域を表している。そして、画像全体の画素数ＡｌｌＰｉｘｅｌＮｕｍに対する、中間輝度帯に分布する画素ＭｉｄＰｉｘｅｌＮｕｍの割合を中間輝度割合ＭｉｄＹＲａｔｉｏとして以下の式から算出される。

ＭｉｄＹＲａｔｉｏ＝ＭｉｄＰｉｘｅｌＮｕｍ／ＡｌｌＰｉｘｅｌＮｕｍ＊１００
ステップＳ１１０５では、システム制御部１１５は、ステップＳ１１０４で算出した中間輝度割合ＭｉｄＹＲａｔｉｏが所定の閾値ＴｈＭｉｄＹＲａｔｉｏ以下であるか判定し、この判定結果に基づいてＡＥＢ撮影を実施するか否かを判定する。中間輝度割合が所定の閾値を超えるシーンの場合、画像中の明るさが適正輝度付近になっており、明暗差が少ないことが分かる。このようなシーンでＡＥＢ撮影を行っても、画像全体が黒潰れしたり、白飛びするだけで、露出の補正によって適正露出になる領域が少ない。よって、中間輝度割合が所定の閾値を超えるシーンの場合は、ＡＥＢ撮影により得られる効果が少ないので、ステップＳ１１１０で、システム制御部１１５は、ＡＥＢ撮影を実施しないと判定する。

ステップＳ１１０６では、システム制御部１１５は、低輝度領域の輝度ＬｏｗＹが所定の第１の閾値ＴｈＬｏｗＹ以下であるか判定し、この判定結果に基づいてＡＥＢ撮影を実施するか否かを判定する。低輝度領域の輝度ＬｏｗＹが適正輝度に近い場合、低輝度領域を適正輝度に近づけるためのＡＥＢ露出量も小さくなり、ＡＥＢ撮影によって複数枚の撮影を行う意味が薄れてくる。このため、低輝度領域の輝度が所定の第１の閾値を超えるシーンの場合、ステップＳ１１１０で、システム制御部１１５は、ＡＥＢ撮影を実施しないと判定する。

ステップＳ１１０７では、システム制御部１１５は、低輝度領域の輝度が所定の第１の閾値以下であるので、露出を高輝度側に補正するためのＡＥＢ露出量ΔＰｌｕｓを以下の式により算出する。

ΔＰｌｕｓ＝ｌｏｇ₂（ＲｅｆＹ／ＬｏｗＹ）
ステップＳ１１０８では、システム制御部１１５は、高輝度領域の輝度ＨｉＹが所定の第２の閾値ＴｈＨｉＹ以上であるか判定し、この判定結果に基づいてＡＥＢ撮影を実施するか否かを判定する。高輝度領域の輝度ＨｉＹが適正輝度に近い場合、高輝度領域を適正輝度に近づけるためのＡＥＢ露出量も小さくなり、ＡＥＢ撮影によって複数枚の撮影を行う意味が薄れてくる。このため、高輝度領域の輝度が所定の第２の閾値未満のシーンの場合、ステップＳ１１１０で、システム制御部１１５は、ＡＥＢ撮影を実施しないと判定する。

ステップＳ１１０９では、システム制御部１１５は、高輝度領域の輝度が所定の第２の閾値以上であるので、露出を低輝度側に補正するためのＡＥＢ露出量ΔＭｉｎｕｓを以下の式により算出する。

ΔＭｉｎｕｓ＝ｌｏｇ₂（ＲｅｆＹ／ＨｉＹ）
このようにして、輝度ヒストグラムを用いてＡＥＢ露出量ΔＰｌｕｓ及びΔＭｉｎｕｓが算出される。

＜人物の顔領域の輝度情報によるＡＥＢ露出量算出処理＞次に、図１２を参照して、図１０のステップＳ１００２における人物の顔の輝度情報を用いたＡＥＢ露出量の算出処理について説明する。

画像中に人物の顔が存在するか否か、及び、人物の顔領域の輝度値は、図５及び図６で説明したように、ＦａｃｅＹとして求めることができる。

図１２において、ステップＳ１２０１では、システム制御部１１５は、人物の顔領域の輝度値ＦａｃｅＹが所定の閾値ＴｈＦａｃｅＹ以下であるか判定する。判定の結果、所定の閾値以下の場合は、ステップＳ１２０２に進み、所定の閾値を超える場合は、ステップＳ１２０３に進む。

ステップＳ１２０２では、システム制御部１１５は、人物の顔の輝度値が暗めであり、ＡＥＢ撮影を実施して顔領域の輝度値を適正輝度に補正するためのＡＥＢ露出量ΔＦａｃｅを以下の式により算出する。

ΔＦａｃｅ＝ｌｏｇ₂（ＦａｃｅＹ／ＲｅｆＹ）
ステップＳ１２０３では、システム制御部１１５は、ＡＥＢ撮影を実施しないので、ΔＦａｃｅ＝０とする。これは、通常のＡＥ処理では顔領域の明るさがオーバー側にシフトしないように制御されることを前提としているからである。しかしながら、これに限らず、例えば背景が黒いシーンにおいて、背景に影響されて顔領域の輝度がオーバー側にシフトするようなＡＥ処理の場合、これを考慮して、明るすぎる顔を適正露出に補正するためにＡＥＢ撮影を実施するようにしても良い。

ステップＳ１２０４では、システム制御部１１５は、ステップＳ１２０２で算出された人物の顔領域の輝度値ＦａｃｅＹと適正輝度との差分ΔＦａｃｅに基づいて、顔領域用のＡＥＢ露出量ΔＰｌｕｓＦａｃｅを以下の式により算出する。

ΔＰｌｕｓＦａｃｅ＝−ΔＦａｃｅ
＜彩度情報によるＡＥＢ露出量の補正量算出処理＞次に、図１３を参照して、図１０のステップＳ１００３における彩度情報を用いたＡＥＢ露出量の補正量算出処理について説明する。

図１３において、ステップＳ１３０１では、システム制御部１１５は、図７で説明したように、画像の低輝度／低彩度領域の彩度値ＬｏｗＣｈｒｏｍａを算出する。

同様に、ステップＳ１３０２では、システム制御部１１５は、高輝度／高彩度領域の彩度値ＨｉＣｈｒｏｍａを算出する。

ステップＳ１３０３では、システム制御部１１５は、低輝度／低彩度領域の彩度値ＬｏｗＣｈｒｏｍａが所定の第３の閾値ＴｈＬｏｗＣｈｒｏｍａ以下であるか判定する。判定の結果、所定の第３の閾値以下の場合は、ステップＳ１３０４に進み、所定の第３の閾値を超える場合は、ステップＳ１３０５に進む。

ステップＳ１３０４では、システム制御部１１５は、図８（ａ）のようなテーブルＴＡＢＬＥＬｏｗ（ＬｏｗＣｈｒｏｍａ）に従ってＡＥＢ露出量を補正するための補正量ΔＰｌｕｓＨｏｓｅｉを算出する。これは、低輝度／低彩度領域の被写体は、むやみに適正輝度で撮影するのではなく、ある程度暗めに撮影した方が、その被写体が持つ雰囲気を再現できる場合があるためである。

ステップＳ１３０５では、システム制御部１１５は、低輝度／高彩度領域の被写体は、適正輝度で撮影した方が見栄えが良いため、露出がアンダーにならないようにＡＥＢ露出量を補正しないでそのまま使用する（ΔＰｌｕｓＨｏｓｅｉ＝０）。

ステップＳ１３０６では、システム制御部１１５は、高輝度／高彩度領域の彩度値ＨｉＣｈｒｏｍａが所定の第４の閾値ＴｈＨｉＣｈｒｏｍａ以上であるか判定する。判定の結果、所定の第４の閾値以上の場合は、ステップＳ１３０７に進み、所定の第４の閾値未満の場合は、ステップＳ１３０８に進む。

ステップＳ１３０７では、システム制御部１１５は、図８（ｂ）のようなテーブルＴＡＢＬＥＨｉ（ＨｉＣｈｒｏｍａ）に従ってＡＥＢ露出量を補正するための補正量ΔＭｉｎｕｓＨｏｓｅｉを算出する。青空や夕景など、高輝度かつ高彩度の被写体は、適正輝度よりも多少アンダーで撮影すると、色再現性が良くなる場合があるからである。

ステップＳ１３０８では、システム制御部１１５は、露出がアンダーにならないようにＡＥＢ露出量を補正しないでそのまま使用する（ΔＭｉｎｕｓＨｏｓｅｉ＝０）。これは、白い雲や雪のシーンなど、高輝度／低彩度領域の被写体は、適正輝度で撮影した方が見栄えが良いためである。

＜ＡＥＢ撮影実施判定処理＞次に、図１４を参照して、図１０のステップＳ１００４におけるＡＥＢ撮影実施判定処理について説明する。

図１４の処理では、図１１ないし図１３で算出されたＡＥＢ露出量ΔＰｌｕｓ、ΔＭｉｎｕｓ、ΔＰｌｕｓＦａｃｅ及び補正量ΔＰｌｕｓＨｏｓｅｉ、ΔＭｉｎｕｓＨｏｓｅｉを用いて、ＡＥＢ撮影を実施するか否かを判定し、最終的なＡＥＢ露出量を決定する。

図１４において、ステップＳ１４０１では、システム制御部１１５は、図１２で説明した人物の顔領域の輝度値から算出される顔領域用ＡＥＢ露出量ΔＰｌｕｓＦａｃｅが値を持っているか判定する。判定の結果、値を持っている場合は、ステップＳ１４０２に進み、値を持っていない場合は、ステップＳ１４０３に進む。

ステップＳ１４０２では、システム制御部１１５は、画像中に顔領域が存在し、顔領域が低輝度の場合であるので、顔領域用ＡＥＢ露出量ΔＰｌｕｓＦａｃｅの値をＡＥＢ露出量ΔＰｌｕｓＦｉｘに設定する。

ステップＳ１４０３では、システム制御部１１５は、図１１で説明した画像全体の輝度ヒストグラムから算出されるＡＥＢ露出量ΔＰｌｕｓが値を持っているか判定する。判定の結果、値を持っている場合は、ステップＳ１４０４に進み、値を持っていない場合は、ステップＳ１４１０に進む。

ステップＳ１４０４では、システム制御部１１５は、プラスＡＥＢ露出量ΔＰｌｕｓの値をＡＥＢ露出量ΔＰｌｕｓＦｉｘに設定する。

ステップＳ１４０５では、システム制御部１１５は、プラスＡＥＢ露出量ΔＰｌｕｓＦｉｘに、図１３で説明した彩度を用いて算出された補正量ΔＰｌｕｓＨｏｓｅｉを加算する。

ステップＳ１４０６では、システム制御部１１５は、図１１で説明した画像全体の輝度ヒストグラムから算出されるＡＥＢ露出量ΔＭｉｎｕｓが値を持っているか判定する。判定の結果、値を持っている場合は、ステップＳ１４０７に進み、値を持っていない場合は、ステップＳ１４１０に進む。

ステップＳ１４０７では、システム制御部１１５は、ＡＥＢ露出量ΔＭｉｎｕｓの値をＡＥＢ露出量ΔＭｉｎｕｓＦｉｘに設定する。

ステップＳ１４０８では、システム制御部１１５は、ＡＥＢ露出量ΔＭｉｎｕｓＦｉｘに、図１３で説明した彩度を用いて算出された補正量ΔＭｉｎｕｓＨｏｓｅｉを加算する。

ステップＳ１４０９では、システム制御部１１５は、ＡＥＢ露出量ΔＰｌｕｓＦｉｘ、ΔＭｉｎｕｓＦｉｘの値に基づいてＡＥＢ撮影を実施し、本処理を終了する。

ステップＳ１４１０では、システム制御部１１５は、ＡＥＢ撮影を実施せずに本処理を終了する。

以上説明したように、本実施形態によれば、画像全体の輝度ヒストグラム、人物の顔領域の輝度、低輝度領域や高輝度領域の彩度に基づいて適切なＡＥＢ露出量が決定されるので、シーンに応じた最適なＡＥＢ撮影を実施することができる。なお、本実施形態では、彩度に基づいてＡＥＢ露出量を決定しているが、彩度に基づいてＡＥＢ露出量を決定しなくても、従来技術と比較するとシーンに応じた最適なＡＥＢ撮影を実施することができる。

なお、本発明は、以下の処理を実行することによっても実現される。即ち、本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

Claims (11)

1. 撮像手段と、
   前記撮像手段により撮像された画像から所定の被写体を検出する検出手段と、
   撮像された画像の輝度分布を生成する生成手段と、
   前記検出手段により検出された前記所定の被写体に対応する第１の輝度値が所定の第１の閾値以下であって、前記輝度分布に基づく第２の輝度値が所定の第２の閾値以下であって且つ前記第２の輝度値よりも高輝度領域の前記輝度分布に基づく第３の輝度値が所定の第３の閾値以上である場合に異なる露出で複数枚の画像を撮像する露出ブラケット撮影を実施すると判定するとともに、前記第１の輝度値に対応する第１の露出量と前記第３の輝度値に対応する第３の露出量を用いて前記露出ブラケット撮影を実施するように制御する制御手段と、を有することを特徴とする撮像装置。
2. 前記生成手段は、前記撮像された画像を複数のブロックに分割し、各ブロックの輝度情報から前記輝度分布として輝度ヒストグラムを生成し、
   前記検出手段は、前記撮像された画像中の人物の顔領域を検出し、
   前記制御手段は、前記第１の輝度値と、前記輝度ヒストグラムにおける低輝度側の主分布に基づく前記第２の輝度値と前記輝度ヒストグラムにおける高輝度側の主分布に基づく前記第３の輝度値とに基づいて前記露出ブラケット撮影を実施するか判定することを特徴とする請求項１に記載の撮像装置。
3. 前記生成手段は、前記撮像された画像を複数のブロックに分割し、各ブロックの輝度情報から前記輝度分布として輝度ヒストグラムを生成し、
   前記制御手段は、前記輝度ヒストグラムから、画像全体の画素数に対する中間輝度領域に分布する画素の割合である中間輝度割合を算出し、
   前記中間輝度割合が所定の閾値以下ではない場合に前記露出ブラケット撮影を実施しないと判定することを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記第１の輝度値が前記所定の第１の閾値よりも大きく、前記第２の輝度値が前記所定の第２の閾値以下であって前記第３の輝度値が前記所定の第３の閾値以上である場合に前記露出ブラケット撮影を実施すると判定するとともに、前記第２の輝度値に対応する第２の露出量と前記第３の露出量を用いて前記露出ブラケット撮影を実施するように制御することを特徴とする請求項２に記載の撮像装置。
5. 前記検出手段は、前記所定の被写体として、前記撮像された画像中の人物の顔領域を検出し、
   前記制御手段は、前記第１の輝度値が前記所定の第１の閾値よりも大きく、前記第３の輝度値が前記所定の第３の閾値よりも小さい場合に前記露出ブラケット撮影を実施しないと判定することを特徴とする請求項１に記載の撮像装置。
6. 前記第１の露出量は、前記第１の輝度値が前記所定の第１の閾値以下である場合に、前記第１の輝度値が適正露出に近づくような露出量であることを特徴とする請求項５に記載の撮像装置。
7. 前記生成手段は、前記撮像された画像を複数のブロックに分割し、各ブロックの彩度情報を算出し、
   前記制御手段は、前記低輝度側の主分布に含まれる各ブロックの彩度情報が所定の第４の閾値以下の場合、前記低輝度側の主分布に基づいて算出された露出量をアンダー側に補正することを特徴とする請求項２または４に記載の撮像装置。
8. 前記生成手段は、前記撮像された画像を複数のブロックに分割し、各ブロックの彩度情報を算出し、
   前記制御手段は、前記高輝度側の主分布に含まれる各ブロックの彩度情報が所定の第５の閾値以上の場合、前記高輝度側の主分布に基づいて算出された露出量をアンダー側に補正することを特徴とする請求項２または４に記載の撮像装置。
9. 撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段により撮像された画像から所定の被写体を検出する検出工程と、
   撮像された画像の輝度分布を生成する生成工程と、
   前記検出工程で検出された前記所定の被写体に対応する第１の輝度値が所定の閾値以下であって、前記輝度分布に基づく第２の輝度値が所定の第２の閾値以下であって且つ前記第２の輝度値よりも高輝度領域の前記輝度分布に基づく第３の輝度値が所定の第３の閾値以上である場合に異なる露出で複数枚の画像を撮像する露出ブラケット撮影を実施すると判定するとともに、前記第１の輝度値に対応する第１の露出量と前記第３の輝度値に対応する第３の露出量を用いて前記露出ブラケット撮影を実施するように制御する制御工程と、を有することを特徴とする撮像装置の制御方法。
10. 請求項９に記載の制御方法をコンピュータに実行させるためのプログラム。
11. コンピュータに、請求項９に記載の制御方法を実行させるためのプログラムを記憶したコンピュータにより読み取り可能な記憶媒体。